智研简报2022第4期

中国·济南

山东产业技术研究院智能计算研究院

2022

智研简报

智/能/计/算      计/算/未/来

陈益强院长率队前往中国光大养老

健康产业有限公司参观交流

4 / 29

2022机器人技术趋势： 机器视觉+AI+边缘计算

阻止“TA们”监听你， AI能做到吗？

CONTENTS

目录

01

《山东省软件工程技术中心培育认定办法》

如何通向“广义人工智能”？LSTM 提出者之一Sepp Hochreiter：将符号 AI 与神经 AI 相结合

陈益强院长率队前往中国光大养老健康产业有限公司参观交流

03

04

02

2022机器人技术趋势：

机器视觉+AI+边缘计算

       近日，智研院技术人员在院长陈益强的带领下一行5人，来到中国光大养老健康产业有限公司参观学习，并就智慧养老产业发展，大数据管理平台系统，人工智能在智慧养老的应用等多方面进行广泛而深入的交流。中国光大养老健康产业有限公司董事长赵泽辉致欢迎辞并全程陪同。

智研快讯

       赵泽辉董事长向来参观交流的陈院长一行的到来表示热烈欢迎，并介绍了光大养老健康产业有限公司以打造监管全域视野为目标的智慧康养大数据平台，该平台通过建立养老大数据资源中心和养老业务管理平台，为政府部门、各级服务组织及社会公众提供智慧养老服务。对区域内老年人身份信息、健康信息、养老需求等信息的全面采集与整合，建立起区域级康养大数据中心，并为政府部门提供基于大数据的养老服务监管和规划依据。工作人员现场展示大数据动态、实时、可交互、场景化的可视化展现, 智慧养老指挥中心可展示辖区养老实时呼叫情况、智能预警情况、老人活动情况等信息。

05

陈益强院长率队前往北京建筑设计研究院参观交流

06

智研快讯

陈益强院长率队前往北京建筑设计研究院参观交流

       近日，智研院院长陈益强带领技术团队访问北京建筑设计研究院，进行参观交流。北京建院是同时具备科技创新和文化创新属性的国家高新技术企业，于2022年初与智研院达成战略合作伙伴关系。北京建院的数创科技具有实用性、应用性的特点。这些成果大多数是结合设计项目的实际需求进行研发，并且已将数字技术越来越多地运用到建筑设计中。

      双方就智慧医养康一体化方向的具体问题展开了深入交流。陈益强院长向光大详细介绍了智研院在先进图像识别算法，疾病风险预测及康复辅助等智慧诊疗方向所取得的技术成果和进展。随着物联网、智能化设备、AI等技术的成熟，新基建的快速开展，解决了养老科技“进家”的技术门槛，将技术领先、落地性强的适老化智能硬件产品融入智慧养老服务场景，让养老科技与养老服务一起走入 “千家万户”成为双方共识。

       通过此次参观交流，双方对彼此的业务模式、产品特点、资源及技术优势等方面都有了更加全面的了解，为推动双方进一步的深入合作、促进了双方共同发展奠定了坚实的基础。

       通过此次深入交流研讨，双方领导一致表示，智研院与北京建筑设计研究院的战略合作条件已经成熟，双方将发挥各自优势，加快合作步伐，在课题申请，项目落地，实验室示范等具体方向上展开全面合作，创建具有前瞻性和先进性的智能建筑技术开发及应用体系，将中国智能建筑产业向推向新的高度。培训做了总结，强调大家要充分提高对安全工作的认识、时刻紧绷安全这跟弦，切实做好安全工作的紧迫感和责任感。

       陈院长一行现场参观了北京建院旗下首都创新设计研究院有限公司院孵化的智慧建筑管理平台、AI智能设计平台，数字建设驾驶舱等创新项目，并与北京建院主要技术团队进行了座谈交流。

       参观过程中，首创公司负责人向陈院长团队介绍了技术团队在智慧建筑技术开发上的主要方向和典型的项目应用情况。目前，北京建院开展的一系列数字科技的研发工作，紧紧围绕但又不局限于建筑设计领域，已经从单一的建筑设计企业向建筑科创企业转型，延伸了企业的价值链。事实上，北京建院已从智慧设计到智慧建筑，再聚焦到数字化园区、智慧城市。其中，北京建院研发的C-Hub，是世界首款面向城市治理全领域全行业各类感知数据接入的设备。相对应的还有智慧城市的操作系统，可以支持各种单项的智慧城市应用平台开发，比如智慧交通平台、智慧医疗平台、智慧政务平台等。

智能，大数据计算分析和功能设计上有明显的技术积累和优势，双方具有广阔的合作潜力和空间，通过智能计算技术赋能北京建院，在帮助北京建院在完成企业转型的同时，也为内循环情景下新城建对接新基建打下基础，为繁荣数字经济做出贡献。

政策导读

“

”

       一、工作背景

       软件是信息技术之魂、网络安全之盾、经济转型之擎、数字社会之基，是建设现代化经济体系、实现高质量发展的重要基础。习近平总书记在主持中央政治局第三十四次集体学习时强调，要全面推进产业化、规模化应用，重点突破关键软件，推动软件产业做大做强，提升关键软件技术创新和供给能力。软件工程技术中心，是指企业为开展软件相关技术创新研发、建立技术标准体系、汇聚培养创新人才设立的研发机构，是构建我省产业协同创新体系的重要组成部分。原《山东省软件工程技术中心认定管理办法》（鲁经信软〔2016〕586号）于2022年1月到期失效。同时，随着近年来软件产业快速发展，原《办法》也需要进一步细化提升。按照行政规范性文件有关规定，组织对办法进行了评估修订。

       包括总则、认定条件、认定程序、管理考核和附则5个章节。

       第一章总则，明确了制定依据、实施目的、建设原则、责任单位和重点领域。

       第二章认定条件，明确了相应的基础条件、一般条件和“直通车”等门槛标准。

       第三章认定程序，明确了企业申请、地市推荐、专家评估、公示认定等程序。

       第四章管理考核，明确了考核评价、撤销变更等工作机制。

       第五章附则，明确了办法解释部门及有效期限。

       三、主要原则

       （一）坚持重点突破，提升关键软件供给能力。参照国家鼓励的软件重点发展领域，确定了基础软件、研发设计类工业软件、生产控制类工业软件、经营管理类工业软件、新兴技术软件、信息安全软件、重点行业应用软件、公有云服务软件、嵌入式软件、集成电路设计、信创适配服务等十一个创建方向。同时，对于制约产业发展的关键基础领域给予倾斜，门槛适度降低。例如对于申报基础软件、工业软件、集成电路设计等领域的，要求软件业务收入2000万元即可，其他领域则为5000万元。

       （二）坚持创新导向，全面精准提升创建标准。为进一步将中心打造成我省软件产业创新体系建设的“金字招牌”，《对于研发投入、创新成果的质量和数量等提出了较高要求，例如要求研发强度不低于7%；近三年新增软件著作权登记不少于10项或集成电路布图设计登记不少于3项，并拥有不少于1项发明专利或国家级（或3个省级）软件领域优秀示范成果；企业研发人员比例不低于25%；企业管理创新体系要通过第三方机构的评估认定。

       （三）坚持结果导向，不唯指标鼓励优秀企业。对于获得国家层面认可、融入国家发展布局、获得市场验证的优秀企业，在满足基本条件下，可直接认定为中心，具体包括三类情况：一是国家给予更高标准认可，例如国家鼓励的重点软件企业，拥有国家认可的软件领域重大创新平台、信创产品或承担国家级重大攻关项目；二是创新能力和创新成果突出，包括企业获得国家科学技术奖或者省科学技术奖二等奖及以上，国家级、省级高层次人才担任技术带头人且实际工作满两年以上；三是市场给予充分认可，主要是国内沪深主板、科创板等上市的软件企业，以及服务能力突出的信创适配中心。

       在 2022 年及以后，机器人将越来越多地用于在仓库或生产线周围拣选和移动产品。其他增长领域将包括与计算机数控 (CNC) 设备一起运行的协作机器人，焊接应用的可能性也越来越大。那么，机器人是否已经准备好胜任这些不同的角色了吗？下面，我们来看看今后工业机器人将必备哪些技术。

       机器人执行新任务（例如在仓库中挑选和移动产品）不可或缺的一项功能是增加对 2D 和 3D 视觉系统的使用。"盲"机器人（或没有视觉系统的机器人）只能完成简单的重复性任务，而具有机器视觉的机器人可以对周围环境做出直观反应。

       借助2D 系统，机器人就配备了一个摄像头。这种方法更适合读取颜色或纹理很重要的应用，例如条形码检测。另一方面，3D系统是从 2003 年首次在麻省理工学院 (MIT) 开发的空间计算发展而来的。它们依靠多个摄像头来创建目标对象的 3D 模型，适用于任何形状或位置需要考虑的任务，例如自动抓取零件。

       2D 和 3D 视觉系统都可以提供很多功能。尤其是 3D 系统，可以克服配备 2D 的机器人在执行物理任务时遇到的一些错误，否则这些错误会需要人工诊断和解决，并可能产生故障。展望未来，配备 3D 视觉系统的机器人将在检查发动机零件或产品质量等缺陷、包装检查、检查组件方向等方面释放更多的潜力。

行业资讯

INDUSTRY INFORMATION

       核心提示：机器人执行新任务（例如在仓库中挑选和移动产品）不可或缺的一项功能是增加对 2D 和 3D 视觉系统的使用。"盲"机器人（或没有视觉系统的机器人）只能完成简单的重复性任务，而具有机器视觉的机器人可以对周围环境做出直观反应。

       2022年，我们可以看到机器人发展的一个显著趋势，那就是更大的灵活性。在最近的一次采访中，机器人软件公司Insident的首席执行官Wendy Tan White预测，工业机器人领域将出现更多的创新。她认为，在软件优先解决方案、更便宜的传感器和更丰富的数据的推动下，我们正处在工业机器人复兴的风口浪尖。

       今天的制造商正寻求在机器人方面做更多的工作。用于希望更小、更灵活的设计能够轻松地适应现有的生产线，或者他们现有的机器人能够轻松地重新调整用途并重新分配任务。

       在物流、仓库或实验室等其他领域，对机器人在正常制造空间之外发挥作用的需求将不断增长。特别是协作机器人（cobots），将继续提供与人类进行更大的合作和协作工作的可能性。一个著名的例子是亚马逊的 Kiva 机器人，它是机器人化的托盘搬运车，可以跟随仓库周围的工人并支持他们完成任务。

       从传感器转向 AI

       未来几年，工业机器人技术的重点将从传感器设备硬件转向构建人工智能（AI），以帮助优化传感器的使用，并最终提高性能。

       AI、机器视觉和机器学习的结合将迎来机器人技术的下一阶段。预计将看到更多旨在帮助制造商实现更高水平的卓越运营、弹性和成本效益的数据管理和增强分析系统。

       这将包括机器视觉与学习能力的结合。以精确的无序拣选应用为例，这是机器人最抢手的任务之一。对于以前的机器人系统，需要专业的计算机辅助设计 (CAD) 编程来确保机器人能够识别形状。虽然这些 CAD 系统可以识别拣选箱中的任何给定物品，但如果，物品在拣选箱分拣任务中以随机顺序出现，系统就会遇到问题。

       取而代之的是，先进的视觉系统使用被动成像，即光子被物体发射或反射，然后形成图像。因此，机器人可以自动检测物品，无论它们的形状或顺序如何。

       Shibaura Machine 的视觉系统 TSVision3D 就是一个例子，它使用两个高速摄像机连续捕捉 3D 图像。通过使用智能软件，该系统可以处理这些图像并识别物品的确切位置。通过这个过程，机器人可以确定最合乎逻辑的顺序并以亚毫米的精度拾取物品，就像人类工人一样轻松。

       机器人技术在将机器视觉与机器人学习相结合方面具有巨大潜力。可能的应用包括基于视觉的无人机、仓库拾放应用和机器人分拣或回收等。

       借助 TSVision3D，我们看到机器人 AI 发展到可以像人类一样可靠地解释图像的程度。这种演变的另一个关键特征是机器学习，它允许机器人从错误中学习并适应。

       一个例子是由人工智能研究实验室 OpenAI 创建的 DACTYL 机器人系统。借助 DACTYL 系统，虚拟机械手可以通过反复试验进行学习。这些数据被传输到现实生活中灵巧的机器人手上，通过类似人类的学习，机器人能够更有效地抓取和操作物体。

       边缘智能应用到机器人

       边缘计算意味着将数据处理尽可能靠近其源头，以便更好地获取数据并确定其优先级。它不是像传统麦克风或摄像头那样的"哑巴"传感器，而是使用智能传感器，例如配备语言处理能力的麦克风、湿度和压力传感器，或配备计算机视觉的摄像头。

       边缘计算可以与上述技术相结合。因此，机械臂可以通过智能传感器和 3D 视觉系统读取数据，然后将其发送到带有人机界面 (HMI) 的服务器，在那里工作人员可以检索数据。

       使用边缘系统可以减少与云之间的数据传输，从而缓解网络拥塞和延迟，并允许更快地执行计算。这些工业 4.0 创新将用于改进最新的机械臂末端工具硬件系统，例如机器人的夹具或加工中心的夹紧系统，使这些硬件系统的精度逐年提高。

       我们应该期待在工业机器人领域看到更多的创造力和变革。改进的视觉系统、AI和边缘系统也可以结合起来，以帮助确保制造商及其机器人在未来几年继续蓬勃发展。

       2、“Broad AI”

       它区别于现有的、专门针对特定任务设计的狭义AI（narrow AI），而更加强调技能习得和问题解决的能力（skill acquisition and problem solving）。这一观点来自任职于Google、Keras作者François Chollet曾在一篇论文中提到对于智能的定义。Chollet认为处于智能第二阶梯（下图）的广义AI应该具有以下重要的特征：知识迁移和互动、鲁棒性、抽象和推理的能力、高效性。而广义AI充分利用感知与料（sensory perception）、以往经验和学习到的技能成功胜任不同的任务。

行业资讯

INDUSTRY INFORMATION

       人类包含意识、认知、决策等等在内的智慧能力，似乎从人类有记录的那一刻起，就吸引着无数哲学家的思索。与之类似，从AI诞生的那一刻，科学家们则在憧憬：AI 如何能够达到像人类一样的智能？

       近期，LSTM 提出者和奠基者，奥地利人工智能高级研究所（IARAI）创始人，曾获得IEEE CIS 2021 年神经网络先驱奖（Neural Networks Pioneer Award）的Sepp Hochreiter教授在《ACM通讯》上对目前AI达到的智能水平发表了看法。

       Sepp Hochreiter 指出，目前 AI 的发展正以广义 AI（Broad AI）为目标。他强调，将以往基于逻辑的符号AI和现有的基于数据的神经AI结合的双向AI（bilateral AI）是最有希望实现广义 AI 的方式。

       1、现有神经网络的不足

       深度神经网络是现在 AI 的主流实现方式。尽管它可以实现惊人的性能，但就和人的智能比较而言，它仍然存在很多的缺陷。Hochreiter 教授援引纽约大学认知科学家 Gary Marcus 曾经对于神经网络的批判，认为：（1）神经网络极度需要数据（data hungry）；（2）有限的迁移能力、也无法有效地迁移到新的任务或者数据分布上去；（3）对于世界知识或者先验知识无法充分地融合进去。

       3、迁移性

       现有的可以有效提高网络迁移性的模型学习方式莫过于小样本学习。它仅仅使用少量的训练数据就可以取得不错的性能。而这要归功于它已有的“先验知识”或者“经验”。这些先验知识往往得益于预训练任务——包含大规模的数据和基础模型（foundation model）。而这样数据往往是通过对比学习、自监督训练的方式进行提取有用的表征。一旦预训练模型学好之后，该任务上习得的后验知识变成下游新的任务的先验知识，使得模型很好地迁移到新的情境、顾客、产品、流程、数据等上面。

       Hochreiter教授特别提到了在视觉-语言跨模态领域的对比学习预训练方法——。CLIP是OpenAI去年发表在ICML上的一项工作，它使用一个简单的预训练任务，即图文匹配，通过对比学习的方式来学习更为强大的图像表征。该任务使用了4千万从网上收集来的图文对来进行训练。

图注：CLIP利用图文匹配的方式进行训练

       意料之中的惊讶在于，它之后无需任何数据训练就可以在30多个计算机视觉任务上实现和之前全监督的方式可比的性能，实现了卓越的“零样本学习”。而正如 Hochreiter 教授所称赞，这种高度的迁移性和鲁棒性是部署在拥有真实数据的工业界十分青睐的特点。

       事实上，自从CLIP发明之后，后续很多迁移学习的工作都是基于CLIP的。不夸张地说，它绝对是视觉语言统一的不可或缺的一环，有些类似于 Bert 之于 NLP 任务。而现今流行的 Prompt learning（提示学习）的方法很多也在借鉴 CLIP，或者在CLIP的框架下。

       4、利用经验

       广义 AI 还应充分利用上下文环境和以往的经验，这和记忆息息相关。这一点或许Hochreiter教授有很好的发言权，他毕竟是长短时记忆网络的发明者之一。而在认知科学中，有学者曾经提出过概念短时记忆，它描述的是当人类在接受到一个刺激时候，比如一幅图、一个单词，他会快速地将这些刺激转化到一个抽象的概念范畴，并把它关联到和长时记忆相关的信息。“刺激-概念化-关联”这个过程几乎是无意识地发生，但对于我们理解日常事物、语言交流有着非常重要的作用。

图注：“刺激-概念化-关联”的认知过程

       关于这一点，Hochreiter列举了Modern Hopfield networks（MHN）的工作，事实上这篇工作也在他本人的指导下完成的。Hopfield神经网络早在1982年就被提出，它是一种结合存储系统和二元系统的神经网络，模拟了人类记忆的模型。MHN认为Transformer中的自注意力机制是带有连续状态的Hopfield网络的一种更新规则，并且从Hopfield网络的角度对自注意力做了新的解释。其中和记忆相关的一部分解释在于它挖掘了数据中的相关性结构（covariance structure），即如何使特征同时出现在数据中。MHN会放大这种共现。这种相关性可以被认为是触发了记忆中的关联部分，从而有效地利用了已有的知识。

Hochreiter指出，MHN可以发掘丰富的数据间的相关关系，这一优势可以避免当代方法容       易遭遇的“捷径学习”（shot-cut learning）的风险。“捷径学习”是指模型学习到的并非真正用于决策的“特征”，而只是找到了一些特殊的相关性，如飞机总是出现在图片的上半部分等。（详情参考AI科技评论过往介绍：）

       神经网络与符号系统能够更好地促进 AI 模型对世界知识与抽象推理等能力的融合。

基于理性主义的符号系统立足于逻辑和符号表征，直接将人类的推理方式编码到机器中，它的优势在于抽象能力强大、使用较少的数据就可以达到比较好的结果。不过受限于现实世界知识的复杂多样以及非结构化，很难将这些完美无缺地编码到机器可读的规则中。

而基于经验主义的神经网络直接利用大量的数据，通过隐式（无监督）或者显式（监督）地指导模型学习到数据有用的表征，无需设计复杂的规则，就可以达到惊异的性能。不过，神经网络也面临着解释性弱、数据饥饿等难题。

       将二者有机地结合也是AI领域学者经常思考的一个问题。有趣的是，这也可以联想到人类历史的观念之争中，理性主义和感性主义的此消彼长同样是一个争议性的话题。

Hochreiter教授则认为已经发展了一段时间的图神经网络（GNN）是这一方向的代表。这也是来自发表在IJCAI’20上的一篇调查的意见，它将GNN归类为类型1的神经-符号系统。文章认为二者都有如下共同之处：都在寻求神经网络输入的丰富的向量化表示；都采用了一种树和图的结构去表征数据和它们之间的关系。Hochreiter教授认为它们在分子属性、社交网络建模、工程领域的预测等等强调动态交互和推理领域都有很好的表现。

图注：GNN图结构示意图

       Hochreiter强调，实现广义AI需要神经-符号系统的结合，以达到一种双向AI（bilateral AI）。而AI研究者也应该朝着具有更强的技能习得和问题解决能力的AI系统努力。他还展望道，欧洲在这两方面都有传统的优势，因而要利用这些优势，积极地寻求广义AI的解决方案。

       你或许，甚至大概率遇到过这样的情况：

       当你打开手机中的某一款 App 时，第一眼看到的内容正是你几分钟前和朋友或者家人们谈论的东西。第一次，你会觉得很惊讶。但时间久了，你就会觉得习以为常、见怪不怪了。

       而其中作祟的元凶之一，就是如今已无处不在且时刻“偷听”你的麦克风（Microphones），它们被嵌入手机、电视、手表等设备中，实时将你的声音传输到神经网络和人工智能系统中，帮助推荐系统为你作出“定制化”的推送服务。

       那么，如何才能避免这样的情况发生呢？网络上有很多方法，比如放一首完全不相关的歌曲，将声音调到最大，主动制造一些噪音；比如不授权长期开启麦克风权限，而是选择采取一次一授权的方式等。

       如今，来自美国哥伦比亚大学的研究团队提出了一种新方法：他们研发了一种人工智能系统，只需要在房间内播放一种该系统产生的极为轻微的声音，就可以避免“监听”事件的发生。

       也就是说，这一系统会把人们交谈的声音进行伪装，在不影响正常对话的前提下，不被麦克风等监听系统听到。

行业资讯

INDUSTRY INFORMATION

       相关研究论文以“Real-Time Neural Voice Camouflage”为题，已发表在预印本网站 arXiv 上。

       而且，研究人员还表示，这种人工智能系统很容易部署在电脑、手机等硬件上，可以时时保护你的隐私。

       用 AI 击败 AI

       由人工智能利用的问题，要由人工智能来解决。

       虽然该团队干扰麦克风等系统的成果理论上在人工智能领域是可行的，但要以足够快的速度将其用于实际应用，仍然是一个艰难的挑战。

       问题在于，在某个特定时刻干扰麦克风监听人们谈话的声音，或许并不能干扰接下来几秒的谈话。当人们说话时，他们的声音会随着他们说出的不同单词和语速而不断变化，这些变化使得机器几乎不可能跟上人说话的快节奏。

       而在此次研究中，人工智能算法能够通过预测一个人接下来要说的话的特点，有足够的时间来产生合适的耳语（whisper）。

       哥伦比亚大学计算机科学系助理教授 Carl Vondrick 表示，这一算法能够以 80% 的效率阻止流氓麦克风听清人们的对话，甚至在人们对流氓麦克风的位置等信息毫无察觉的情况下，也能发挥作用。

要足够大的音量来干扰任何可能在远处的流氓“窃听”麦克风。攻击声音需要像声音一样传播相同的距离。

       该人工智能系统通过预测未来对信号或单词的攻击，以两秒钟的输入语音为条件，实现了实时性能。

       同时，研究团队还对攻击进行了优化，使其音量类似于正常的背景噪音，让人们在房间内可以自然地交谈，而不会被麦克风等系统监控。

       此外，他们成功证明了这一方法在有自然环境噪声和复杂形状的真实房间中的有效性。

      但 Vondrick 也表示，目前该系统还只是对大多数英语单词有效，他们正在将该算法应用到更多语言中。

       我们能为 ethical AI 做些什么？

       有人说，在大数据时代，我们的个人信息都处于“裸奔”的状态，身边也有越来越多的智能设备在偷窥着我们的个人隐私。

       如果这一研究成果在未来能够应用于更多语言，在更多场景内落地，或许能够帮助我们免受各式各样人工智能的利用。

       正如宾夕法尼亚大学（University of Pennsylvania）计算机与信息科学系教授 Jianbo Shi 评价道：他们提出了一个新问题，即如何使用人工智能保护我们免受无意识的人工智能所利用？同时，Shi 也建议道，在未来的工作中，研究人员需要从最初的设计阶段就“有意识地”思考人工智能会对人类和社会产生的影响，不要再问有道德的人工智能（ethical AI）可以为我们做些什么，而是要问我们能为 ethical AI 做些什么？

       一旦我们相信这个方向，ethical AI 的相关研究就会充满趣味和创意。

扫一扫关注我们