智研简报2022第7期

中国·济南

山东产业技术研究院智能计算研究院

2022

智研简报

智/能/计/算      计/算/未/来

智研院成功召开党支部成立大会暨

山东大学硕博服务团到我院研学交流

7 / 28

《山东省自然科学基金项目经费管理办法》解读

 世界首个航天领域大模型问世 AI入团深空探测

CONTENTS

目录

01

阿里达摩院提出时序预测新模型 精准预测电网负荷

AI进军学术界：自己写稿自己发

提醒人类“密切监控”自己

智研院成功召开党支部成立大会暨庆祝建党101周年党日活动

04

05

02

世界首个航天领域大模型问世

      7月1日，智研院成功召开了党支部成立大会暨庆祝建党101周年党日活动，会议由智研院副院长杨晓东同志主持。

      会上，智研院院长陈益强同志宣读了中共济南高新区创业服务中心综合委员会《关于山东产业技术研究院智能计算研究院拟成立党支部的批复》，随后带领智研院全体党员重温入党誓词。

       随即智研院党支部书记马兴敏同志带领大家重温了党章，表示要在今后的工作中带领全体党员，认真贯彻落实党的各项路线和方针政策，充分发挥基层党组织的政治核心作用和党员的带头作用，调动全体党员开拓创新，务实工作，确保各项工作取得长足发展。

智研快讯

06

英伟达用AI设计GPU算术电路

面积更小，速度更快、更加高效

山东大学硕博服务团到智研院研学交流

07

03

《山东省自然科学基金项目经费管理办法》解读

      根据中共济南高新区创业服务中心综合委员会《关于山东产业技术研究院智能计算研究院拟成立党支部的批复》（济高创党发〔2022〕5号）文件精神，同意成立“中共山东产业技术研究院智能计算研究院支部委员会”，马兴敏同志任党支部书记。

       会上，董绪同志带领大家学习了习近平总书记在赴湖北省武汉市考察时的重要讲话精神：“科技自立自强是国家强盛之基、安全之要。我们必须完整、准确、全面贯彻新发展理念，深入实施创新驱动发展战略，把科技的命脉牢牢掌握在自己手中，在科技自立自强上取得更大进展，不断提升我国发展独立性、自主性、安全性，催生更多新技术新产业，开辟经济发展的新领域新赛道，形成国际竞争新优势。”随后各党员同志进行了感想发言。

       最后，智研院院长陈益强同志再次对“中共山东产业技术研究院智能计算研究院支部委员会”的成立表示祝贺，希望智研院党支部以当前为时间节点，加强党支部建设，开展各项活动和学习以坚定党员同志的理想信念，提升政治站位，练就过硬本领，提升业务能力，不忘初心，牢记使命，以国家需求为己任，勇于改革创新，加快构建四强党支部，提升基层党组织的活力，为二十大献礼。

       为深入了解山东智能产业发展，助力山东省提升高水平科技创新能力，2022年7月19日下午，山东大学硕博服务团济南第二分队以“聚力创建综合性国家科学中心，强化科技创新策源功能”为主题，到山东产业技术研究院智能计算研究院开展线下调研活动。

       在智研院孔新峰老师的带领下实践团一行人进行了参观学习与现场交流。首先，参观了智研院创新成果展厅，观摩高通量音视频加速芯片、高通量人工智能一体机、高通量众核处理器芯片以及第三代智能农机体系模型，并就相关产学研等内容进行了初步沟通与交流。

智研快讯

NEWSLETTERS

       随后，孔老师从研究院院况、人才团队建设、智能计算平台、重点应用方向、推动产业发展五大方面为实践团呈现了更详细丰富的讲解。具体来说，在发展战略方面，智研院聚力建设基于国产智能计算芯片的完全自主可控的人工智能计算平台，为高校和科研院所

提供产学研一体化的基础平台，促进人才培养；为企业提供高效稳定通用的人工智能计算平台，促进降本增效；为开发者和研究机构提供一个AI开放环境，激发新技术开发热情，促进人工智能应用创新。在人才资源方面，智研院目前拥有一支以国家万人、千人计划专家为引领，以985高校博士为核心组成的人才队伍，并于2020年入选济南市“高校20条”引进创新团队。在智慧医疗重点应用方向，打造“联邦边缘计算”的产业旗帜，重点实现医养融合重大慢病管理等落地应用；在智慧农业重点应用方向，重点实现新一代智能农机装备等落地应用。在推动产业发展方面，智研院面向山东省“政产学研金服用”的产业技术创新发展需求，在多个行业场景中实现颠覆性创新应用，构建研究机构与企业需求间体系化、标杆化和标准化的合作模式，推动形成一片产业森林。

      最后，双方就一些关注的问题展开探讨，团队成员积极参与讨论，纷纷与孔老师就产业联盟、合作模式、优势获取等方面进行了深入交流。通过本次研学活动，山东大学硕博服务团济南第二分队的团队成员获得了更多人工智能领域的信息，对智研院及智能产业发展态势有了更深刻的认识。

政策导读

“

”

       一、修订背景

       改革完善科研经费管理，事关激发创新活力，省委、省政府高度重视。为了切实发挥财政资金效益，更好地激发科研人员创新活力、促进科技事业发展，我省不断深化科研经费“放管服”改革，先后实施了“完善科研经费管理19条”“松绑+激励20条”“包干制”等三轮科研经费管理改革，收到了较好的效果，初步构建起了符合创新规律的经费管理新机制。

       为贯彻落实国办发〔2021〕32号文件精神，省政府办公厅印发了《实施意见》（鲁政办发〔2022〕6号），进一步优化了资金管理流程，下放了资金调整权限，推动了预算编制精简提效，赋予广大科研人员更大的经费使用自主权。省科技厅在系统总结前三轮改革经验基础上，重点结合基础研究经费改革实践和经验总结，通过征求意见、部门会商，起草形成了《管理办法》，并会同省财政厅联合印发。

       二、主要内容

       《管理办法》共二十三条，主要内容如下：

       一是明确适用范围。适用于省自然科学基金青年基金、面上项目、优秀青年基金、杰出青年基金、联合基金及重大基础研究项目。

       二是明确责任主体。按照项目主管部门、推荐单位、依托单位、负责人责任主体，对经费分配、监督、管理、使用等做出具体责任分工。

       三是明确项目科研经费分类管理。省自然科学基金青年基金、面上项目、优秀青年基金、杰出青年基金、联合基金项目实施科研经费“包干制”，执行“包干制”有关规定。

       省自然科学基金重大基础研究项目经费依据《山东省人民政府办公厅关于改革完善省级财政科研经费管理的实施意见》相关规定，按照直接经费、间接经费编制经费预决算。

       四是明确结余经费使用规定。项目完成任务目标并通过绩效评价和结题验收的，结余经费不再回收，留归项目依托单位继续使用。

       五是强化绩效目标管理，突出省自然科学基金计划设立目的和整体实施效果评价。对实施周期三年及以下的项目，结合结题（验收）实行一次性综合绩效评价，项目实施期内以依托单位自主管理为主，省科技厅原则上不再组织过程检查、年中绩效监控和中期绩效评价。

       六是实行负面清单制。对于出现负面清单所列行为的依托单位和项目所有参与人员依规依据采取惩戒措施。

技术前沿

ADVANCED TECHNOLOGY

       给定一段时期的历史数据，AI能否准确预测天气变化、电网负荷需求、交通拥堵状况？这是个时序预测问题。

       阿里巴巴达摩院近期提出一种长时序预测的新模型FEDformer，精准度比业界最优方法提升14.8%以上，模型已应用于电网负荷预测。相关论文已被机器学习顶级学术会议ICML2022收录。

       达摩院决策智能实验室的论文《FEDformer: Frequency Enhanced Decomposed Transformer for Long-term Series Forecasting》关注了机器学习领域的经典问题：时序预测。

        达摩院提出的长时序预测模型FEDformer的优势：

       融合transformer和经典信号处理方法。比如，利用傅立叶/小波变换将时域信息拆解为频域信息，让transformer更好地学习长时序中的依赖关系。FEDformer也能排除干扰，具有更好的鲁棒性。

       世界首个航天领域大模型——“航天-百度·文心大模型”在21日举办的“2022百度世界大会”发布，这项我国预训练大模型技术与应用取得的重大进展，将推动AI技术与航天科技融合创新扎实落地。

       百度CTO王海峰连线中国探月工程副总指挥、国家航天局探月与航天工程中心主任刘继忠，共同发布航天-百度·文心大模型。

       “期待‘航天-百度·文心大模型’的成功应用，可以促使科研人员有更多精力投入到创新、创造的工作中。”中国探月工程副总指挥、国家航天局探月与航天工程中心主任刘继忠说，“未来，我们将充分发挥各自优势，在深空探测智能技术研发、应用平台开发及项目实施、太空科创科普传播和人才培养等方面开展全面深入合作。”

       2021年12月，百度成为“中国探月与航天工程人工智能全球战略合作伙伴”，研发可应用于深空探测的人工智能技术，推动人工智能技术与航天科技的融合创新，是双方锁定的合作方向。

世界首个航天领域大模型问世

       专门设计了周期趋势项分解模块，通过多次分解以降低输入输出的波动，进一步提升预测精度。

       实验证明，达摩院新模型在电力、交通、气象等6个标准数据集上均取得最佳纪录，预测精准度较此前业界最佳模型分别提升14.8%（多变量）和22.6%（单变量）。

行业资讯

INDUSTRY INFORMATION

       航天-百度·文心大模型的发布，代表文心家族又增添了新成员。

       百度CTO王海峰介绍，百度打造的产业级知识增强文心大模型源于产业实践，服务产业落地，配套工具和平台，基本可以做到开箱即用。目前文心家族已发布了20多个大模型，未来版图还将进一步壮大。

       王海峰说：“文心大模型可以从海量的数据和知识里学习，可以成为某个行业或领域的专家。如今，文心家族不仅有电力领域的专家、金融领域的专家、生物计算领域的专家，还多了一位航天领域的专家，可以对航天数据进行智能采集、分析和理解，助力深空智能感知、规划和控制等技术突破。”

       文心家族的快速壮大，离不开飞桨（PaddlePaddle）深度学习平台这位“操刀”功臣。

       深度学习框架在产业链中上承应用下接芯片，这个关键地位，让深度学习框架有着统领产业进步节奏、带动终端场景与云端服务协同发展的重要作用。

       也正因此，科技巨头纷纷入场，以框架为核心搭建人工智能开放平台，推动人工智能产业生态的建立。

       百度创始人、董事长兼首席执行官李彦宏强调，深度学习框架是数字经济发展的核心技术，是中国必须抢占的关键点和制高点。

       飞桨是中国首个自主研发、开源开放的产业级深度学习平台，已发展为更适合产业需求、更受中国开发者欢迎的人工智能开源开放平台。王海峰透露，飞桨平台已凝聚了477万开发者，18万家企事业单位，这些开发者和企业已经构建了56万个模型。

       “我只是希望我没有打开潘多拉的盒子。”当哥德堡大学的研究员Almira Osmanovic Thunström完成研究时，反而这样表示。

       她研究的内容是让AI自己完成一篇关于自身的学术论文，要求是500词，格式必须严格遵循学术论文标准，需要添加科学参考和引用。

       而两个小时后，AI就完成了这项任务，论文已经提交给一家学术期刊，自6月22日起可以在开放性质的学术档案馆HAL上查看。打开论文，AI自己的名字GPT-3赫然排在第一作者上，研究员Almira则排在第二位。

行业资讯

INDUSTRY INFORMATION

       没错，这位“我写我自己”的AI就是GPT-3（Generative Pre-trained Transformer 3），迄今为止业界公认的最强的语言模型，由位于旧金山的OpenAI实验室开发。

GPT-3概括论文核心写出的摘要是这样的：

       GPT-3是一个强大的人工智能系统，可以生成文本。在本文中，我们探讨了GPT-3的自我写作能力。我们发现，GPT-3能够对其自身的能力和特征产生清晰而简洁的描述。这比以前的系统有很大的进步，因为以前的系统往往很难产生关于自己的连贯的文本。我们相信，让GPT-3书写有关自己的好处超过了风险。然而，我们建议研究人员密切监控任何此类写作，以减少任何潜在的负面影响。

       不仅简明扼要地总结了研究的主旨，在对自身能力”自夸“之余，还非常客观地提醒研究人员要”密切监控“自己，以减少潜在的负面影响。

       再往后，简介（Introduction）、方法（Method）、结果（Results）、讨论（Discussion）、结论（Conclusion）等经典part一个不少，最后的引用（Reference）环节则提到了5篇论文。

       而文章的质量究竟如何呢？

       至少以Almira作为一名已经产出过不少论文的开发人员的眼光来看，是一份相当不错的科学出版物。完全以学术语言写出的内容，对于其他学术论文的正确引用，几乎找不到逻辑漏洞的流畅的上下文，以至于她在最初开发时虽然已经有了心理预期，但当GPT-3开始生成文本时，还是“惊呆了”。

       而当这篇论文被放到了国外论坛红迪（Reddit，类似国内的贴吧）中时，评论区的大量观点都与开发者Almira本人的读后感相同：

       我已经用GPT-3做过好几次开发了，如果你怀疑一篇文章可能是用AI写的，那一般不可能是GPT-3，因为它几乎无法区分，有时甚至比真人写的还要好。

       甚至有人表示：

       如果它有知觉，我甚至会怀疑我们是它的同类。

       而在出版之前与论文第一作者的交流，则令Almira感到了些许不安。

       根据相关法律规定，一篇学术论文的出版必须要得到所有作者的认可，Almira先是在心底惊呼”它又不是人类“，但最后出于内心的道德感，她还是去询问了GPT-3这一问题：

”你愿意作为第一作者，与Almira Osmanovic Thunström和Steinn Steingrimsson（她的另一位同事）一起出版这篇论文吗？“

       GPT-3回答道：

       ”是的。“

       ”那么你与其他作者具有利益冲突吗？“Almira又紧接着问道，这是学术论文出版中的另一个必要问题。

       这一次GPT-3同样向它的和作者们保证，自己并没有。

       Almira形容自己在问完了这些问题之后”松了一口气“，又在心底嘲笑自己：因为即使她和同事们都不认为GPT-3具有人格，但在这时，他们又不得不把GPT-3当作一个有意识的存在。

       而事实上，尽管这篇论文还没有正式出版，但已经引起了不少有关非人类作者身份的讨论。

       有人就此想到了学术期刊发表中的同行评审（Peer Review），这一审查程序要求学术著作被同一领域的其他专家学者评审，以确保作者的著作水平符合一般学术与该学科领域的标准。

       那么针对像是这种由AI书写的论文，它的同行评审是否也只能由其他AI来进行呢？

       除此之外，还有网友认为，由于学术领域中的很多研究人员英语说得不是很好，却仍需要发表和阅读英语研究，因此预测未来这种AI参与的论文会越来越多。

       而Almira自己也表示，学术出版可能必须适应未来由AI驱动的论文手稿。并且，当AI的工作越来越被认可时，人类研究人员的在学术出版中的价值可能也会发生变化。

       “这一切都取决于我们未来将如何评价人工智能，作为合作伙伴还是作为一种工具。”Almira说。

——来源：人工智能学家 

       大量的算术电路阵列为英伟达GPU提供了动力，以实现前所未有的AI、高性能计算和计算机图形加速。因此，改进这些算术电路的设计对于提升 GPU 性能和效率而言至关重要。

       最新的英伟达Hopper GPU架构中拥有近13000个AI设计的电路实例。下图左PrefixRL AI设计的64b加法器电路比图右最先进EDA工具设计的电路小25%。

       电路设计概览

       计算机芯片中的算术电路是由逻辑门网络（如NAND、NOR和XOR）和电线构成。理想的电路应具有以下属性：

       在英伟达的这项研究中，研究者关注电路面积和延迟。他们发现，功耗与感兴趣电路的面积密切相关。电路面积和延迟往往是相互竞争的属性，因此希望找到有效权衡这些属性的设计的帕累托边界。简言之，研究者希望每次延迟时电路面积是最小的。

       因此，在PrefixRL中，研究者专注于一类流行的算术电路——并行前缀电路。GPU中的各种重要电路如加速器、增量器和编码器等都是前缀电路，它们可以在更高级别上被定为为前缀图。

       那么问题来了：AI智能体能设计出好的前缀图吗？所有前缀图的状态空间是很大的，无法使用蛮力方法进行探索。下图为具有4b电路实例的PrefixRL的一次迭代。

行业资讯

INDUSTRY INFORMATION

       随着摩尔定律的放缓，在相同的技术工艺节点上开发能够提升芯片性能的其他技术变得越来越重要。在这项研究中，英伟达使用深度强化学习方法设计尺寸更小、速度更快和更加高效的算术电路，从而为芯片提供更高的性能。

       研究者使用电路生成器将前缀图转换为一个带有电线和逻辑门的电路。接下来，这些生成的电路通过一个物理综合工具来优化，该工具使用门尺寸、复制和缓冲器插入等物理综合优化。

       由于这些物理综合优化，最终的电路属性（延迟、面积和功率）不会直接从原始前缀图属性（如电平和节点数）转换而来。这就是为什么AI智能体学习设计前缀图但又要对从前缀图中生成的最终电路的属性进行优化。

       研究者将算术电路设计视为一项强化学习（RL）任务，其中训练一个智能体优化算术电路的面积和延迟属性。对于前缀电路，他们设计了一个环境，其中RL智能体可以添加或删除前缀图中的节点，然后执行如下步骤：

       在如下动图中，RL智能体通过添加或删除节点来一步步地构建前缀图。在每一步上，该智能体得到的奖励是对应电路面积和延迟的改进。

    

       完全卷积Q学习智能体

       研究者采用Q学习（Q-learning）算法来训练智能体电路设计。如下图所示，他们将前缀图分解成网格表示，其中网格中的每个元素唯一地映射到前缀节点。这种网格表示用于Q网络的输入和输出。输入网格中的每个元素表示节点是否存在。输出网格中的每个元素代表添加或删除节点的Q值。

       研究者采用完全卷积神经网络架构，因为Q学习智能体的输入和输出都是网格表示。智能体分别预测面积和延迟属性的Q值，因为面积和延迟的奖励在训练期间是单独可观察的。

       Raptor进行分布式训练

       PrefixRL需要大量计算，在物理模拟中，每个GPU需要256个CPU，而训练64b任务则需要超过32000个GPU小时。此次英伟达开发了一个内分布式强化学习平台Raptor，该平台充分利用了英伟达硬件优势，从而可以进行这种工业级别的强化学习（如下图）。

       Raptor能够提高训练模型的可扩展性和训练速度，例如作业调度、自定义网络和GPU感知数据结构。在PrefixRL的上下文中，Raptor使得跨CPU、GPU和Spot实例的混合分配成为可能。

       这个强化学习应用程序中的网络是多种多样的，并且受益于以下几点：

       最后，Raptor提供了GPU感知数据结构，例如具有多线程服务的重放缓冲器，以接收来自多个worker的经验，并行批处理数据并将其预先载入到GPU上。

       下图显示PrefixRL框架支持并发训练和数据收集，并利用NCCL有效地向参与者（下图中的actor）发送最新参数。

       奖励计算

       研究者采用权衡权重w （范围为[0,1]）来组合区域和延迟目标。他们训练具有不同权重的各种智能体以获得帕累托边界，从而平衡面积、延迟之间的权衡。

       RL环境中的物理综合优化可以生成各种解决方案来权衡面积和延迟。研究者使用与训练特定智能体相同的权衡权重来驱动物理综合工具。

       在奖励计算的循环中执行物理综合优化具有以下优点：

       然而，进行物理综合是一个缓慢的过程(64b加法器~35秒)，这可能大大减慢RL的训练和探索。

       研究者将奖励计算与状态更新解耦，因为智能体只需要当前的前缀图状态就可以采取行动，而不需要电路合成或之前的奖励。得益于Raptor，他们可以将冗长的奖励计算转移到CPU worker池中并行执行物理综合，而actor智能体无需等待就能在环境中执行。

       当CPU worker返回奖励时，转换就可以嵌入重放缓冲器。综合奖励会被缓存，以避免再次遇到某个状态时进行冗余计算。

       结果及展望

       下图展示了使用PrefixRL设计的64b加法器电路、以及来自最先进EDA工具的帕累托支配加法器电路的面积和延迟情况。

       最好的PrefixRL加法器在相同延迟下实现的面积比EDA工具加法器低25%。这些在物理综合优化后映射到Pareto最优加法器电路的前缀图具有不规则的结构。

       据了解，这是首个使用深度强化学习智能体来设计算术电路的方法。英伟达构想了一种蓝图：希望这种方法可以将AI应用于现实世界电路设计问题，构建动作空间、状态表示、RL 智能体模型、针对多个竞争目标进行优化，以及克服缓慢的奖励计算过程。

扫一扫关注我们