INNOVATION JOURNAL
创新速递
兴业数字金融服务（上海）股份有限公司
智联未来，共绘“兴”篇
● 政银互通，共同谱写破产管理业务发展新篇章
● WAIC 2024世界人工智能大会亮点回顾
● 人工智能技术在本行与同业的应用
2024年第三期
The Preface
卷首语
目录
随着科技的飞速发展，人工智能已成为推动社会进步和产业升级的重要力量。7月7日，2024世界人工智能大会在上海圆满落幕，本次大会以“以共商促共享，以善治促善智”为主题，不仅汇聚了全球顶尖的AI专家、学者和企业家，还围绕核心技术、智能终端、应用赋能等关键领域展开了深入交流与探讨。大会的召开，无疑为人工智能的健康发展注入了新的活力与动力。对银行业而言，人工智能的融入让金融的血液更加鲜活，将复杂的金融交易化繁为简，让遥远的金融服务触手可及，把数字化转型的温暖与力量带到每一个角落。吕家进董事长在全行2024 年第一次数字化转型委员会（扩大）会议上也指出要将人工智能加入未来银行建设的谋划中。展望未来，人工智能在金融领域的发展将更加广阔而深远，它将继续深化与金融的融合，推动金融服务的智能化、个性化、普惠化，开启金融新纪元的大门。
本期的《创新速递》将围绕人工智能在金融领域的应用展开，与大家共同探讨人工智能的更多可能性。如对本期《创新速递》文章内容感兴趣，欢迎联系孙佳庆（ID：893249）。如对渠道合作感兴趣，欢迎联系李松（ID：893355）。
Contents
卷首语
02
分行服务专区
14
RPA专区
16
通过金田螺RPA自动训练多模态模型
理论前沿
24
人工智能技术在本行与同业的应用
大语言模型高考作文挑战赛
多模态气象预测模型勘探：蝴蝶效应的前世今生
兴喜连连
04
金融新纪元：具身智能机器人的创新融合与实践
开放创新
20
应用前沿
53
WAIC 2024世界人工智能大会亮点回顾
中征码自动查询机器人
政银互通，共同谱写破产管理业务发展新篇章
兴喜连连
兴喜连连
7月10日，英国《银行家》杂志（The Banker）发布“2024年全球银行1000强”榜单，按一级资本兴业银行排名第16位，较去年上升1位，稳居全球银行20强。
近年来，兴业银行保持战略定力，坚定不移走“轻资产、轻资本、高效率”发展道路，全面加快数字化转型，进一步擦亮“三张名片”，持续打造具有兴业特色的价值银行。一方面，保持理财、资产托管等业务传统优势，大力拓展 FICC 等轻资产业务，提升资本价值创造能力，充实核心一级资本；另一方面，保持稳健经营作风，加强房地产、地方融资平台、信用卡等重点领域风险防控，做实资产质量，增加资本留存，近三年不良贷款率由1.25%降至1.07%。
作为国际权威财经媒体，《银行家》杂志推出“全球银行1000强”榜单已有40多年历史，被视为衡量全球银行综合实力的评价基准，反映全球银行业发展变化趋势的重要窗口。兴业银行于2010年首次进入全球银行百强以来，持续保持上升态势，并先后于2021年、2023年获得英国《银行家》“中国年度银行”大奖。
兴业银行晋升全球银行1000强第16位
兴喜连连
兴喜连连
兴喜连连
兴喜连连
兴业银行核心参编， 国内首个银行业大模型标准发布
近日，中国信息通信研究院发布全国首个银行业大模型标准。兴业银行是该标准的核心参编单位之一。该标准主要用于规范银行业大模型在客服、反诈、审查等场景的应用，为科学评价银行业大模型的技术能力和应用效能提供参考，推动银行业大模型健康发展。
据悉，兴业银行深度参与制定银行业大模型技术要求和评估方法，从场景丰富度和能力支持度两个方面着手，重点评估大模型在智能客服、智能营销、智慧办公、智能运营等业务场景的覆盖情况，关注大模型在私有化部署和个性化服务等方面的支持能力，积极向行业输出大模型在具体场景落地中的建设经验。
近年来，兴业银行全面加快数字化转型，深化人工智能大模型应用，上线百亿级大模型ChatCIB，聚焦量化投研、营销财富、知识问答、报告生成、办公辅助、代码服务领域打造6类数字助手，形成首批AI大模型应用，为推进高质量发展注入新活力。
兴业银行信创技术中台可观测性平台入选工信部“2023年信息技术应用创新应用示范案例”
7月11日，由工业和信息化部信息中心主办的“信息技术应用创新发展大会暨解决方案应用推广大会”在天津召开，大会发布了2023年信息技术应用创新解决方案征集遴选结果，兴业银行信创技术中台可观测性平台成功入选“2023年信息技术应用创新应用示范案例”，是全国金融行业13个入选案例其中之一。
本次评选共征集有效案例1094个，从业务支撑能力、技术先进性、应用示范性、产业带动性、实施服务能力五大维度出发，经资格初审、专家中评、区域评议、专家答辩、综合复评等环节，共评选出典型解决方案173个、应用示范案例83个、单项创新案例64个。其中，应用示范案例涉及金融、交通、医疗、教育等重要行业，“兴业银行信创技术中台可观测性平台”从众多申报的案例中脱颖而出，成功入选。
兴业银行信创技术中台可观测性平台是兴业数金自主研发建设的企业级可观测技术平台，通过日志采集与检索服务、全链路追踪服务、监控分析服务和可用性预警服务共同构建适用于分布式、云化架构下的应用监控、性能分析和故障诊断体系。截至目前，兴业银行信创技术中台可观测性平台已赋能200多个系统，为系统架构向云原生、分布式转型保驾护航。
兴喜连连
兴喜连连
兴喜连连
兴喜连连
兴喜连连
兴喜连连
兴业数金应用创新中心收获多项优秀案例及荣誉
2024银行业数字金融典型案例
近日，由《中国银行保险报》主办的“银行业数字金融发展论坛（2024）”在厦门成功举办，论坛上公布了2024银行业数字金融典型案例，“空天新型数据赋能信贷数字化——兴业银行卫星遥感应用系统建设实践”“兴业银行企金CRM 系统群赋能营销数智化”“兴业银行网上单证处理系统进口信用证自动放款业务实践案例”“金田螺RPA 流程机器人平台”四项案例成功入选。
其中，“空天新型数据赋能信贷数字化——兴业银行卫星遥感应用系统建设实践”和“金田螺RPA 流程机器人平台”由应用创新中心自主研发完成。
卫星遥感应用系统于2022年11月正式上线，支持多源遥感影像和数据接入，实现多场景指标分析和应用功能，满足多个业务场景下的可视化展示和指标输出需求。在农业种植场景，首先对泉州安溪全县62万亩茶园的遥感影像进行智能分析，支持信贷逾6000万元。有了安溪的成功试点，兴业银行开始全国推广应用工作，包括四川、陕西等6个省份的10多个城市，陆续落地了玉米、小麦、柑橘等作物的监测项目，有效提高信贷服务效率，提升农业普惠客群服务能力。在林业经营、新能源电站、在建工程监测三个场景，已在福州、苏州、重庆、上海等城市陆续开展试点应用，作为数字化风控手段降低贷前尽调和贷后管理人力成本，并有效提升风控的准确性和及时性。
2023年，金田螺RPA 流程机器人平台上线，兴业银行成为国内首家自研机器人平台全面替代原国外产品的银行。行内RPA应用生态不断完善，应用与研发认证相继落地。目前平台已服务集团内19个总行部门、境内外45家分行、6家子公司，全面应用于零售与财富、企金与投行、同业与金融市场三大业务条线以及中后台管理场景，累计部署客户端3500余个。2024年1-7月，平台已累计调用机器人40多万次、在线服务8万多小时。
兴喜连连
兴喜连连
兴喜连连
兴喜连连
《集成了5G与物联网抵质押物管理技术方案 畜牧业》报告发布
近日，中国银行业协会银行业产品与服务标准化专业委员会在北京举办了《集成了5G与物联网抵质押物管理技术方案 畜牧业》团体技术报告发布暨专题研讨。兴业数金应用创新中心物联网创新团队参与编写了该方案。该标准的实施有利于推广“5G、物联网+生物活体动产监控”创新模式在活体资产抵押贷款业务中的普及和应用，有效助力金融机构更好地评估和管理相关风险，打通智慧农业的“最后一公里”，服务产业跨越式升级，做好数字普惠金融大文章。
兴业数金应用创新中心积极参与行业标准、团体标准的编制工作，力求为金融标准化建设贡献“兴业智慧”与“兴业力量”。本次团体标准发布对于推动畜牧业融资增信服务的创新与发展、提升畜牧业活体动产抵押物管理的效率与安全性、为银行业规范化畜牧业活体监控机制提供有益参考以及推动金融科技与实体经济的深度融合等方面都具有重要意义。
“兴业光伏服务平台”围绕“光伏贷”产品进行全生命周期数字化服务项目开发，在网贷系统实现贷款线上申请审批之外，通过光伏服务平台进一步实现发电收益对账分发、自动还款、电站发电风险管理功能，为客户提供一站式线上数字化服务。
“兴业双碳管理平台”为企业碳账户、个人碳账户及集团碳运营打造了一站式数字化底座。该平台为创新碳金融、服务碳中和、应对碳关税、打造ESG管理体系等提供支撑，实现多种场景下的绿色金融应用，是兴业银行擦亮“绿色银行”名片，全力做好绿色金融等“五篇大文章”的重要工具之一。
IDC（中国）金融行业技术应用场景创新奖
由应用创新中心自主研发的“兴业光伏服务平台”和“兴业双碳管理平台”荣获本年度IDC（中国）金融行业技术应用场景创新奖。
兴喜连连
兴喜连连
兴喜连连
陆家嘴金融城金融科技优秀案例
今年7月，“陆家嘴金融科技发展大会”在上海中心大厦召开，会上发布了2024年陆家嘴金融城金融科技优秀案例，“兴业数金兴银链开放联盟链服务平台”从众多申报案例中脱颖而出，成为最终选出的20个优秀案例之一。
兴银链开放联盟链服务平台是由应用创新中心自主研发的开放联盟链网络，致力于成为数字时代的可信基础设施，为业务用户、DApp应用开发者、节点运营方等多种角色提供开放稳定、安全易用、高性能且监管合规的区块链基础设施，在赋能行内外场景业务的同时，力求扩大区块链服务受众范围，赋能同业用户，促进产业生态发展。
Gartner全球研究报告
近日，由应用创新中心自主研发的“兴业双碳管理平台”和“生物资产平台”作为区块链应用创新案例写入Gartner全球研究报告。
其中，“兴业双碳管理平台”基于区块链的分布式、不可篡改等特性，将企业的碳排放信息上链，保证碳排放数据的真实性和完整性，不仅构建了碳账户可信数据基石，还实现了碳数据的跨机构、跨地区共享，提升碳排放管理的质效。
“生物资产平台”使用“物联网+区块链”技术对生物资产进行唯一性身份识别后，通过人民银行中登网等渠道完成质押登记，确保生物资产作为追加担保的质押物。利用该技术监控借款人养殖生物体的全过程，有助于深入了解企业的真实经营状况。
这些荣誉，是对应用创新中心自研成果的肯定，也是激励他们不断进步的动力。未来，该中心将持续探索前沿技术的创新应用，推动创新与实践的深度融合，深化业务赋能，为集团数字化转型贡献更多科技创新力量。
兴喜连连
分行服务专区
分行服务专区
政银互通，共同谱写破产管理业务发展新篇章
在数字化浪潮的推动下，兴业数金携手漳州、贵阳、哈尔滨等分行，成功上线分行破产管理人资金管理系统，当前已带动很好的低成本存款业务价值，预计会在更多分行的推广复用后产生更大价值。该系统通过开放银行兴E连，可快速与各地区法院的破产服务资金管理网络平台进行对接上线。兴业数金作为分行的强大科技支撑，充分践行了“构建连接一切能力”的数字化转型愿景，实现了兴业银行在司法业务领域的新突破。一是数分联动高效协作，加快项目上线。面对分行的迫切需求，兴业数金分行研发支持中心、企金与投行研发中心、技术服务中心迅速组建敏捷研发小组，与分行共同梳理业务处理流程，建立周会机制，高效推进项目研发工作。在一个半月内，完成了从需求沟通到项目上线全流程。二是通过开放银行科技创新赋能，提升服务质效。为了加快与各地法院的破产服务资金管理网络平台的对接，项目组充分利用开放银行—兴E连平台，将破产管理人业务从“线下”搬到“线上”，有效解决传统法院审判模式中信息不对称、审理进度不透明、周期性手工对账、账户转账和查询余额等低效率问题。
线上化全流程解决方案
三是采用多租户模式，打造可复用业务形态。通过分行多租户模式，针对业务模式相同的需求，支持业务人员在后管台进行个性化配置，可实现业务全流程快速落地，同时支持不同接入渠道的业务扩展。
截至9月底，分行破产管理人资金管理系统助力包括漳州分行、贵阳分行、哈尔滨分行等多家分行已开立临时账户超20户，存款超过10亿。未来，兴业数金将全力加快推进分行对项目复用落地，并不断优化系统功能，以科技创新赋能分行拓客展业，以真诚服务为分行数字化转型赋能。
如想进一步了解，欢迎联系分行研发支持中心许凡（890360）
RPA专区
RPA专区
中征码自动查询机器人
一、业务背景
企业中征码是企业在征信系统中的企业唯一标识符，当业务涉及到企业征信查询时，就需要查询中征码。目前企业中征码查询权限和功能全部移到分行风险管理部，业务人员需通过手动访问征信中心接入服务平台查询企业中征码操作，完成信用审核业务。而中征码的整个查询流程步骤较多，需要客户经理将查询信息汇总提交至支行，支行汇总提交至分行查询，查询结果再原路返回。痛点为流程繁琐且查询无法保证结果反馈及时性。
二、流程概述
基于以上背景，中征码自动查询机器人可以高效地替代人工查询并返回结果的过程。
作者：李沛祖（893195）
图1：机器人流程图
通过流程图可以看出机器人运行后，需要人工处理的部分很少。分行风险管理部的老师首次填写好配置文件，之后负责启停机器人即可。在机器人运行期间，客户经理只需要提交和查看结果，剩下的查询和反馈结果工作都可以交给机器人来实现。在查询任务未积压的情况下2分钟内客户经理可以通过在线表获取查询结果。该机器人提升了查询效率及保证了反馈信息的及时性。
目前机器人的任务获取和结果提交都是通过协同辅助系统中的在线表进行数据交互。在线表可以对访问人员进行权限控制，客户经理只能查看自己提交的记录，而负责中征码业务模块的老师可以查看所有记录，方便管理跟踪。
三、价值亮点
因为中征码查询的使用场景不同，中征码自动查询机器人也有两大优点：
（一）按需调节运行方式
机器人外置了一个配置文件，在配置文件中可以对机器人的运行方式进行调控，例如需要机器人对存量的一大批中征码查询任务进行处理，是一个长时间持续重复查询工作。这时就可以增加配置表中每次查询数量，方便大批量的查询工作。反之如果希望机器人可以实时监控客户经理的查询任务，做到有任务2分钟内给出结果，调小配置表中的每次查询数量，增加运行循环的次数。这样就可以达到及时出结果的效果了。
（二）支持移动端查询
因为中征码自动查询机器人只需要部署在一台电脑上启动运行，在运行期间只要是被赋予权限的客户经理随时通过
协同辅助在线表进行中征码查询任务的提交和结果的查看。而电脑端和移动端都可以登录协同辅助系统，使用者可以通过手机微办公app访问在线表，这样移动端就可以实现查询任务的提交和查看了，移动端的使用也有助于客户经理在外出拓展业务时随时进行中征码查询获取工作。
四、推广部署
目前分行都有中征码查询的业务，且分行查询途径一致。所以机器人版本是通用的，只需完成下发部署即可使用。
中征码自动查询机器人正在推广中，其中已经部署并使用的分行有：大连分行、广州分行、长沙分行、郑州分行、太原分行、上海分行；已部署准备测试的分行有：南宁分行、哈尔滨分行、苏州分行、兰州分行、昆明分行、武汉分行；有意向仍未部署的分行有南京分行、济南分行。
从目前的部署运行情况来看，大体可以配置为查询积压任务和实时反馈查询任务两种情况。其中查询积压任务速度为100个/小时左右，一周内连续运行可以解决近4000个积压查询任务。而实时反馈查询任务可以工作日全天运行，实时处理客户经理提交的查询任务，例如广州分行每日查询任务为30-50个，每个任务两分钟内可出结果。
图2：移动端在线表提交及结果查看表
如想进一步了解，欢迎联系应用创新中心李沛祖（893195）
RPA专区
RPA专区
开放创新
开放创新
WAIC 2024世界人工智能大会亮点回顾
7月4日，以“以共商促共享，以善治促善智（Governing AI for Good and for All）”为主题的2024世界人工智能大会暨人工智能全球治理高级别会议（WAIC 2024）在上海拉开帷幕。国务院总理李强出席大会开幕式并致辞，他表示“中国始终积极拥抱智能变革，大力推进人工智能创新发展，高度重视人工智能安全治理，实施了一系列务实举措为全球人工智能发展和治理作出积极探索，贡献了建设性思路和方案”。
本届大会由外交部、国家发展改革委、教育部、科技部、工业和信息化部、国家网信办、中国科学院、中国科协和上海市政府共同主办，打造“会议论坛、展览展示、评奖赛事、智能体验”四大板块，聚焦人工智能领域前沿技术、产业动向、向善治理等全球人工智能行业普遍关心的领域。
本届大会亮点
百场论坛群星荟萃。按照“1+3+10+X”架构焕新呈现，包括1场开幕式和全体会议，全球治理、产业发展、科学前沿3场主论坛，10场主题论坛和若干场行业论坛，涵盖AI伦理治
理、大模型、数据、算力、具身智能、AI for Science、智慧工业、自动驾驶、投融资、教育与人才等重点话题，全面体现AI向善、国际合作、共治共享的价值导向。大会凝聚超过1000位全球领军人物，五洲齐聚，泰斗云集。
展览展示精彩纷呈。大会展览面积超5.2万平方米，重点围绕核心技术、智能终端、应用赋能三大板块，生动展现人工智能技术赋能千行百业的创新图景，聚焦大模型、算力、机器人、自动驾驶等重点领域，从大模型的开发与应用、人形机器人的前沿探索、AI PC终端的普及与优化，智能驾驶技术的发展到智慧城市的推进，集中展示一批“人工智能+”创新应用最新成果，首发一批备受瞩目的创新产品。
“三赛三奖”引领风向。本届“SAIL奖”共收到海内外参评项目超200个，国际项目申报比例创新高。青年论文奖共征集全球优秀论文159篇，国际论文占10%。“云帆奖”将遴选出在人工智能领域乘风破浪、勇立潮头的青年科技创新人才。此外，BPAA第四届全球应用算法模型典范大赛、青少年人工智能创新大赛、浦源大模型挑战赛三大品牌赛事将共同助力打造AI产业的高品质人才生态。
智能体验全面升级。应用体验聚焦人形机器人、虚实融合、自动驾驶、无人机、脑机接口等人工智能前沿技术，打造全新智能科技盛宴。AI Agent将成为观众参会智能大管家，机器人矩阵将与观众亲切互动。首个三维一体、AI盛行的“模力奇域”，以文生文、文生图、文生视频AIGC等技术，结合AI AGENT打造了一系列沉浸式体验场景，为观众带来一场跨越现实与虚拟、传统与现代的奇妙之旅。“人工智能+”应用场景综合区聚合三大“AI+中心”，通过场景展示、场景发
开放创新
开放创新
布和需求撮合，着重解决各行业高质量发展的痛点和难点，实现人工智能技术产品与应用需求的精准对接，促进产业上下游的深度链接。100+个买家团组、100+个应用场景撬动百亿级采购需求。
筑巢引凤聚集AI人才。大会重点打造人才培养平台，举办中外院士与高校校长对话、百位云帆奖得主交流、人才发展测评、青少年人工智能创新发展、女性菁英交流、青年科学家座谈交流、优秀论文路演等多元活动。同时，设立新秀开放麦和创新项目路演环节，为青年新势力提供展示的舞台。
全民互动迈向AI普及新时代。大会致力推动全民参与、共创共享的AI普及新时代。精心策划WAIC美好奇妙夜、创作者分享、海内外KOL探馆、网络名人座谈会等一系列全民可感知、可参与的活动，为公众提供深入了解AI技术的机会，感受人工智能的魅力和潜力。
首次冠以“全球治理”之名
举办了七届的世界人工智能大会（WAIC），在2024年首次更名为“世界人工智能大会暨人工智能全球治理高级别会议”。印有大会主题“以共商促共享，以善治促善智”的旗帜，在上海市主要干道随处可见，其中的“治”字尤为显眼。
大会期间，与全球治理相关的论坛有10个，来自联合国、美国、法国等世界各地的大咖聚集在一起，讨论AI的伦理和安全，试图通过技术手段让AI向善。这些大咖包括联合国副秘书长奇利齐·马瓦拉，图灵奖得主、蒙特利尔学习算法研究所科学主任约书亚·本吉奥等人。
在生成式AI大模型技术和应用都已经崭露头角时，AI治理成为全球各国都重点关注的话题。在AI治理规范方面，全
球多个大国都已开始行动。去年11月，英国举办了首届全球人工智能安全峰会，美国、英国、欧盟、中国、印度等多方代表参加。今年5月，欧盟议会批准欧盟《人工智能法案》，这是世界上首部对人工智能进行全面监管的法案。
与前几年一直延续的“智联世界”主题相比，2024年的WAIC有非常明显的不同，2024年大会主题为“以共商促共享，以善治促善智”，强化对人工智能全球治理及国际合作的关注。大会前两位演讲嘉宾，清华大学苏世民书院院长、人工智能国际治理研究院院长薛澜和上海人工智能实验室主任周伯文，演讲主题都与人工智能治理有关。他们提到，当下AI行业的发展是失衡的，AI安全的提升远远落后于性能的提升，他们呼吁通过科学的力量，加强全球安全人才的交流与合作，共同构建开放、安全、通用的人工智能。
其后参加对谈的黑石集团董事长苏世民、原微软执行副总裁沈向洋、图灵奖得主姚期智等商界和学界人士也都围绕AI治理话题发表了自己的见解。
外交部军控司司长孙晓波介绍，本届大会主题体现了两方面的办会初衷：一是搭建开放包容、平等参与的国际交流合作平台，邀请各国政府及产学研代表共同打造人工智能全球治理“议事厅”，助力构建开放、公正、有效的治理机制。二是通过各方各界全面深入讨论人工智能发展、安全和治理问题，防范人工智能潜在风险，充分挖掘其带来的机遇，推动人工智能赋能各国经济社会发展，真正造福全人类。
本文来源于微信公众号【中国发展改革】发布的《2024世界人工智能大会亮点多》文章
理论前沿
理论前沿
一、RPA与生成式AI结合的三种主要方向与场景
（一）大语言模型增强的智能RPA
在自动化领域，RPA与新爆发的生成式AI都可以用来实现自动执行重复耗时的任务。但是，传统RPA擅长处理结构化与规则明确简单的流程，而在非结构化数据处理、动态上下文适应、智能决策等能力上有欠缺；基于大语言模型（Large Language Model，以下简称LLM）的生成式AI则具备了强大的自然语言理解与推理能力。因此如果将两者融合，则可以实现更加智能化、更具适应能力、更高效的自动化流程方案，更好地应对复杂的任务场景与数据，拓展RPA自动化的边界，实现增强的智能RPA。
LLM增强的智能RPA体现在以下四点：
1．RPA认知增强：利用GenAI给RPA带来认知自动化，
通过金田螺RPA自动训练多模态模型
作者：高梦溪（892147）、张誉（893060）
我们正见证着多模态大模型（Large Multimodal Model，以下简称LMM）的跨越式发展，多模态大模型作为一种新型的机器学习技术，逐渐成为人工智能领域的热点话题。多模态大模型能够处理多种媒体数据，如文本、图像、音频和视频等，并通过学习不同模态之间的关联，实现更加智能化的信息处理。
RPA技术是通过模拟人类在数字系统中的操作流程，实现对重复性、规则明确任务自动化。在金融行业、电信、制造业等多个行业中，RPA正助力企业实现业务流程的自动化与智能化。
随着人工智能技术的不断发展和创新，越来越多的企业和组织开始探索和应用机器学习、深度学习、自然语言处理等领域，以提升业务效率和竞争力。虽然传统RPA仍然是一个以用户界面自动化为主的技术，但是随着深度学习等AI技术的不断发展，RPA也在不断尝试利用新的AI技术来弥补自身的不足，比如借助光学字符识别技术的自动文档处理等。
于是，我们开始探讨，在大模型时代，RPA与基于大模型的生成式人工智能（Generative AI，以下简称GenAI）之间是否可以擦出相互融合、相互促进的火花？
图1：RPA与GenAI
机器人不仅是根据规则执行任务，更可以进行智能决策、处理非结构化数据；
2．客户体验优化：通过聊天机器人使用GenAI来理解客户意图，并调用RPA机器人无缝自动地完成任务；
3．智能文档处理：对于文档密集型的任务，借助于GenAI可以更好地从非结构化文档中提取与分析数据，提高RPA处理文档密集型任务的可操作性、准确性与效率；
4．利用LLM提升RPA的低代码能力：利用LLM强大的代码输出能力，可以简化RPA开发过程中的部分代码任务，提高低代码能力。
以一个客户电子邮件协助处理的RPA机器人为例：电子邮件内容是一个典型的非结构化数据内容，借助于LLM的理解能力，可以让RPA机器人具备更好的智能认知与动态响应能力，根据邮件的反馈内容、甚至客户情绪等作出合适的后续响应动作，相比传统基于规则的RPA机器人来说，显然具备了更高的认知能力与动态适应能力。
此外，借助LLM实现的RPA增强的一些场景包括：
1．金融机构利用RPA进行自动化交易过程中，利用LLM进行欺诈检测；
2．企业利用RPA机器人来处理客户查询、反馈与投诉，利用LLM理解客户自然语言描述的问题并做针对性的处理；
3．财务部门利用RPA机器人进行财务报销与发票审核，利用多模态模型自动识别与提取发票图像信息以用于审核。
（二）RPA与人工智能体的协作
人工智能体（AI Agent，以下简称为AI Agent）作为目前生成式AI炙手可热的焦点领域，带来了更多智能化的自动化任务的可能。AI Agent与RPA作为自动化流程的两种不同形态的技术，自然也有着相互融合与协作的可能。
ToolAgent，是AI Agent中的一种基础类型，它能够灵活调用外部工具应用程序编程接口（Application Programming Interface，以下简称API）。因此，我们在RPA的应用场景中可以尝试一种融合模式：将RPA的自动化流程作为一个Tool提供给AI Agent使用，AI Agent在完成人类任务的过程中，进行智能的识别与调用RPA自动化流程，也就是RPA Agent模式。
一个RPA自动化流程机器人与AI Agent融合的RPA Agent架构与交互流程可能如下：
图2：RPA+LLM应用在邮件处理场景
理论前沿
理论前沿
在这个架构中：
1．AI Agent通过前端用户界面（基于自然语言）发生客户交互，借助LLM识别客户需求与意图，比如“需要申请一台笔记本电脑”；
2．AI Agent识别意图后，会自动判断使用工具箱中的何种工具（API），并智能提取工具的输入参数，比如判断出需要调用“笔记本电脑申请的RPA自动化流程”，输入的参数为员工的电子邮箱、笔记本型号等；
3．AI Agent通过RPA系统的开放API来触发RPA自动化流程：如果机器人运行在本地，可以直接激活运行；如果机器人运行在远程，可能需要借助必要的Agent来实现远程机器人的调度运行。
（三）基于多模态大模型的RPA智能导航
由于RPA是一种人类操作仿真与用户界面自动化的技
术，虽然其对后端系统的侵入性与耦合性很低，但是在前端却有着较大的应用耦合性。实施过RPA项目的可能都经历过： Web应用升级、浏览器内核升级、用户界面调整、甚至某个图片内容调整，都会导致原来的RPA任务流程失败。
以常见的Web应用为例，为了模拟人类操作实现自动化，需要识别用户界面元素进而模拟鼠标点击、键盘输入等。方法包括：
1．借助DOM解析/XPath选择器查找与定位元素；
2．借助用户界面的坐标点/屏幕区域定位；
3．借助于图像定位，比如查找图片中相同的按钮。
无论哪种方法都不具备较好的自适应能力，在UI布局与元素发生变化时，很容易导致原RPA流程的不可用。
随着大模型，特别是LMM的出现，比如GPT-4 with Vision（可以理解图片的多模态大模型，以下简称GPT-4V）、Gemini-Pro-Vision等，给RPA/自动化测试领域带来了新的可能。
早先在微软长达166页的GPT-4V的论文中，介绍了利用GPT-4V实现计算机或智能手机的图形用户界面交互与导航的实验：AI根据当前计算机屏幕，以及设定的目标任务（比如看一下今天的新闻）、能够进行的操作（比如鼠标点击与键盘输入），然后预测下一步的操作，最后能够成功地导航到具体的网页完成任务。如果说以前的RPA只有手脚（借助浏览器自动化等技术进行模拟操作），只能按照人类固定指令顺序执行动作，那么多模态大模型可以给RPA安装上眼睛和大脑：能够看到人类看到的界面内容，并思考如何操作，甚至分析操作的结果以决定后续动作。流程设想如下：
图3：RPA Agent架构
理论前沿
理论前沿
这里的关键是借助多模态大模型的视觉理解能力来推理流程步骤中需要执行的动作，这需要让大模型能够“看见”当前的用户界面，所以我们需要把用户界面图片作为输入交给多模态大模型。为了让多模态模型能更好的理解用户界面，并且输出操作动作，我们需要对界面进行提示性的“标记”，形成类似这样的图片并交给模型进行理解：
图4：RPA+LMM的流程
图5：交给模型理解的图片
有两种可能的标记方法：
1．对Web页面，可以通过页面注入JavaScript并执行来完成元素标记。
2．对图形用户界面，需要首先截屏生成图片，然后借助SoM（微软的开源项目Set-of-Mark，专门用于为GPT-4V生成图片视觉标记的工具）工具进行标记。
二、金田螺RPA训练大模型案例——大模型对话机器人
RPA团队正在进行RPA与AI结合的超级自动化方向的探索，并已经有项目实践落地：大模型对话机器人。
大模型应用创新系统是通过行内自主部署大模型，探索大模型行内应用范围和模式，助力提升工作质效。由于大模型训练需要人工输入大量数据，以提升大模型的问答准确性和合理性，而大量的人工重复训练工作，可以使用RPA进行自动化替代。
大模型对话机器人，通过RPA自动读取需要输入的语句，传入AI模型，AI模型通过计算，回答出对应答案，RPA获取到对应内容后，记录在表中，以便后续开发同事分析和调整。通过RPA微调大模型的方式，提升大模型的精准度和问答合理性。
如图中所示，RPA可以批量读取需要与大模型对话的数据，通过接口或界面方式，与大模型进行对话互动，并获取大模型答案，记录在表中。
理论前沿
理论前沿
多模态气象预测模型勘探：蝴蝶效应的前世今生
作者：郭雪莹（890131）
1979年12月，在美国华盛顿特区举行的美国科学促进年会上，麻省理工学院气象学教授埃德·洛伦兹在演讲中提出：一只蝴蝶在巴西扇动翅膀，可能会在美国的德克萨斯引起一场龙卷风。从此，“蝴蝶效应”一词不胫而走，其原因在于，蝴蝶翅膀的运动，导致其身边的空气系统发生变化，并引起微弱气流的产生，而微弱气流的产生又会引起它四周空气或其他系统产生相应的变化，由此引起连锁反应，最终导致其他系统产生极大变化。
出于上述原因，目前的天气预报其实都是概率预报，尤其在预测极端天气事件方面，比如飓风、热浪或洪水，但往往正是极端天气所造成的的自然灾害显著。根据2020年至2022年开展的第一次全国自然灾害综合风险普查结果，中国是世界上受气象灾害影响最严重的国家之一，气象灾害的种类多、影响范围广、发生频率高，所造成的的损失占到了自然灾害损失的70%以上。2023年，全国共出现37次区域性暴雨过程，造成京津冀等地重大人员伤亡和财产损失，全国洪涝灾害造成的直接经济损失达2445.7亿元。
《国家适应气候变化战略2035》提出，要强化各行业以及金融体系的适应气候变化能力，支持银行业、证券业、保险业制定针对气候风险的监管措施和应对方案。为有效降低气候变化影响，亟须探索气象协同金融的创新实践，降低气候风险的经济社会影响。
一、机器学习和物理模型的双向奔赴
图6：RPA处理的输入输出文件
图7：RPA操作界面
如想进一步了解，欢迎联系应用创新中心李沛祖（893195）
理论前沿
理论前沿
理论前沿
理论前沿
解决气候问题离不开数据。气候系统是一个多模态数据的集合，包含气候观测数据、卫星数据、地球磁场数据等多种类型数据，不仅拥有不同的特征和分布，还往往存在一定的缺失和噪声。气候数据的多样性和不确定性使得气候系统相当复杂，也为传统的气候模型在预测准确度方面带来了局限。
多模态气候预测模型将机器学习算法带到了物理模型之中，可以处理多种类型、特征的数据，通过自动学习数据的特征和关联性，将不同类型的数据有效融合在一起。在科学家们的研究实验中，主要通过以下三种方式使用人工智能来进行气候建模。
（一）基于模拟器的机器学习模型
将传统的气候模型视为一个计算机程序，它可以根据物理因素（例如球的投掷力度、投掷地点以及旋转速度）来计算球将在何处落地。模拟器可以被认为相当于一名体育运动员，他学习所有这些建模输出中的模式，然后能够预测球将落在哪里，而无需处理所有数学运算。
在2023年的一项研究中，澳大利亚联邦科学与工业研究组织的气候科学家使用物理模型对截至2100年的地表气温进行预测，针对两种大气碳浓度路径（低碳排放情景和高碳排放情景）训练了名为QuickClim的系统。随后要求QuickClim模型预测中等碳排放情景下的温度，模型在训练期间没有看到这种情况，结果与传统的基于物理的模型非常吻合。而一旦接受了所有三重排放情景的训练，QuickClim就可以快速预测本世纪在许多碳排放情境下全球地表温度将如何变化——比传统模型快约一百万倍。
（二）使用人工智能搭建“基础”模型
“基础”模型的搭建逻辑是这样的，由于气候数据中存在一些基本的、可能未知的模式，可以预测未来的气候。通过发现这些隐藏的模式，基础模型有望比传统方法做出更好的气候、天气预测。
微软的研究人员构建了第一个此类基础模型——ClimaX。它根据五个基于物理的气候模型的输出进行训练，这些模型模拟了1850年至2015年的全球天气和气候，包括气温、气压和湿度等因素，模拟时间尺度从几小时到几年不等。经过这次训练后，团队对ClimaX进行了微调，使其能够执行广泛的任务。其中，该模型根据二氧化碳、二氧化硫、
图1：QuickClim预测全球地表温度将如何变化
理论前沿
理论前沿
黑碳和甲烷水平的输入变量预测了全球平均地表温度、每日温度范围和降雨量。ClimaX比模拟器更好地预测了与温度相关的变量关系，但在预测降雨量方面的表现，比模拟器略微逊色。
（三）将机器学习组件嵌入物理模型之中
这是一种相对妥协的方式，传统的气候模型很难预测积雪，但融合了机器学习和基于物理技术的混合模型已经成功模拟积雪和其他小规模气候过程。
在这种情况下，机器学习模型将仅替代传统模型中效果表现较差的方面——通常是对小规模、复杂和重要过程的建模，例如云的形成、积雪和河流。有科学家认为，这种混合模型可以比纯粹基于物理的模型表现得更好，同时比完全由人工智能构建的模型更值得信赖，比如在根据历史观测进行河流流量和积雪预测的测试中，它们表现良好。
二、主流多模态气候大模型盘点
全球目前主要使用的AI气象预测模型包括谷歌DeepMind的GraphCast，华为云的Pangu-Weather，复旦大学开发的伏羲，微软的Aurora等等，这些模型利用最新的人工智能和机器学习技术，显著提升了气象预测的准确性和细节层面的分析能力。
（一）谷歌的GraphCast
GraphCast是一个基于机器学习和图神经网络（GNNS）的天气预测系统。通过训练，GraphCast学习识别这些数据中的天气模式和趋势，例如风暴和高温的特定气候条件。
GraphCast可以在不到一分钟的时间内完成10天内的天气预报，还能更早的预测极端天气事件，如准确预测气旋的
路径，识别与洪水风险相关的大气河流，以及预测极端温度的发生。这种能力有助于通过更好的准备来挽救生命。目前，DeepMind已开源GraphCast的代码。
（二）华为云的Pangu-Weather
盘古气象大模型是首个预报准确率超过传统数值预报的AI方法，1小时-7天预测精度均高于传统数值方法（ECMWF IFS），如盘古气象大模型提供的Z500五天预报均方根误差为296.7，显著低于之前最好的数值预报方法（ECMWF IFS：333.7）和AI方法（FOURCastNet：462.5）。同时预测速度提升10000倍，能够提供秒级的全球气象预报，包括位势、湿度、风速、温度、海平面气压等。
盘古采用3D Earth-Specific-Transformer（3DEST）神经网络方法，并且使用层次化时域聚合策略来减少预报迭代次数，从而减少迭代误差。盘古大模型的训练和测试均在ERA5数据集上进行，包括43年（1979-2021年）的全球实况气象数据。其中，1979-2017年数据作为训练集，2019年数据作为验证集，2018、2020、2021年数据作为测试集。
图2：3DEST
理论前沿
理论前沿
盘古气象大模型对2018年两个超强台风康雷和玉兔的路径预测，准确度远超传统方法——尤其对于台风玉兔，盘古相较于传统方法提前48小时（比登陆时间提前6天以上）判断出玉兔的正确登陆位置：菲律宾马里亚纳群岛。
（三）复旦大学“伏羲”气象大模型
该模型利用AI算法提出了更加高效的U-Transformer结构，通过Cascade的方式级联模型，提升预报精度和时长。该研究使用ERA5来训练，最终，伏羲大模型拥有45亿参数，水平分辨率达到0.25°*0.25°，并首次将基于AI的天气预报时长提升到15天，可以每隔6小时为5个地表变量和5个大气变量做15天的预报。针对未来10天的预报，伏羲大模型的预报精度明显优于GraphCast模型和ECWMF HRES确定性预报结果。
在进行迭代预报时，随着提前期的增加，误差积累不可避免。由于单一模型无法在所有提前期上都表现最佳，为了优化短期和长期预报的性能，FuXi模型使用预训练的级联模型架构，针对特定的5天预报时间窗口进行精调以实现最佳性能。这些时间窗口被称为FuXi-Short（0-5天）、FuXi-Medium（5-10天）和FuXi-Long（10-15天）。与Pangu-weather采用的贪婪分层时间聚合策略不同，后者使用4个模型的预报提前期分别为1小时、3小时、6小时和24小时来减少步骤数量，级联的FuXi模型不会遭受时间不一致性的问题。总体而言，级联的FuXi模型在15天预报中的表现与ECMWF EM相当。
（四）微软的大规模大气基础模型Aurora
Aurora是一个有着13亿参数的基础模型，并经过超过一百万小时的不同天气和气候数据训练。团队在预训练时分两个阶段对Aurora模型进行了优化，以最大限度地减少具有不同分辨率、变量和压力水平的多个异构数据集的损失，得以适应不同分辨率的各种运营预测场景。
Aurora的架构设计可处理异构黄金标准输入，并生成不同分辨率和保真度级别的预测。
该模型由一个灵活的3D Swin Transformer和基于Perceiver的编码器和解码器组成，能够处理和预测一系列跨空间和压力级别的大气变量。
图3：伏羲大模型架构
图4：Cascade模型架构
理论前沿
理论前沿
通过对大量不同数据的预训练和对特定任务的微调，Aurora学会了捕捉大气中错综复杂的模式和结构，使其在针对特定任务进行微调时，即使训练数据有限也能表现出色。
Aurora能够在0.1°（赤道约11公里）的高空间分辨率下运行，捕捉大气过程的复杂细节，提供比以往任何时候都更加准确的业务预报，而计算成本仅为传统数值天气预报系统的一小部分。
三、多模态气象预测模型的应用价值
（一）提升清洁能源的利用效率
以电力行业为例，风力发电取决于风力大小，太阳能发电取决于阳光是否充足，多模态气象预测模型可辅助对风速、日照等进行更精准的预测，从而提升清洁能源的利用效率。
多模态气象预测模型可与传统的物理模型形成互补，凭借其卓越的性能和精度，为生产生活提供更准确、更实用的
天气预报信息，助力天气预报数字化，为农林牧渔、航空航海等各行业及公共安全保障提供有力的支持。由于气候灾害所带来的损失远远高于防灾减灾的成本，所以模型提供的信息越多，越有利于对气象的准确预测。比如物理模型可能会预告强降雨会发生在某两个区，而人工智能模型预告强降雨会覆盖第三个区域，这时就可以扩大防灾减灾范围。
（二）“气象×金融”的科技创新
将大数据、人工智能等技术带到气象模型之中，可以依托已有的气象监测预报预警服务体系，发挥气象部门在自然灾害预测、情景建设、灾害损失估算等领域的数据和技术优势，构建高质量气象灾害数据集和分析模型，完善具有中国特色的ESG评价体系。聚焦能源、健康等重点领域，水果、水产养殖等特色产业，开展气候风险影响前置研究，为产品研发、定价提供支撑；联合推进气象灾害成灾机理、灾害风险管理机制、气候变化影响次生灾害风险等方面研究；合作推动相关领域政策、业务规范、技术标准等体系建设。
图5：Aurora模型架构
如想进一步了解，欢迎联系应用创新中心郭雪莹（890131）
理论前沿
理论前沿
一、引言
计算与智能的概念和观念在历史上经历了重大演变，并一直延续至今。这些概念是由我们的社会意识、需求和挑战塑造的，同时也受到我们对智能的理解，以及智能行为或交互的技术发展的影响。在面临全球健康、气候和社会挑战的大背景下，我们迫切需要提高智能具身系统的能力，并了解如何以可理解、公平和合乎道德的方式使用具身系统。
在开发通用计算设备可快速、扩展地执行任务方面，人工智能技术的发展取得了巨大成功。然而，与生物系统相比，基于人工智能的机器仍然难以完成未知或全新的任务，并难以与环境交互。例如，人工智能机器仍然无法自主修复故障，而动物却可以利用自身的物理特性迅速解决问题。开发或充分利用人工智能优势，都需要考虑算法能力以及系统的物理“具身性”。由此出现了“具身智能”（Embodied Intelligence，EI）概念，即物理系统、材料和设计提供了在一定程度上具备鲁棒性的物理智能。
具身智能的概念最初由艾伦・图灵在 1950 年建立的具身图灵测试中提出，旨在确定智能体是否能显示出不仅限于解决虚拟环境（数字空间）中抽象问题的智能，还能应对物理世界的复杂性和不可预测性。
具身智能的出现促进了智能材料或软材料的发展，这些材料的被动特性可被用于高度复杂的交互场景中，还可以通过物理编程进行运动，从而摆脱对复杂控制器的依赖。多材
料3D打印或微型制造等新的制造方法，通过开发非传统结构、材料和系统，显著加速了具身智能研究的进程。但是，这些方法也带来了新的挑战，由于机器的规模、复杂性或软特性，建立模型和理解交互会变得越来越复杂。尽管具身智能提供了许多激动人心的功能，但要真正推动传统人工智能的发展，我们必须了解如何结合“大脑”的算法智能设计人体的具身智能，以及如何利用这些功能来更好地理解周围环境或与周围环境互动。
具身智能是一个跨学科的领域，而且还在不断发展壮大。这导致了用于开发具身智能技术的多样性，同时也产生了用于解释、发展和阐述具身智能的不同框架、视角和方法论。本文回顾了具身智能研究中的一些当前趋势，并讨论未来的挑战和机遇。
金融新纪元：具身智能机器人的创新融合与实践
作者：陈鹏（892265）、郑如璋（891137）
图1：各种类型的具身智能
二、具身智能的发展历史
具身智能（Embodied Artificial Intelligence，简称 EAI）是一个跨学科领域，涉及人工智能、机器人学、认知科学等多个学科。它强调智能行为是通过身体与环境的物理交互实现的，而不仅仅是大脑或中央处理单元的产物。
理论前沿
理论前沿
（一）早期基础
罗德尼·布鲁克斯（Rodney Brooks）在1991年提出了“行为主义智能”（Behavior-based AI）的概念，强调智能行为可以通过自主机器与其环境的简单物理交互产生，而不需要复杂的内部数据模型或算法。
布鲁克斯的工作推动了以“底层智能”为基础的研究，试图模仿生物体中观察到的自然和自适应行为。
（二）理论发展
罗尔夫·普费弗（Rolf Pfeifer）和克里斯蒂安·谢尔（Christian Scheier）在1999年合著的《理解智能》一书中，提出了“身体化智能”（Embodied intelligence）或“身体化认知”（Embodied cognition）的理论，强调智能是行为主
图2：具身智能体框架
体的整个身体结构和功能的综合体现。
琳达·史密斯（Linda Smith）在2005年提出的“具身假说”（Embodiment Hypothesis）进一步强调了身体和环境在认知过程中的重要作用。
（三）现代应用
近年来，随着人工智能技术的不断革新，具身智能逐渐从理论走向实践。深度学习、大模型等技术的发展为具身智能提供了新的技术支持。
Habitat 平台为 EAI 系统的开发提供了一个高效且逼真的三维模拟环境，极大地促进了虚拟机器人训练的实现和发展。
具身智能在机器人、自动驾驶汽车、虚拟现实和增强现实等领域有着广泛的应用。例如，OpenAI与Figure AI共同推出的Figure 01机器人展示了具身智能在理解、判断、行动及自我评估方面的能力。
图3：EAI能力图
理论前沿
理论前沿
具身智能被视为人工智能领域的下一个挑战，图灵奖得主姚期智和清华大学计算机系教授张钹院士等均认为，实现“具身通用人工智能”是未来的发展方向。
英伟达创始人黄仁勋在2023年的ITF World半导体大会上表示，AI下一个浪潮将是“具身智能”。
三、具身智能的理论基础
具身智能是一个跨学科的概念，涉及人工智能、机器人学、认知科学等多个领域。它的核心观点是智能行为不仅仅是大脑或中央处理单元的产物，而是与身体和环境的物理交互紧密相关。具身智能系统通常具备以下几个关键特征：
1．身体性：具身智能系统拥有或模拟一个物理身体，这个身体可以是机器人的机械结构或通过虚拟仿真模拟的身体。
2．环境交互：这些系统能够与环境进行交互，通过感知环境并作出反应来实现智能行为。
3．自主性：具身智能系统能够自主地进行决策和行动，而不是完全依赖于外部指令。
4．学习与适应：通过与环境的互动，这些系统能够学习并适应不同的任务和环境条件。
5．多模态感知：具身智能系统通常具备多种感知能力，如视觉、听觉、触觉等，这些感知能力使它们能够更全面地理解和响应环境。
（一）仿生学和软体机器人技术
自然界和生物系统通过其物理结构和具身智能，以富有想象力和智能的方式与环境进行高度复杂和微妙的互动。通过生物学分析，我们可以开发出具有类似能力的人工代理，
并通过“机器人物理学”（robo-physics）理解这些生物体中的具身智能是如何产生的。越来越多的人意识到，植物在很多方面能为具身智能提供灵感并进行示范。此外，植物的“无脑”结构仍然能够实现计算和智能，这对智能的标准概念和观点提出了挑战。
软体机器人技术（Soft Robotics）与仿生学（Bio-inspiration）密切相关，这项技术可利用软体与许多动物互动。不过，软体机器人技术也在不断发展，而不只是依靠生物灵感获得发展。在操纵、移动以及以应用为导向的能力（如操纵食物）方面，软体机器人技术已经取得了显著进展。然而，与生物系统相比，软体机器人在感知、执行和控制的可扩展性方面仍存在尚未解决的问题。
（二）人工生命和生物混合系统
开发人工生命（Artificial Life）或“活体生物”，而不是研发人造材料、设计结构和制造手段，将是用一种真正具身的方法来设计和创造智能系统。这将有助于实现具备自我复制、自我修复或自我感应等能力的“自我—X”（Self-X）系统。全球首个活体机器人Xenobots已经展示了“机器人”是如何从活细胞中形成的，并且这些“机器人”具有一定的能力来创造其同类。与此同时，生物混合系统（Bio-hybrid Systems）也在不断发展，并与生物系统和人工系统的关键进展交织在一起。虽然面临着许多技术障碍，但将活体肌肉细胞整合到机器人系统中，已被证明是可行的。就具身智能而言，除了可以探索“大脑”和“身体”之间的平衡和分配关系外，还可以将模拟计算和数字计算结合起来探索不同类型的“大脑”和“身体”。
理论前沿
理论前沿
（三）神经科学与认知
大脑本身是一个具有数十亿个神经元和数万亿个突触连接的复杂系统，这些神经元与突触和人类大脑皮层一起工作，而大脑皮层作为大脑的外层，与人类的最高心智能力相关。为了能够设计和开发具有类似能力的人工系统，我们必须理解大脑的行为和功能。对人类发展行为和认知进行分析和探索，可以作为一种理解具身性、涌现性和持续自主发展的重要性的方法。由于具身智能不像监督学习那样依赖于特定的输入/输出，从神经科学视角探索具身性概念，可以得出一个关键概念，即具身智能为人体提供了一种处理开放式甚至意料之外的互动情境的手段。此外，具身智能还能“塑造我们的思维方式”，本质上其认知和学习与身体息息相关。神经科学是一个复杂且多面的研究领域，对我们进一步理解具身智能和人类智能至关重要。
（四）理解高层次智能
“高层次”（higher level）智能一词用于指代纯感知—运动（sensory-motor）行为，如解决问题、推理，以及自然语言、情感和意识。然而，在物理体验、物理体验转化为记忆，以及“高层次”智能行为的长期影响三者间是存在交集的。通过创建解释这些反应能力的模型，物理互动、感知—运动控制和记忆之间的联系日益密切。同样，许多学科都在探索意识的定义或要求，从而产生了不同的观点和方法。
（五）具身智能的应用与部署
随着具身智能技术的发展和普及，开发更多面向特定应用场景的智能系统变得更加可行。其中一个特定应用场景是使用智能技术来控制和操作物体，美国Soft Robotics公司利
用干扰（jamming）和可变刚度（variable stiffness）两种技术，提供了一种依靠环境交互的通用机械手解决方案。随后，许多软性或顺应性解决方案也利用具身智能实现了稳健的智能交互。
触觉设备的发展为机器与人类之间以及人类相互之间的具身互动提供了技术手段。触觉设备还提供了一个平台，用于了解人类的具身互动、感知—运动协调、学习等。软体机器人技术作为一种理解智能的新工具也在不断发展，例如，在磁共振成像（MRI）研究中使用的柔性可穿戴设备。因此，开发能够展示和实现具身互动的技术，有可能进一步增强我们对具身互动的理解。
四、应用场景探索
（一）智能制造
在智能制造领域，具身智能技术可以帮助机器人更好地适应生产线上的各种任务。通过自主学习和适应，这些机器人可以提高生产效率，减少人为错误，提升产品质量。
（二）医疗健康
在医疗健康领域，具身智能技术也有着广泛的应用前景。例如，手术机器人可以通过学习和适应手术过程中的复杂操作，提高手术的精确度和安全性。康复机器人则可以通过与患者的互动，帮助患者进行康复训练，提高康复效果。
（三）教育与培训
具身智能技术还可以应用于教育和培训领域。通过模拟真实世界的交互，学生可以在虚拟环境中进行实践操作，提高学习效果。例如，在建筑学教育中，学生可以通过VR技术模拟建筑施工过程，更好地理解建筑结构和施工技术。
理论前沿
理论前沿
（四）银行服务
今年7月，国内首个智能人形机器人银行大堂经理场景训练基地在中国建设银行上海浦东分行正式启用。
在建设银行浦东分行的银行大堂里，客户正在向人形机器人咨询业务问题，机器人准确作答并为客户提供了详细的业务指南和操作流程；而在大堂的另一侧，人形机器人正根据客户的具体需求，将客户引导至合适的业务窗口或自助设备前。人形机器人银行大堂经理场景的建设，不仅为客户带来了新奇的服务体验，也提高了银行服务的效率和客户满意度。
未来，该基地将作为人形机器人银行大堂经理场景的重要训练场所，帮助提升人形机器人实际应用能力，推动关键技术、重要产品和重点场景落地。
五、面临的挑战与问题
（一）寻求具身智能的统一概念
工程师和科学家正在寻求一种明确的量化方法来定义“具身智能”。学界已经提出了多种方法来统一“具身智能”概念，包括物理具身智能、内在和外在互动的物理建模、能量水平、约束驱动的行为或行为透镜。虽然其中许多方法都有很大的相似之处，但也凸显了各种方法在哲学、抽象程度和保真度方面的差异。2010年，弗里斯顿发表了论文《自由能原理：一个统一的大脑理论？》，提出的一种普遍方法，为探索具身智能的概念提供了一个可能的统一方向。
（二）设计创意与多样性
生物学和自然界展示了大量富有创造性和多样性的解决方案和形式。与自然界相比，机器人技术的一个明显局限是在结构和形式上缺乏多样性和创新性。然而，作为一个研究领域，我们如何开发出更多形式的机器人，尚没有一个明确的解决方案。正如上文所述，仿生学和生物混合机器人是一种方法；关注植物并获得灵感也是一种方法，因为植物展示出了极其多样化的形态，而且在机器人形态上模仿得较少。此外，需要有来自不同背景和和经历的人类工程师团队来设计这些机器人。最后，还可以利用基于学习或大规模数据驱动的方法来探索新的设计形态和结构。
（三）具身智能与传统人工智能的联系
具身智能在结合传统的人工智能和机器学习时具有巨大的潜力。要使这些系统实现最佳对接，我们必须了解如何设计或分配智能，以及如何整合或理解具身智能的作用。此外，需要确定为什么某些任务对于独立的人工智能来说是一
图4：应用场景
应用前沿
理论前沿
个挑战，而具身智能将会有助于完成这些任务。这将有助于证明具身智能与人工智能的作用，也有助于提高具身智能在科学界和工业界的地位。另一个考虑因素是人工智能与人类社会的结合。如果我们想让人工智能系统更符合人类社会的需要，为人类社会所接受和理解，我们必须更仔细地考虑具身性与具身智能之间的交叉和相互作用。
（四）伦理与社会影响
具身智能技术的发展也引发了一些伦理和社会问题。例如，机器人的自主性可能会引发安全和隐私问题，机器人在某些领域的应用可能会影响就业等。这些问题需要社会各界的广泛关注和讨论，以确保技术的发展能够惠及更广泛的群体，而不是仅仅服务于少数人。
如想进一步了解，欢迎联系应用创新中心陈鹏（892265）、
郑如璋（891137）
人工智能技术在本行与同业的应用
来源:总行金融科技研究院《金融科技研究与创新动态》
一、人工智能技术在本行的应用
（一）金融科技研究院助力数字运营部实现智慧营销
1. 业务背景
随着企运平台运营工具能力不断完善，业务运营效率得到快速提升。数字运营部希望通过AI能力辅助运营策略进一步优化，借助运营平台+AI辅助业务规模化增长。
2. 解决方案
针对以上业务目标，金融科技研究院联合数字运营部和数据管理部成立了数字运营联合创新实验室，从智能商机挖掘、智能营销决策等多方面展开创新实验。首次以天天利商机挖掘作为试点场景，构建潜客识别模型，提升营销效果。为实现AI精准人群挖掘，本次实验基于超1600维的用户标签，涵盖用户的人口轮廓信息、交易行为、财富特征、资产水平、访问特征等。模型方面采用lookalike算法，基于目标种子人群，从海量人群中找出和目标种子人群相似的其他人群。该算法可快速复用到其他业务场景，实现规模化挖掘。
3. 业务价值
数字运营部、金融科技研究院、财富管理部围绕天天利营销场景，针对全行零售客户，通过AI模型累计短信触达覆盖163万人，转化率相比专家经验策略提升5.7倍，从实验效果看，整体提升申购金额约10亿元。同时，正在推进该能力在其他财富场景与上海、郑州等分行协同赋能，AI模型持续在深度表征和跨场景多目标上持续优化，助力小样本场景精
应用前沿
应用前沿
准度提升。
后续，数字运营联合创新实验室将持续在智能推荐、智能触达、AIGC、智能搜索等运营场景探索试点及推广，助力业务增长。
（二）金融工程实验室研发“小兴兴”智能交易机器人
1. 业务背景
本行资金营运中心交易员每日需要处理来自外汇交易中心iDeal渠道的大量债券询价、报价和发单等交易请求。随着债券业务规模的不断扩大，交易员的工作量与日俱增，通常只能针对重点客户的询价请求进行报价回复，难以同时高效服务全量客户。为丰富金融科技在资金交易领域的应用场景，减轻交易员的日常工作负担，需要针对iDeal渠道债券询价交易业务打造本行的智能交易机器人。
2. 解决方案
基于上述业务背景，金融工程实验室研发了“小兴兴”智能交易机器人，分为两个部分：前端会话界面由金融科技研究院开发，负责将iDeal上的询价会话文本转换为结构化交易指令。后端对接本行智能交易平台，由资金营运中心与兴业数金公司联合开发，提供自动报价、自动审批、自动成交、自动发单、交易管理、额度管理、实时风控等债券交易全业务流程自动化功能，并提供交易员可视化管理界面。其中报价基于资金营运中心自研的债券量化做市策略，该策略部署于本行智能交易平台上，跟随并聚合多路市场行情实时计算报价，具有价格竞争力强、稳定性高、毫秒级回复等特点，同时还能够为不同交易对手提供差异化报价。
交易员每日只需在智能交易平台上启动“小兴兴”便可自
动开始交易，从询价会话到成交发单全程无需人工介入。
图1：“小兴兴”智能交易机器人前端iDeal会话界面
图2：“小兴兴”智能交易机器人后端智能交易平台界面
3. 业务价值
“小兴兴”智能交易机器人运用金融科技赋能资金交易场景，代替人工实现了从询价会话到成交发单的整个债券iDeal渠道询价交易全业务流程自动化闭环，有效减轻了资金营运中心交易员的工作负担，提高了对客询价、报价的服务效率和服务质量，是本行金融市场业务数字化转型的又一创新突破之举。
“小兴兴”智能交易机器人于去年年底正式上线，截至7月11日已为150家同业机构提供优质报价服务7731次（报价量为19296.5亿元），与50家同业机构达成1355笔交易，总成交规模740.4亿。
二、人工智能技术在同业的应用
（一）上海银行：“AI交易员”实现全流程智能化交易
上海银行“AI交易员”项目运用自然语言识别、机器学习、量化交易等智能化技术，可实现交易前风险控制、交易中多线程智能策略报价、交易后智能发单等全流程智能化交易。项目上线后，上海银行人民币做市交易自动化占比提升至90%以上、外汇做市自动化占比提升至40%。上海银行已成功打造银行间市场首个AI债券交易员、首个AI利率互换交易员、首个AI外汇掉期交易员。其中，AI智能债券交易员投产后，双边报价点差收窄为人工报价的1/4，询价响应速度缩短至1秒以内，逐笔交易时长从10分钟压缩至1分钟内，有效提升了上海银行的价格发现能力。该项目荣获中国人民银行“2022年度金融科技发展奖”三等奖。
（二）微众银行：探索AI金融落地应用
微众银行首席人工智能官杨强认为，大模型的应用落地
涉及数据管理、算法优化、系统设计和成本控制等多方面的综合挑战，需要持续的技术创新和策略调整，以推动AI技术更加成熟、高效地服务于社会各个领域。他进一步指出：“AI Agent（人工智能业务助理）是大模型面向应用端发展的下一阶段，其基于大模型的通用能力，并结合相关领域知识适应不同场景需求。”据了解，在业务实践中，微众银行自研的生成式AI技术能够有效解决大模型幻觉（大模型在生成内容时产生错误或误导性结果）等技术难点，满足监管合规要求，已深度应用于客服、营销、质检、反欺诈、科技金融等核心业务场景，覆盖金融服务“前-中-后台”各个环节，提升金融服务质效。
（三）工商银行：探索大模型用于信贷管理
山东省金融科技创新监管工具新一批5个创新应用于近日公示，其中之一为工商银行山东省分行申请的“基于大模型技术的智能信贷管理服务”。该应用运用多项技术，搭建智能信贷管理平台，从多维度对行内外尽调信息进行聚合，一方面生成尽职调查参考报告，通过构建财务风控模型，对信贷业务进行全面分析，辅助客户经理进行贷前审批；另一方面，提供AI智能问答助手，提供尽职调查开展过程中的信贷制度、行业政策智能问答及信贷风险识别，通过智能问答可快速了解不同类型信贷业务的业务流程、准入规则以及信贷审查关注的重点内容，通过提供行业风险识别可辅助客户经理在尽职调查过程中关注不同行业客户重点调查方向。
（四）光大银行：数字人“小璇”提升金融服务交互
数字时代背景下，银行与客户的交互方式、产品服务形式乃至银行业自身形态都在发生变革，这也对银行的数字化
应用前沿
应用前沿
分层分群经营能力提出了更高要求。早在2020年12月，光大银行便正式推出001号数字员工，融合最先进的人工智能、人脸识别、声纹识别等技术手段，打造人们喜闻乐见的“身边”的“懂金融的朋友”。据了解，光大银行数字人先后打造了五种服务模式、近千个业务场景、7万余种不同的问法，创造全新的服务理念和社会价值，通过组队服务、产品播报等模式助力银行业务经营，促进银行数智化转型。在数字人“黑科技”的背后，是支撑业务系统进行复杂数据资源计算和任务处理的“引擎”——算力。“算力是集信息计算力、网络运载力、数据存储力于一体的新型生产力，对于助推银行产业转型升级、赋能科技创新进步具有重要意义。”
（五）苏商银行：申请大模型客服系统专利，大模型已用于画像生成领域
苏商银行透露，其成功申请一项基于大模型应用的银行客服系统升级方法、系统及装置的发明专利。据悉，该专利中，通过大模型技术应用，可更精准地理解客户需求，并提供定制化解决方案，以提升客户服务体验。苏商银行还表示，近年来，其攻关金融大模型关键技术，已申请多项大模型相关发明专利，并推动大模型在前中后台多个业务场景落地应用。
（六）江苏银行：依托大模型，创新打造数字金融新场景
企业授信审批环节面临着材料种类多样、提取整合复杂等痛点，客户经理需要投入大量时间与精力对企业营业执照、财务报表、税务记录、征信报告等进行信息提取与整合，这一直制约着授信审批效率。江苏银行基于大模型“多模
如想进一步了解，欢迎联系总行金融科技研究院张依漪（890518）
态”理念，准确识别用户意图，自动运用音频分析、外部图像处理等功能，实现扫描件、语音、电子表格和文本等多种类型素材的自动化提取，打通多类信息载体间的壁垒。该行推出“智能文档助手”，自动归纳企业经营状况，结合实时舆情信息，实现授信调查报告的智能生成，工作效率提升42%，预计每年节省客户经理1.5万工时。目前，大语言模型赋能的“智能文档助手”已在移动端、PC端双渠道落地，江苏银行客户经理可随时随地开展尽调工作，企业授信效率大幅提升。
应用前沿
应用前沿
为了激发大家对大语言模型的兴趣，提高提示词应用的熟练度，探索市面上各大模型在创意写作方面的无限可能，日前，兴业数金大语言模型应用创意勘探小组在应用创新中心内举办大语言模型高考作文挑战赛，邀请参与者利用大语言模型完成高考命题。挑战赛得到应用创新中心同事的踊跃参与，共收集六份稿件，经由大语言模型应用创意勘探小组组内匿名投票，决出排名靠前的三篇作文分别为：《于时代浪潮中，思问题之变》（李永青）、《科技进步，问题不减反增》（付豪），《问海无涯，智者行远》（陈亦余）。
一、使用模型
本次挑战赛的一大亮点是参赛者对模型的多样化选择。参赛者们根据自己的需求和偏好，选择了市场上不同的模型来辅助他们的写作。通义系列、ChatGPT-4，豆包等模型都得到了大家的青睐。除了使用通用的大模型外，也有参赛者选用了基于通用模型制作的特定领域的Agent，例如通义千问提供的高考作文助手和ChatGPT的AI扩写大师。
二、提示词撰写的特点
在本次挑战赛中，参赛者的提示词撰写展现了以下特点：
1. 结构化
参赛者们在撰写提示词时，都遵循了一定的结构，从背景设定到目标明确，再到风格要求和语气把握，每一步都清
晰有序，融入了参赛者们自身对高考写作流程和评判方法的理解。
大语言模型高考作文挑战赛
来源:大语言模型应用创意勘探小组
样例：
# 背景 #
我是一名高中生。我现在正在参加高考，需要写一篇以问题作为材料的作文。
# 目标 #
我想要你帮我完成作文的写作，作文的类型为议论文，选准角度，确定立意，明确文体，自拟标题，文章正文文字个数不少于800字。请根据以下步骤逐步完成作文。
1. 明确论点：明确给出观点，正面准确回答题目所提出的问题。
2. 大纲确定：根据作文论点，确认论文的整体大纲脉络。
3. 自然段主要内容确定：确定大纲中每一点的自然段数量，拟定每个自然段的主要内容。
4. 丰富内容：根据每一自然段的主要内容，丰富每一自然段的内容。
5. 整体润色：在完成作文初稿后，对作文初稿整体进行润色，进一步提高作文质量和表述水平。对结尾段落着重优化，进行升华。
6. 确定标题：根据作文的整体内容，总结出作文标题，要夺人眼球、引人深思，可以使用一些比喻或者文学词藻。
# 风格 #
议论文。遵循以往高考考生的满分作文的写作风格。要按照总-分-总结构书写。开头要点明论点。文中需要适当引用几条名人名言。
# 语气 #
充满逻辑性，引用贴近主题的新闻论据，论述深刻。
# 受众 #
高考改卷老师。写出文笔好、逻辑性强的作文折服他们能让我获得高分。
应用前沿
应用前沿
2. 多轮对话
提示词的设计允许了多轮对话的进行，这不仅考验了参赛者对模型的引导能力，也使得写作过程更加动态和互动。在实践中，大部分参赛者都进行了三轮或者更多轮的对话，引导模型进行更细节的修辞运用、字数缩减、示例引用等。
Agent。
# 响应: 整篇作文 #
《作文标题》
<自然段1>
<自然段2>
<...>
<自然段n>
<备注>
请给出你每个步骤的中间结果，方便我了解你思考的过程以及我对于最终作文内容进行润色。
# 开始写作 #
如果你理解的话，请向我询问作文的题目。
样例：
用户1：在文章中加入一些关于问题解决的例子
用户2：请对文章进行润色，使其更具文学色彩。
用户3：请重新整理为一篇完整的作文，不少于800字，不需要小标题
3. 自评价
部分参赛者在提示词中让模型自我明确任务步骤，并在写作过程中要求模型进行自我评价和调整，这种自我驱动的学习方式明显提升了模型写作的质量和深度。以下是一系列提示词，构造了一个为作文打分，并优化修改作文的
样例：
提示词1：
你是一个资深高考语文老师，目标是为了辅导高考作文写作。
高考作文想拿高分有哪几个要点，请将要点都列举出来，用于指导学生写作文。
提示词2：
请根据以上要点，对学生作文进行打分，并给出点评。
提示词3：
请给出改善建议。直接输出改善后的文章。
三、样例作文
限于篇幅，我们在此展示一部分参赛者采用大语言模型生成的作文片段，完整文本及更多参赛作文请查看：
https://weboffice.cib.com.cn/kdocs/l/ctz6jrQyHzBR
样例1：
当搜索引擎编织起知识的经纬，人工智能以温柔的声音抚慰求知的灵魂，看似答案如星辰般触手可及。但在这光辉之下，隐藏的是一个更为宏大的命题：技术的魔杖并未消减问题的数目，反而引领我们踏入了一个未知与挑战交织的新纪元。在这里，问题不再是简单的求解对象，而是激发智慧火花的火石，是推动文明车轮滚滚向前的不竭动力。
互联网与人工智能，犹如两把利剑，劈开了知识迷雾，却也揭示了更深层的迷宫。医疗领域的智能诊断，教育的云端资源共享，皆展示了问题解决速度的革命性飞跃。然而，这份高效背后，是问题本质的迁徙与深化——我们不再止步于表面的困惑，而是向更为复杂的宇宙发问。正如尼采所言：“问题比答案更能启迪人心。”
应用前沿
应用前沿
句诗的意境”就可以用大模型解决。
样例2：
而且，随着技术的发展，新的问题也不断涌现。比如信息的真实性和可靠性如何辨别，大量良莠不齐的信息充斥着网络，我们如何在其中筛选出有价值的内容。再者，人工智能虽然强大，但它并非无所不能，一些涉及人类情感、道德、伦理等复杂的问题，仍然需要我们自己去思考和判断。例如在面对人工智能决策的伦理争议时，我们需要深入思考其合理性和潜在影响，而不是简单依赖技术给出的答案。
在这个时代，我们的问题其实不是在减少，而是在发生着转变。从简单的“是什么”向更深入的“为什么”和“怎么办”转变。我们需要思考的不仅仅是问题的答案，还有如何运用这些答案去创造更美好的未来。我们不能满足于被动地接受信息和答案，而应积极主动地去探索、去质疑、去创新。
高考作文的撰写和评价只是大语言模型能力的一个方面，随着技术的不断成熟与创新，大模型的应用边界被不断拓宽，在教育领域展现出巨大潜力：
1. 个性化学习路径定制：基于学生的学习习惯、能力水平及兴趣，大模型能够生成个性化的学习计划和资源推荐，实现“一人一策”的精准教学。
2. 写作辅助与评估工具：大模型可以作为写作辅助工具，帮助学生在写作过程中进行语法检查、风格建议和内容优化。同时，大模型也可以作为评估工具，对学生的作文进行评分和提供反馈，帮助他们识别并改进写作中的不足。
3. 跨学科学习与研究：大模型能够整合不同学科的知识和数据，支持跨学科的学习和研究，促进知识的综合应用和创新思维的培养。例如近期网络上出现的自主招生面试题“写出一个二元二次方程组来表达‘春草明年绿，王孙归不归’这
图1：大模型会话界面
4. 创意写作启发：在创造性写作教育中，大模型可作为灵感激发器，根据学生的创意种子，生成一系列情节发展线索或角色设定，激发学生的想象力和创造力。
五、结语
人工智能时代，AI不再仅仅是信息处理的工具，而是成为促进个性化学习、提升教学质量、激发学生潜能的重要伙伴，让我们一起期待更智能化、高效化的教育新时代。
如想进一步了解，欢迎联系应用创新中心于泳欣（893392）
应用前沿
应用前沿
兴业数字金融服务（上海）股份有限公司
创新速递
使用微办公扫一扫
加入创新速递微聊交流群
增值电信业务经营许可证：陕B2-20210327 | 
陕公网安备 61102302611033号