通用人工智能
第10期
"模"都倡议
GENERAL ARITIFICIAL INTELLIGENCE
《通用人工智能》是一份专注于通用人工智能（AGI）领域的研究报告，旨在为读者提供最新的政策速递、焦点新闻、评测专栏、行业动态和特邀续集等内容。关注AGI的技术进展、应用场景、风险防范和伦理治理等方面，以客观、专业、前瞻的视角，展现AGI的发展现状和未来趋势。
政策速递
政策速递
政策速递
政策速递
政策速递
源自：一图读懂工业和信息化部、教育部、文化和旅游部、国务院国资委、国家广播电视总局等五部门联合印发《元宇宙产业创新发展三年行动计划（2023—2025年）》
1800亿参数，支持中文，3.5万亿训练数据！开源类ChatGPT模型
阿联酋阿布扎比技术创新研究所（Technology Innovation Institute，简称TII）在官网发布了，目前性能最强的开源大语言模型之一Falcon 180B。
TII表示，Falcon 180B拥有1800亿参数，使用4096个GPU在3.5万亿token 数据集上进行训练，这也是目前开源模型里规模最大的预训练数据集之一。
Falcon 180B有基础和聊天两个模型，允许商业化。Falcon 180B在多个权威测试平台中，在推理、编程、知识测试等方面，超过了Meta最新发布的 Llama 2 70B 和 OpenAI 的 GPT-3.5，可媲美谷歌的PaLM 2-Large仅次于GPT-4。
抖音：发布AI生成，虚构情节等特定内容需主动添加标识，否则最高封号
公告称，“内容标识”指抖音创作者在发布内容时，使用抖音平台提供的能力，主动对内容进行的补充说明。该说明将以标识的形式展现在相应内容下方。添加内容标识旨在为内容提供额外信息，降低用户的理解成本。
抖音表示，为规范内容标识的使用方式，为用户提供全面且有效的信息补充，创建良好的社区环境，抖音根据《互联网用户账号信息管理规定》《抖音社区自律公约》等相关法律法规和平台规则，制定《内容标识使用规范》。按照规范要求，用户在发布涉及虚构情节或专业行为等内容时，需添加相应标识，帮助用户更好识别。
焦点新闻
焦点新闻
焦点新闻
Anthropic为其Claude聊天机器人推出付费Pro版本
人工智能公司Anthropic在美国和英国推出了Claude聊天机器人的付费版本。新的Caude Pro选项的价格为每20美元（或18英镑），可在网站繁忙时提供优先访问、提前访问新功能以及发送更多消息的能力。
腾讯混元大模型正式亮相：一手抓更强中文创作能力一手抓大模型安全管控
9月7日，在2023腾讯全球数字生态大会上，腾讯混元大模型正式亮相，并宣布通过腾讯云对外开放。拥有超千亿参数规模，预训练语料超2万亿tokens。
Mojo编程语言开放下载：专为AI设计，号称比Python快68000倍
Mojo是Modular AI公司开发的一种编程语言，专门面向AI设计，号称比Python快68000倍。官方宣布Mojo现已开放本地下载运行，除了编译器之外，Mojo SDK还包括一整套开发者和IDE工具，可以用于构建和迭代Mojo应用。
微软承诺将为企业客户使用Copilot AI生成的内容版权风险负责
微软宣布，将通过新的Copilot版权承诺对使用其Copilot AI服务的企业客户进行赔偿，如果第三方因使用Copilot或其生成的输出内容而起诉企业客户侵犯版权，微软将为客户辩护并支付因诉讼而产生的任何不利判决或和解金额。
Mojo
开源 AI 模型评估工具 Arthur Bench
Arthur是一家机器学习监控创业公司，Arthur Bench是一份开源工具，用户可以使用这些工具系统地测试LLM性能，但真正的价值在于它允许用户测试和衡量用户的在特定应用中可能使用的提示类型，以及这些提示在不同语言模型上的表现。
公司在官网上写道：语言模型像ChatGPT给出的回复中错误或“虚构”的信息非常普遍,正确率低于65%。这可能导致用户根据不准确的信息做出错误决定。语言模型也对细微变化高度敏感,轻微改变提示词就可能得到完全不同的回答。此外,语言模型的表现对不同语言和文化群体存在差异。英语内容在训练数据中占主导地位,导致其他语言和文化代表性不足。
评测专栏
评测专栏
评测专栏
语言模型表现欠佳的原因在于,它们是预测最可能的词序列,而不是代表真实世界。训练数据过时也是导致错误回复的原因之一。用户过度依赖不可靠的语言模型回复可能造成严重后果,给组织和社会带来不平等。企业在使用语言模型时需要权衡利弊。在提示词中包含最新信息或许能减轻过时信息的风险,但训练数据的默认倾向还是难以完全避免。
语言模型存在无意中泄露个人隐私或机密信息的风险。训练数据中可能包含个人身份信息等私密内容。语言模型可能基于这些数据推断出私人详情。如果没有正确的上下文,它们也可能在被提示时泄露不能释出的信息。这不仅对个人用户造成威胁,还可能导致组织数据泄露。此外,潜在的政府机密泄露也对国家安全构成风险。管理语言模型的信息隐私需要制定相关法规。
语言模型可能会产生令人不快或者带有偏见的输出,这类问题通常都是来源于模型训练用的数据。训练数据里包含大量语言信息,模型在训练过程中就学到了里面含有的任何有害内容,包括带有偏见的词语或刻板印象。虽然研究人员试图通过过滤训练数据来解决这一问题,但很难做到完全清除有害内容,而且任何过滤系统都存在主观性,可能会不公平地将某些语言标记为“有毒”。
这类有问题的输出可能会让使用语言模型的个人用户感到困扰。而如果企业内部广泛使用这些模型,员工长期面临歧视性或带偏见的语言,也会对组织文化产生负面影响,特别会伤害弱势群体。要有效应对这类风险,需要语言模型开发者、研究人员乃至政策制定者共同努力,通过技术手段提高模型,并制定政策确保语言模型对所有用户来说都是安全和可用的。组织内部使用这些模型也需要慎重评估风险,做好定制和系统设计工作来最大程度减轻问题输出。
智能社交平台「BenBen」获千万级种子轮融资
9月12日消息，智能化解决方案服务商北京场景互动科技有限公司旗下智能化社交平台“BenBen”宣布完成千万级种子轮融资，本轮融资由杭州昱昊领投，天使轮的资深投资人全部跟投。融资资金将主要用于产品迭代、市场拓展、以及团队扩充。
BenBen 是一款由自研开源垂直社交大模型BenbenGPT驱动的智能社交APP，目前处于试运营阶段，已上架苹果、华为、OPPO、VIVO、小米、应用宝等主要应用市场。
行业动态
行业动态
行业动态
上海民营技术创新孵化联盟正式成立 民营孵化联盟创新融通发展论坛成功举办
为推动建设高质量民营孵化载体，激发民营企业创新的内生动力，促进民营经济发展壮大，9月11日上午，在2023浦江创新论坛全球技术转移大会期间，上海市工商业联合会、上海市科学技术委员会共同举办民营孵化联盟创新融通发展论坛，50家民营孵化载体携手成立上海民营技术创新孵化联盟。市委统战部副部长、市工商联党组书记王霄汉，市科技工作党委副书记陈龙出席论坛并致辞。市工商联党组成员、副主席汪剑明主持活动。
Imbue融资2亿美元，估值10亿美元
生成式AI初创企业 Imbue创立于2021年4月，早期名称为“Generally Intelligence”，总部位于美国加利福尼亚州旧金山。
近日在官网宣布，获得2亿美元（约14.5亿元）融资，估值超过10亿美元。此次投资由由加密货币亿万富翁Jed McCaleb创立的非营利组织Astera Institute领投。NVIDIA（英伟达）、通用汽车自动驾驶部门Cruise首席执行官Kyle Vogt、Notion联合创始人Simon Last等也是投资方，融资金额是Imbue先前已筹集资金的10倍。
种子轮融资3300万美元，Superluminal用AI技术加速GPCR靶向药物研发
生物技术公司Superluminal Medicines（以下简称Superluminal）宣布完成3300万美元种子轮融资。本轮融资由RA Capital Management领投，Insight Partners、NVIDIA和Gaingels参投。本轮融资将用于推进其小分子药物研发管线，加速其G蛋白偶联受体（G Protein-Coupled Receptor，GPCR）靶向药物的研发。
大模型时代: 知识图谱过时了吗？
以ChatGPT为代表的大模型，是全新一代知识表示和调用方式，相比以往知识图谱的方式，更加高效智能可扩展等，开启通用人工智能之门。但符号化的知识图谱过时了吗？并非如此，知识图谱和大模型可以进行很好的结合，互相促进，提升知识利用的效果。来自澳大利亚格里菲斯大学（Griffith University）等学者《统一大型语言模型和知识图谱:路线图》，29页pdf详述最全指南，值得关注！
学术研讨
学术研讨
学术研讨
大型语言模型作优化器，让模型“深呼吸”
谷歌DeepMind团队最新发现，用这个新“咒语”( Take a deep breath)结合大家已经熟悉的“一步一步地想”(Let' sthink step by step)，大模型在GSM8K数据集上的成绩就从71.8提高到80.2分。而且这个最有效的提示词，是AI自己找出来的。
OPRO
(Optimization by PROmpting)
整体框架:采用元提示(meta-prompt)作为主要输入，借此驱使LLM为目标任务产出新的解决方案。而一旦生成了这些方案以及得分，它们就会被整合进元提示，为接下来的优化过程提供更为深入的指导。
做大模型研究，4090和A100/H100的区别
许多入门者，都会在是否要做大模型研究这个问题上徘徊，不妨先看看目前英伟达知名度很高的三块显卡H100、A100和4090的基础性能。在算力上4090和A100几乎没有差距甚至还小优，真正的差距体现在显存大小和通信能力上。
学术研讨
学术研讨
复旦NLP团队发布80页大模型Agent综述
近期，复旦大学自然语言处理团队（FudanNLP）推出 LLM-based Agents 综述论文，全文长达 86 页，共有 600 余篇参考文献！作者们从 AI Agent 的历史出发，全面梳理了基于大型语言模型的智能代理现状，包括：LLM-based Agent 的背景、构成、应用场景、以及备受关注的代理社会。同时，作者们探讨了 Agent 相关的前瞻开放问题，对于相关领域的未来发展趋势具有重要价值。
论文链接：https://arxiv.org/pdf/2309.07864.pdf
微软13亿参数phi-1.5，单卡A100训练，刷新SOTA
微软在研究基于 Transformer 的小型语言模型的威力，TinyStories 是一个可生成连贯英语的千万参数模型，而 phi-1 则是一个具有 13 亿参数的模型，其 Python 编码性能接近最先进水平。论文建议使用现有的大型语言模型（LLMs）生成 "教科书质量 "的数据，与传统网络语料训练相比的强得多。论文沿用 "Textbooks Are All You Need "这篇文章的方法，将重点放在自然语言的常识推理上，并创建了一个名为 phi-1.5 的 13 亿参数新模型，它在自然语言任务上的表现可与 5 倍于此的模型相媲美，而在更复杂的推理任务（如小学数学和基础编码）上的表现则超过了大多数非前沿大型语言模型。
总体而言，phi-1.5 表现出了更大型 LLM 的许多特征，其中既有好的方面，如 "逐步思考 "或执行一些基本的上下文学习的能力，也有不好的方面，包括幻觉以及可能产生有毒和有偏见的后代，不过令人欣慰的是，由于缺乏网络数据，phi-1.5 已经开源，以促进对这些紧迫课题的进一步研究。
不过，此前Dylan Patel参与的两篇稿件，无一例外都被证实，并且引发了业内的轩然大波。无论是谷歌的内部文件泄漏事件（「我们没有护城河，OpenAI也没有」）——
LLM会越来越融入我们的生活，吞噬全球的算力
著名的SemiAnalysis分析师Dylan Patel和Daniel Nishball，爆料行业内幕：谷歌的下一代大模型Gemini，算力已达GPT-4的5倍。
根据Patel和Nishball的说法，此前屡屡被爆料将成为GPT-4大杀器的谷歌Gemini，已经开始在新的TPUv5 Pod上进行训练了，算力高达~1e26 FLOPS，比训练GPT-4的算力还要大5倍。凭借着TPUv5，谷歌已经成为了算力王者。它手中的TPUv5数量，比OpenAI、Meta、CoreWeave、甲骨文和亚马逊拥有的GPU总和还要多。
虽然TPUv5在单芯片性能上比不上英伟达的H100，但谷歌最可怕的优势在于，他们拥有高效、庞大的基础设施。没想到，这篇爆料引来Sam Altman围观，并表示，「难以置信的是，谷歌竟然让那个叫semianalysis的家伙发布了他们的内部营销/招聘图表，太搞笑了。 」
特邀续集
特邀续集
特邀续集
Meta已经把「拥有世界上第二多的H100 GPU」，直接拿来当招聘策略了。与此同时，数不清的小初创公司和开源研究者，正在为GPU短缺而苦苦挣扎。因为没有足够虚拟内存的GPU，他们只能虚掷光阴，投入大量时间和精力，去做一些无关紧要的事。
他们只能在更大的模型上来微调一些排行榜风格基准的小模型，这些模型的评估方法也很支离破碎，更强调的是风格，而不是准确性、有用性。他们也不知道，只有拥有更大、更高质量的预训练数据集和IFT数据，才能让小开源模型在实际工作负载中得到改进。
电话：021-62037717
网址：www.sh-aia.com
邮箱：saia@sh-aia.com
地址：上海市浦东新区世博村路231号（汇博中心）330室
增值电信业务经营许可证：陕B2-20210327 | 
陕公网安备 61102302611033号