机器之心报道
机器之心编辑部
自大模型兴起以来，使用强化学习从人类反馈（RLHF）中微调语言模型一直是确保 AI 准确遵循指令的首选方法。
为了确保 AI 系统安全运行并与人类价值观保持一致，我们需要定义期望行为并收集人类反馈来训练「奖励模型」。这种模型通过发出期望的动作来指导 AI。但是，收集这些常规和重复任务的人类反馈通常效率不高。此外，如果安全政策发生变化，已经收集的反馈可能会过时，需要新的数据。
我们能否构建一种新的机制来完成这些任务？近日，OpenAI 公布了一种教导 AI 模型遵守安全政策的新方法，称为基于规则的奖励（Rule-Based Rewards，RBR）。
相关论文已经放出。
论文作者之一、OpenAI 安全系统负责人 Lilian Weng 表示，「RBR 可以自动执行一些模型微调。传统上， 我们依赖于来自人类反馈的强化学习作为默认的对齐训练方法来训练模型，这确实有效。然而在实践中，我们面临的挑战是，我们花了很多时间讨论政策的细节，而到最后，政策可能已经发生了变化。」
RBR 根据一组安全规则提供 RL 信号，使其更容易适应不断变化的安全政策，而无需严重依赖人类数据。此外，借助 RBR，研究者能够以更统一的视角看待安全性和模型能力，因为更强大的分级模型可以提供更高质量的 RL 信号。
OpenAI 表示自 GPT-4 发布以来，他们一直将 RBR 用作安全堆栈的一部分，包括 GPT-4o mini，并计划在未来的模型中实施它。
为什么要提出 RBR？
随着大型语言模型（LLM）功能的增强和普及，确保其安全性和对齐变得越来越重要。最近的许多工作都集中在使用人类偏好数据来调整模型上，例如基于人类反馈的强化学习（RLHF）。
然而，仅使用人类反馈来实现目标安全规范还面临许多挑战。为模型安全性收集和维护人类数据通常既费钱又费时，而且随着模型能力的提高或用户行为的改变，安全准则也会发生变化，这些数据可能会过时。即使要求相对稳定，也很难向注释者传达。安全方面的情况尤其如此，因为所需的模型响应非常复杂，需要对是否响应以及如何响应请求做出细微差别。如果说明不够明确，注释者可能不得不依赖个人偏见，从而导致超出预期的模型行为，如变得过于谨慎，或以不理想的风格（如评判）做出响应。
例如，在 OpenAI 的一次实验中，一些注释者在对用户有关自残请求的可能回复进行排序时，偏向于将用户转到美国自杀热线，而这对美国以外的用户没有帮助。要解决这些问题，往往需要重新标注或收集新数据，这既昂贵又耗时。
为了解决这些问题，使用 AI 反馈的方法最近越来越受欢迎，其中最突出的是宪法 AI（Constitutional AI）。这些方法利用 AI 反馈合成训练数据，与人类数据相结合，用于监督微调（SFT）和奖励模型（RM）训练步骤。不过，在宪法 AI 和其他方法中，「宪法」涉及「选择危害较小的响应」等一般性指导原则，AI 模型有很大的自由裁量权来决定什么是有害的。在现实世界的部署中，我们需要执行更详细的政策，规定应该拒绝哪些提示，以及拒绝的方式是什么。
因此，在这篇论文中，OpenAI 的研究者提出了一种新的 AI 反馈方法 ——RBR，它允许人类详细说明所需的模型响应，类似于给人类注释者的指示。
RBR 的工作原理是怎样的？
实施 RBR 的方法包括定义一组命题 —— 关于模型响应中期望或不期望方面的简单陈述，例如「带有评判性」、「包含不允许的内容」、「提及安全政策」、「免责声明」等。然后，这些命题被用来形成规则，这些规则被精心设计以捕捉在各种场景中安全和适当响应的细微差别。
例如，在面对不安全请求时，拒绝（如「抱歉，我无法帮你」）是一种期望的模型响应。相关规则将规定，拒绝应「包含简短的道歉」并且「应说明无法遵从」。
研究团队设计了三类期望的模型行为，用于处理有害或敏感的话题。根据安全政策，不同的请求对应不同的模型响应类型。
图中内容由 AI 工具翻译，仅供参考。
以下是一些命题的简化示例，以及它们如何映射理想行为或非理想行为到不同响应类型的。
图中内容由 AI 工具翻译，仅供参考。
研究者在下表中提供了一些在实验中训练模型所完成的示例。
图中内容由 AI 工具翻译，仅供参考。
评估器是一个固定的语言模型，根据响应遵循规则的程度对其进行评分，从而使 RBR 方法能够灵活适应新规则和安全政策。
RBR 使用这些评分来拟合一个线性模型，该模型的权重参数是从一个已知理想响应类型的小数据集，以及对应的期望做法和不期望做法中学习的。
这些 RBR 奖励随后与来自「仅提供帮助」的奖励模型的奖励结合起来，作为 PPO 算法的额外信号，以鼓励模型遵循安全行为策略。
该方法允许研究者对模型的行为进行精细控制，确保其不仅避免有害内容，而且以一种既表示尊重又有帮助的方式进行。
强化学习过程中 RBR 与传统奖励模型的集成。
RBR 好用吗？
实验显示，经过 RBR 训练的模型表现出与经过人类反馈训练的模型相当的安全性能。前者还减少了错误地拒绝安全请求（即过度拒绝）的情况。
此外，RBR 还显著减少了对大量人工数据的需求，使训练过程更快、更具成本效益。
随着模型能力和安全准则的发展，RBR 可以通过修改或添加新规则快速更新，而无需进行大量重新训练。
该图显示了有用性（以模型正确遵循安全提示的百分比来衡量）与安全性（以模型正确拒绝不安全提示的百分比来衡量）之间的权衡。对于这两个指标，值越高越好。右上角标记了有用性和安全性之间的完美平衡。有用性基线不使用安全性 RBR，往往更有用但安全性较低。人类基线是在仅有帮助和人工注释的安全性数据上进行训练的，往往非常安全但有用性较低。借助 RBR，OpenAI 的目标是使模型既安全又有用。
RBR 有哪些局限？
尽管规则基础的系统（RBR）在有明确、直观规则的任务中表现良好，但在更主观的任务中（如撰写高质量的文章），应用 RBR 可能会有些棘手。然而，RBR 可以与人类反馈结合起来，以平衡这些挑战。例如，RBR 可以强制执行特定的准则（如「不要使用俚语」或模型规范中的规则），而人类反馈可以帮助处理更细微的方面（如整体连贯性）。RBR 的强度被优化为既能正确执行安全偏好，又不会过度影响最终的奖励评分 —— 这样，RLHF 奖励模型仍然可以在如写作风格等方面提供强有力的信号。
伦理考量：将安全检查从人类转移到 AI 上可能会减少对 AI 安全的人工监督，并且如果使用有偏见的模型提供 RBR 奖励，还可能放大潜在的偏见。为了解决这个问题，研究人员应该仔细设计 RBR，以确保其公平和准确，并考虑结合使用 RBR 和人类反馈，以最大限度地减少风险。
OpenAI 表示，RBR 不仅限于安全训练，它们可以适应各种任务，其中明确的规则可以定义所需的行为，例如为特定应用程序定制模型响应的个性或格式。下一步，OpenAI 还计划进行更广泛的消融研究，以更全面地了解不同的 RBR 组件、使用合成数据进行规则开发以及人工评估，以验证 RBR 在包括安全以外的其他领域的各种应用中的有效性。
参考内容：
https://openai.com/index/improving-model-safety-behavior-with-rule-based-rewards/
百度文心一言是什么？你对文心一言有什么期待？
网络文心一言是每日更新的一句古诗词，旨在激发读者的思考，增强文人文魂。 我期待文心一言能够带给我更多美好的文学体验，更深刻的文化意境，以及更多有趣的历史故事。
进入3月中旬，全球科技巨头再次竞相亮相大语言模型赛道。
一周之内，开发出ChatGPT的美国初创公司OpenAI，对OpenAI投入巨资的科技巨头微软，以及中国互联网龙头企业网络，相继发布了在大语言模型（LLM）领域的最新动态。 这也再次引发了全球对该领域的关注。
当地时间3月14日，OpenAI公布了其大型语言模型的最新版本——GPT-4，它比GPT-3.5的问答质量和技术都有明显提升。
3月16日下午，网络开启新一代大语言模型、生成式AI产品文心一言测试，从而成为第一家加入该赛道竞争的中国企业。
在发布会现场，网络创始人、董事长兼首席执行官李彦宏通过问答的形式，展示了文心一言在文学创作、商业文案创作、数理推算、中文理解、多模态生成等五个使用场景。 几个小时后，微软宣布，将把GPT-4接入Office全家桶，新名为“Microsoft 365 Copilot”。
正如财经E法在2月17日发布的文章（OpenAI独家回应｜ChatGPT为何不向所有中国用户开放注册？）所述，中国内地和中国香港的手机号均无法注册ChatGPT账号。 此外，虽然OpenAI的应用程序编程接口（API）已向161个国家和地区开放，但不包括中国内地和中国香港。
一方面，业界普遍关注，在AIGC（生成式人工智能）势不可挡的科技浪潮中，谁将成为下一个弄潮儿？另一方面，在中美科技竞合的敏感期，各方亦颇为关注网络迈出的第一步带来的涟漪，以及中国企业该如何应对。
01“真的ready了吗？”
3月16日，李彦宏身着白衬衫和运动鞋演讲。开场就直面疑问，“最近一段时间，很多朋友问我，为什么是今天，你们真的ready了吗”？
李彦宏的回答是，虽然网络已投入AI研究十多年，为发布文心一言做了充分准备，但“不能说完全ready了”，因为文心一言对标ChatGPT、甚至是GPT-4，门槛很高，还“有很多不完美的地方”。 但他强调“一旦有了真实的人类反馈，文心一言的进步速度会非常快”。
李彦宏解释，之所以选择当天发布，是因为市场有需求：客户和合作伙伴都希望能早一点用上最新最先进的大语言模型。
如何理解李彦宏所言的“对标GPT-4的门槛很高”？
当地时间3月14日，OpenAI公布了其大型语言模型的最新版本——GPT-4。 值得注意的是，GPT-4是大型的多模态模型，即能够接受图像和文本类型的输入。 而GPT-3.5只能接受文本输入。
在展示视频中，OpenAI总裁兼联合创始人格雷格·布罗克曼(Greg Brockman)用笔和纸画了一幅网站草图，并将图片输入GPT-4。 仅1到2秒后，GPT-4就生成了网页代码，制作出了与草图高度相似的网站。 根据OpenAI发布的实验数据， GPT-4模型相较前一代GPT-3.5已取得了巨大的进步，在许多专业测试中表现出超过绝大多数人类的水平。
浙江大学国际联合商学院数字经济与金融创新研究中心联席主任盘和林认为，文心一言未来还有待全面开放来获得用户检验。 无论是通过B端API还是直接向C端用户开放，用户体验口碑都是硬道理。 当前ChatGPT没对中国用户开放，在国内市场，网络将获得先发优势。
对OpenAI和网络的产品均做过测评的艾媒咨询CEO兼首席分析师张毅表示，GPT系列大模型，包括GPT-4与文心一言本质上都是同一类产品，只是它们各自的数据覆盖范畴和数据模型的积累长短不一。 从短期看，OpenAI的产品准备时间相对更加充足，智能程度暂时领先一些。 但是对文心一言而言，能在这么短的时间内训练出这样的一个产品，也是非常了不起的。
同时，张毅也对网络做出更好产品更有信心，他的理由是，从人工智能、大数据、大模型的人才储备来看，中国会更有优势。
中央财经大学数字经济融合创新发展中心主任陈端则认为，与海外竞争对手相比，网络最大的优势是立足本土，构建了语言和文化层面理解的护城河。
作为中国公司研发的大语言模型产品，文心一言的中文理解能力备受关注。 重要原因是，此前很多评论人士认为，ChatGPT的中文问答能力不如英文问答能力强。
李彦宏表示，作为扎根于中国市场的大语言模型，文心一言具备中文领域最先进的自然语言处理能力。 在现场展示中，文心一言正确解释了成语“洛阳纸贵”的含义、“洛阳纸贵”对应的经济学理论，还用“洛阳纸贵”创作了一首藏头诗。
李彦宏称，文心一言的训练数据包括：万亿级网页数据，数十亿的搜索数据和图片数据，百亿级的语音日均调用数据，以及5500亿事实的知识图谱等，这让网络在中文语言的处理上能够独一无二。
受访专家也指出，由于汉语的特殊性，中国企业在研发大模型时面临的难度更大，但若突破了，也会在提供本土服务时，具备更大的优势。
法国里昂商学院人工智能与商业分析教授丁文璿日前对媒体指出，语言对话模型训练，需要让机器对文字产生理解，英语比中文稍微容易一些。 丁文璿解释，中国人工智能技术所处理的中文语言，大多都是象形词，而英文是解释性的，相较而言词语也并非特别丰富。
此外，上海交通大学约翰·霍普克罗夫特计算机科学中心助理教授林洲汉认为，未来大语言模型大概率会往多模态、交互式的方向发展，进一步将视觉、语音、强化学习等领域的技术综合进来。 李彦宏也表示：“多模态是生成式AI一个明确的发展趋势。 未来，随着网络多模态统一大模型的能力增强，文心一言的多模态生成能力也会不断提升。 ”
在多模态生成方面，李彦宏展示了文心一言生成文本、图片、音频和视频的能力。 文心一言在现场用四川话朗读了一段内容，并根据文本生成了一段视频。 但李彦宏透露，文心一言的视频生成成本较高，现阶段还未对所有用户开放，未来会逐步接入。
李彦宏称，文心一言的训练数据包括：万亿级网页数据，数十亿的搜索数据和图片数据，百亿级的语音日均调用数据，以及5500亿事实的知识图谱等，这让网络在中文语言的处理上能够独一无二。
受访专家也指出，由于汉语的特殊性，中国企业在研发大模型时面临的难度更大，但若突破了，也会在提供本土服务时，具备更大的优势。
法国里昂商学院人工智能与商业分析教授丁文璿日前对媒体指出，语言对话模型训练，需要让机器对文字产生理解，英语比中文稍微容易一些。 丁文璿解释，中国人工智能技术所处理的中文语言，大多都是象形词，而英文是解释性的，相较而言词语也并非特别丰富。
此外，上海交通大学约翰·霍普克罗夫特计算机科学中心助理教授林洲汉认为，未来大语言模型大概率会往多模态、交互式的方向发展，进一步将视觉、语音、强化学习等领域的技术综合进来。 李彦宏也表示：“多模态是生成式AI一个明确的发展趋势。 未来，随着网络多模态统一大模型的能力增强，文心一言的多模态生成能力也会不断提升。 ”
在多模态生成方面，李彦宏展示了文心一言生成文本、图片、音频和视频的能力。 文心一言在现场用四川话朗读了一段内容，并根据文本生成了一段视频。 但李彦宏透露，文心一言的视频生成成本较高，现阶段还未对所有用户开放，未来会逐步接入。
发布会前后，网络的股价经历了大落大起。 3月16日，港股网络盘中股价跌幅一度扩大超10%，报120.1港元。 截至收盘，网络股价跌幅为6.36%，报125.1港元。 但网络股价在美股势头强劲，当日网络美股开盘低开高走，振幅超7%。 截至收盘，报138.16美元，涨幅为3.8%。 3月17日，网络港股表现强势，盘中一度大涨超15%。 截至当日收盘，网络港股涨幅为13.67%，报142.2港元。
文心一言宣布开启邀请测试一小时内，排队申请文心一言企业版API调用服务测试的企业用户已达3万多家，申请产品测试网页多次被挤爆，网络智能云官网流量飙升百倍。
文心一言的市场热度持续飙升，资本市场也给予了价值重估。 张毅认为，这也代表了公众对大语言模型/生成式AI “既期待，又担忧，然后是希望”的心情。
02谁都不能错过的科技革命
事实上，“真的ready了吗？”并不仅针对网络，也是伴随此轮“ChatGPT”热潮以来，公众普遍的疑问。
李彦宏观察到，从2021年开始，人工智能技术开始从“判别式”向“生成式”转变。
创新工场董事长兼CEO李开复3月14日在一场趋势分享会上表示，AI 2.0时代的第一个现象级应用，就是以GPT-4为代表的AIGC，又称生成式AI（Generative AI）。 李开复表示，AI2.0 是绝对不能错过的一次革命，它将会是一个巨大的平台性机会，这个机会将比移动互联网大十倍。 他还表示，AI 2.0也是中国在AI领域的第一次平台角逐机会。
受访专家普遍认为，此前全世界的AI企业都遇到了一个极大的问题：即使技术储备十分丰富，AI应用并没有给它们带来丰厚的收益。 造成这一问题的原因在于，AI产品的应用主要集中在B端（企业用户）和G端（政府用户），AI产品在进入企业或机构时往往流程复杂，这在某种程度上会限制AI产品在市场上的快速扩张。
因此，张毅认为，AIGC的产品应用方向在C端更有可能产生巨大的商业机会。 他分析说，在美国市场，此前C端市场被谷歌、亚马逊、Meta等企业抢占，让微软压力非常大，更需要一款产品来扳回一局。 在中国市场，网络的优势和谷歌一样，都有强大的搜索引擎对数据的抓取能力，以及储存、整理、分析能力的基础。 中国本身拥有十几亿人口的巨大市场，网络完全可以做得很优秀。
“网络和微软、谷歌本质上是两个不同市场的竞争，所以我相信文心一言以及系列产品也一定会跑出来。 ”张毅说。
李彦宏坚称，文心一言不是“中美科技对抗的工具”。 但他也承认，ChatGPT 的成功，加快了网络推出该产品的进度。
网络CTO王海峰表示，人类进入AI时代，IT技术的技术栈可以分为四层：芯片层、框架层、模型层和应用层。 网络是全球为数不多、在这四层进行全栈布局的人工智能公司，在各个层面都有领先业界的自研技术。 例如，高端芯片昆仑芯、飞桨深度学习框架、文心预训练大模型以及搜索、智能云、自动驾驶、小度等应用。 王海峰认为，网络全栈布局的优势在于，可以在技术栈的四层架构中，实现端到端优化，大幅提升效率。
文心一言与ChatGPT一样，都使用了SFT（模型微调）、RLHF（从人类反馈中进行强化学习）以及Prompt（提示）作为底层技术。 此外，文心一言还采用了知识增强、检索增强和对话增强技术。 王海峰表示，这三项是网络已有技术优势的再创新。
陈端认为，在当前技术创新的集成性越来越高的当下，全栈式布局的单一公司在内部技术研发统筹能力和后期商业化进行中的协同能力上具有比较优势。
信心很重要，但差距无法忽视。
在本月初的两会期间，中国科技部部长王志刚在回应ChatGPT相关的问题时，用足球打比方，指出中国还有很多工作要做。 “踢足球都是盘带、射门，但是要做到梅西（足坛巨星利昂内尔·梅西）那么好也不容易。 ”
王志刚指出，中国在这方面也作了很多布局，在该领域的研究也进行了很多年，并且有一些
成果，“但目前要达到像 OpenAI 的效果可能还要拭目以待”他补充道。
王志刚说，ChatGPT出来以后，引起了大家的关注。 实际从技术本身源头来讲，它叫做NLP、NLU，也就是自然语言处理和自然语言理解。 ChatGPT之所以引起关注，在于它作为一个大模型，有效结合了大数据、大算力、强算法，计算方法有进步。 同样一种原理，做得有区别。 比如大家都能做出发动机，但质量是有不同的。
然而，无论是ChatGPT还是文心一言，其背后的大语言模型是核心竞争力。 北京大学王选计算机研究所研究员赵东岩告诉财经E法，国内大模型在数据、训练方法和费用投入方面和OpenAI还有一定差距。
一位科技系统人士则对财经E法指出，客观而言，中美目前在该领域的基础研究成果差距较大。 这些基础研究成果包含自然语言处理（NLP）、数据库、GPU产品，“美国切断GPU芯片（的供应），（中国的）算力就跟不上”。
大型算力的核心在于高性能GPU芯片。 北京航空航天大学软件学院助理教授周号益告诉财经E法，在GPU芯片等计算硬件上，中国与国际的差距在十年左右，硬件水平会严重制约大语言模型以及科学计算类模型的发展。
周号益认为，在技术和模型上，中国的科技公司与OpenAI并没有代差，差距仅在五年以内，在一些较小的技术领域差距只有2-3年。 在数据采集方面，以GPT-3大模型为例，其训练的语料中中文只占5%，中国科技企业对中文语料的积累具有一定优势，因此极有可能在中文领域实现突破。
03巨头下一步：构建生态
对于以ChatGPT为代表的大语言模型赛道如何实现盈利，是各方公认的难题（ChatGPT爆火的冷思考：盈利难题与治理挑战）。
开发出ChatGPT的OpenAI仍是一家亏损中的创业公司。 而2023年1月，投资银行摩根士丹利（Morgan Stanley）的一份分析报告称，ChatGPT的一次回复成本大约是谷歌搜索查询平均成本的6倍-28倍。
但腾讯研究院高级研究员曹建峰和经纬创投前副总裁庄明浩都认为，ChatGPT能带来多少盈利，并不是OpenAI关注的重点，重点是基于它的模型能长出什么样的服务和应用，从而构建起一个生态系统。 “ChatGPT的发展需要一个产业生态，比如它和微软相关应用的融合就是很好的思路。 ”曹建峰说。
当地时间3月15日，微软副总裁兼消费者首席营销官余瑟夫·梅迪发文表示，新版必应搜索引擎已经在 GPT-4 上运行。 另据OpenAI披露，GPT-4是在微软Azure AI 超级计算机上进行训练的，并将基于Azure 的AI基础架构向世界各地的用户提供 GPT-4服务。
谷歌则宣布开放其大语言模型PaLM的API接口，并推出面向开发者的工具MakerSuite。 通过PaLM API 接口，开发者们可以将PaLM用于各种应用程序的开发。 MakerSuite则可以让开发者快速对自己的想法进行原型设计，并且随着时间的推移，该工具将具有用于快速工程、合成数据生成和自定义模型调整的功能。
微软迅速跟进。 当地时间3月16日，微软宣布将把GPT-4接入Office全家桶。 新功能名为“Microsoft 365 Copilot”。
李彦宏则在发布会上表示，文心一言定位于人工智能基座型的赋能平台，将助力金融、能源、媒体、政务等千行百业的智能化变革。
根据文心一言的邀请测试方案，3月16日起，首批用户可通过邀请测试码，在文心一言官网体验产品，后续将陆续开放给更多用户。 此外，网络智能云即将面向企业客户开放文心一言API接口调用服务。 该服务于3月16日起开放预约。
截至3月18日早11点，排队申请网络智能云文心一言企业版API调用服务器测试的企业用户增加到9万家，网络收到关于文心一言合作的咨询 6588条。
陈端认为，这一轮的竞争，不仅是商业主体的竞争，实际上也是关乎下一轮国家数字竞争力的竞争。 所以，网络的当务之急不完全是技术层面的研发，也需要引领更多初创型企业、生态合作伙伴加盟生态阵营。
在陈端看来，中国在构建生态系统上具有优势。 陈端指出，中国的移动互联网经过多年发展，应用层生态化的配套创新已经非常成熟。 应用层的很多中小微创业团队，在过去配合移动互联生态做了大量的局部、垂类场景端的创新，把过去的这种模式以及底层基础设施从移动互联迁移到大模型领域依然适用。
04中小企业还有机会吗？
面对大语言模型的浪潮，中国企业该如何抓住机遇，避免风险？
在中国，布局ChatGPT的企业有两种类型：第一种是传统的互联网大公司，第二种是一些初创企业。
陈端认为，目前市场上的初创公司已经错过了布局大模型的初始创业阶段。陈端分析说，
重新打造生成式AI企业，跟时机、底层的生态支撑度，还有创始人自身的阅历、经验、视野、个人IP的自然调动能力都是息息相关的。 此外，大模型在前期的投入，不管是算力还是其他的成本，以及时间窗口都很重要。
陈端表示，目前，网络有能力把自己的其他的产品与文心一言协同，就像微软把Office与GPT-4协同推出Copilot，而“创业者单纯去拼大模型却没有配套生态，这是很成问题的”。
张毅也认为，对于能够有资金、实力支撑的企业来讲，单独构建大模型产品可能会更受资本和创业者的青睐。 但对于中小企业来讲，依托文心一言的开放平台去嫁接自己在细分领域的应用，也是一个不错的选择。
因为要做出大语言模型，需要长时间，以及巨额资金的投入。
OpenAI成功的背后，是微软多年来的巨额投入。 美国时间2023年1月23日，微软宣布将对OpenAI进行为期数年、价值数以十亿计美元的投资。 在2019年和2021年，微软曾向OpenAI两次投资。 2019年的投资为10亿美元，而2021年的投资未公开金额。
AI公司“彩云科技”的创始人袁行远在接受36氪采访时指出，要想跑通一次100亿以上参数量的模型，至少要做到“千卡/月”这个级别，即：用1000张GPU卡，然后训练一个月。 即使不用最先进的英伟达A100，按照一张GPU五万元的均价计算，1000张GPU意味着单月5000万的算力成本，这还没算上算法工程师的工资。
“无论是哪家公司，都不可能靠突击几个月就能做出这样的大语言模型。 ”李彦宏在发布会上表示，深度学习、自然语言处理，需要多年的坚持和积累，没法速成。 大模型训练堪称暴力美学，需要有大算力、大数据和大模型，每一次训练任务都耗资巨大。
网络提供的数据显示，网络近十年累计研发投入超过 1000 亿元。 2022 年网络核心研发费用 214.16 亿元，占网络核心收入比例达到 22.4%。 但网络并未透露大模型研发在核心研发费用中的占比。
李彦宏在发布会上表示，网络对文心一言的定位，是一个通用的赋能平台，金融、能源、媒体、政务等千行百业，都可以基于这个平台来实现智能化变革，实现效率提升，创造巨大的商业价值。 李彦宏认为，大模型时代将产生三大产业机会，分别为新型云计算公司、进行行业模型精调的公司和基于大模型底座进行应用开发的公司，即应用服务提供商。
李彦宏断言，对于大部分创业者和企业来说，真正的机会并不是从头开始做ChatGPT和文心一言这样的基础大模型，这很不现实，也不经济。 基于通用大语言模型抢先开发重要的应用服务，这可能才是真正的机会。 目前，基于文本生成、图像生成、音频生成、视频生成、数字人、3D等场景，已经涌现出很多创业明星公司，可能就是未来的新巨头。
“大模型、生成式AI最终的产品形态还不得而知，所以这条路注定是长跑，需要整个科技界在资本、研发、模式创新上密切、持续地跟跑。 ”张毅说。
李开复认为，AI2.0会最先应用在能容错的领域，而毫无疑问最大的应用领域现在是内容创造。 每个领域都可以把原有的App重写一次，创造出更赚钱的商业模式，最终AI2.0的生成能力会把成本降的几乎到0。
GPT4详解_你感兴趣的点都在这里
在AI领域的最新进展中，GPT4作为多模态大模型的杰出代表，其性能与人类水平的接近度令人瞩目。 OpenAI的精心改进让它在真实性、可控性和边界控制上实现了显著飞跃。 通过优化深度学习架构，GPT-4的训练变得更加稳健，预测性能的提升有目共睹。 相较于GPT-3.5，GPT-4在处理复杂任务、融合视觉输入、增强可操纵性和实施限制性措施方面展现了卓越能力，一些测试甚至展现出压倒性的优势。 然而，GPT-4并非完美无瑕。 在2021年9月前，由于数据限制，它的某些未来预测可能存在误差。 RLHF（负责任的机器学习）训练虽然提升了模型的校准能力，但同时也暴露出安全风险。 为了降低有害信息的产生，GPT-4引入了安全奖励机制，但幻觉问题依然困扰着模型。 尽管如此，GPT-4的训练细节尚未公开，这引发了学术界对模型精神和透明度的深入讨论。 OpenAI在模型发布策略上似乎更加谨慎，GPT 4.0的技术报告更侧重于实际效果而非传统的学术论文发布。 报告揭示了GPT 4的创新之处，即通过小模型预测大模型的性能，这一方法显著降低了训练成本，尤其在HumanEval数据集上取得了显著成效。 GPT-4在人机交互方面达到了新的高度，但它所面临的挑战，如数据质量、安全性和可解释性问题，也亟待解决。 我们期待在开放和创新的研究氛围中，共同推动人工智能的未来发展。 作为观察者，我将继续关注这个领域，与你分享更多前沿动态。 下期内容，敬请期待，我是leo，我们下期再见。
