作者 ｜ 周一笑邮箱 ｜ zhouyixiao@pingwest.com
最近一段时间开源大模型市场非常热闹，先是苹果开源了70亿参数小模型DCLM，然后是重量级的Meta的Llama 3.1 和Mistral Large 2相继开源，在多项基准测试中Llama 3.1超过了闭源SOTA模型。
不过开源派和闭源派之间的争论并没有停下来的迹象。
一边是Meta在Llama 3.1发布后表示：“现在，我们正在迎来一个开源引领的新时代。”另一边是Sam Altman在《华盛顿邮报》撰文，直接把开源闭源的矛盾上升到国家和意识形态层面。
在前段时间的世界人工智能大会上，李彦宏直言“开源其实是一种智商税”，因为闭源模型明明性能强，推理成本更低，再次引发讨论。
随后，傅盛也发表了他的看法，他认为开源和闭源这两个阵营是彼此共同竞争，共同发展。并对“开源其实是一种智商税”这一观点进行了反驳：“开源大语言模型是免费的，他怎么来的智商税呢，谁在收税？”，“如果今天企业用付费闭源大语言模型，那才叫'智商税'，尤其是收很高的模型授权费、API费用，一年花了数百上千万，最后买回去当个摆设，甚至员工根本用不起来（模型）。”
这场争论的核心涉及到技术发展的方向和模式，反映了不同利益相关者的观点和立场，在我们谈论大语言模型的开源和闭源之前，需要厘清先“开源”和“闭源”这两个基本概念。
“开源”一词源自软件领域，指在软件开发过程中公开其源代码，允许任何人查看、修改和分发。 开源软件 的开发通常遵循互惠合作和同侪生产的原则，促进了生产模块、通信管道和交互社区的改进，典型代表包括Linux，Mozilla Firefox。
闭源软件（专有软件） 由于商业或其他原因，不公开源代码，只提供计算机可读的程序（如二进制格式）。源代码仅由开发者掌握和控制。典型代表包括Windows，安卓。
开源是一种软件开发模式，基于开放、共享和协作，鼓励大家共同参与软件的开发和改进，推动技术的不断进步和广泛应用。
选择闭源开发的软件更有可能成为一个稳定、专注的产品，但是闭源软件通常需要花钱，且如果它有任何错误或缺少功能，只能等待开放商来解决问题。
至于什么是开源大模型，业界并没有像开源软件一样达成一个明确的共识。
大语言模型的开源和软件开源在理念上是相似的，都是基于开放、共享和协作，鼓励社区共同参与开发和改进，推动技术进步并提高透明性。
然而，在实现和需求上有显著区别。
软件开源主要针对应用程序和工具，开源的资源需求较低，而大语言模型的开源则涉及大量计算资源和高质量的数据，并且可能有更多使用限制。因此，虽然两者的开源都旨在促进创新和技术传播，但大语言模型开源面临更多的复杂性，社区贡献形式也有所不同。
李彦宏也强调了两者的区别，模型开源不等于代码开源：“模型开源只能拿到一堆参数，还要再做SFT（监督微调）、安全对齐，即使是拿到对应源代码，也不知道是用了多少比例、什么比例的数据去训练这些参数，无法做到众人拾柴火焰高，拿到这些东西，并不能让你站在巨人的肩膀上迭代开发。”
大语言模型的全流程开源包括将模型开发的整个过程，从数据收集、模型设计、训练到部署，所有环节都公开透明。这种做法不仅包括数据集的公开和模型架构的开放，还涵盖了训练过程的代码共享和预训练模型权重的发布。
过去一年，大语言模型的数量大幅增加，许多都声称是开源的，但它们真的有多开放呢？
荷兰拉德堡德大学的人工智能研究学者Andreas Liesenfeld和计算语言学家Mark Dingemanse也发现，虽然“开源”一词被广泛使用，但许多模型最多只是“开放权重”，关于系统构建的其他大多数方面都隐藏了起来。
比如Meta和微软等科技虽将其大语言模型标榜为“开源”，却并未公开底层技术相关的重要信息。而让他们意外的是，资源更少的AI企业和机构的表现更令人称赞。
该研究团队分析了一系列热门“开源”大语言模型项目，从代码、数据、权重、API到文档等多个方面评估其实际开放程度。研究还将OpenAI的ChatGPT作为闭源的参考点，凸显了“开源”项目的真实状况。
✔为开放，~为部分开放，X为封闭
结果显示，项目间差异显著，根据这个排行榜，Allen Institute for AI的OLMo是最开放的开源模型，其次是BigScience的BloomZ，两者都是由非营利组织开发。
论文称，Meta的Llama以及 Google DeepMind的Gemma 虽然自称开源或开放，但实际上只是开放权重，外部研究人员可以访问和使用预训练模型，但无法检查或定制模型，也不知道模型如何针对特定任务进行微调。
最近LLaMA 3和Mistral Large 2的发布引起了广泛关注。在模型在开放性方面，LLaMA 3公开了模型权重，用户可以访问和使用这些预训练和指令微调后的模型权重，此外Meta还提供了一些基础代码，用于模型的预训练和指令微调，但并未提供完整的训练代码，LLaMA 3 的训练数据也并未公开。不过这次LMeta带来了关于LLaMA 3.1 405B 的一份93页的技术报告。
Mistral Large 2的情况类似，在模型权重和 API 方面保持了较高的开放度，但在完整代码和训练数据方面的开放程度较低，采用了一种平衡商业利益和开放性的策略，允许研究使用但对商业使用有所限制。
谷歌表示，该公司在描述模型时“在语言上非常精确”，他们将Gemma称为开放而非开源。“现有的开源概念并不总能直接应用于 AI 系统，”
这项研究的一个重要背景是欧盟的人工智能法案，该法案生效时，对归类为开放的模型实施较宽松的监管，因此关于开源的定义可能会变得更加重要。
研究人员表示，创新的唯一途径是通过调整模型，为此需要足够的信息来构建自己的版本。不仅如此，模型还必须接受审查，例如，一个模型在大量测试样本上进行了训练，那么它通过特定测试可能并不算一项成就。
他们也对如此多的开源替代方案的出现感到令人欣喜，ChatGPT非常受欢迎，以至于很容易让人们忘记对其训练数据或其他幕后手段一无所知。对于那些希望更好地了解模型或基于构建应用的人来说，这是一个隐患，而开源替代方案使得关键的基础研究成为可能。
硅星人也对国内部分开源大语言模型的开源情况进行了统计：
从表中我们可以看到，和海外的情况类似，开源较为彻底的模型基本是由研究机构主导，这主要是因为研究机构的目标是推动科研进步和行业发展，更倾向于开放其研究成果。
而商业公司则利用其资源优势，开发出更为强大的模型，并通过适当的开源策略在竞争中获得优势。
从GPT-3到BERT以来，开源为大模型生态系统带来了重要的推动力。
通过公开其架构和训练方法，研究人员和开发者可以在这些基础上进行进一步的探索和改进，催生出更多前沿的技术和应用。
开源大模型的出现显著降低了开发的门槛，开发者和中小企业能够利用这些先进的AI技术，而不必从零开始构建模型，从而节省了大量的时间和资源。这使得更多创新项目和产品得以快速落地，推动了整个行业的发展。开发者们在开源平台上积极分享优化方法和应用案例，也促进了技术成熟和应用。
对教育和科研而言，开源大语言模型提供了宝贵资源。学生和新手开发者通过研究和使用这些模型，能快速掌握先进AI技术，缩短学习曲线，为行业输送新鲜血液。
然而，大语言模型的开放性并非简单的二元特性。基于Transformer的系统架构及其训练过程极为复杂，难以简单归类为开放或封闭。开源大模型并非一个简单的标签，更像一个光谱，从完全开源到部分开源，程度各异。
大语言模型的开源是一项复杂而细致的工作，并非所有模型都必须开源。
更不应以“道德绑架”的方式要求全面开源，因为这涉及大量技术、资源和安全考量，需要平衡开放与安全、创新与责任。正如科技领域的其他方面一样，多元化的贡献方式才能构建一个更丰富的技术生态系统。
开源和闭源模型的关系或许可以类比于软件行业中开源和闭源软件的共存。
开源模型促进了技术的广泛传播和创新，为研究者和企业提供了更多可能性，而闭源模型则推动着整个行业的标准的提升。两者的良性竞争激发了持续改进的动力，也为用户提供了多样化的选择。
正如开源和专有软件共同塑造了今天的软件生态， 开源和闭源大模型之间也并非二元对立， 两者的并存发展是推动AI技术不断进步、满足不同应用场景需求的重要动力。最终，用户和市场会作出适合自己的选择。
「大模型+大算力」加持，通用人工智能和智能驾驶双向奔赴
开年以来 ChatGPT、GPT-4 的相继面世再度掀起计算机科学领域通用人工智能（AGI）研究热潮，也不断刷新我们对 AI 的认知。
作为具有人类水平表现的大型多模态模型，GPT-4 被视为迈向 AGI 的重要一步，标志着创新范式的深度变革和生产力的重新定义，也必将带来更多元的产品迁移。
截至目前，全球已经有超百万家初创公司声称使用这一秘密武器来创造新产品，而这些产品将彻底改变从法律到股票交易，从游戏到医疗诊断的近乎一切领域。
尽管其中很多是营销泡沫，但与所有技术突破一样，总会存在炒作周期和意想不到的远期效果。
事实上在另一边，进入 2023 年智能汽车领域同样十分热闹。
智能化已然成为上海车展全场关注的最大焦点，除了激光雷达等关键传感器的单点式突破，各大巨头也纷纷展示智能驾驶全产品矩阵，城市场景辅助驾驶量产落地加速推进。
更加值得注意的是，BEV、大模型、超算中心等计算机热词正在与自动驾驶、行泊一体、城市 NOA 等智驾焦点火速排列组合，颇有相互交融、双向奔赴的味道。
在这背后，一方面是近年来智驾、智舱持续升级对 AI 在汽车场景落地的数据、算法、算力不断提出更高要求，另一方面，AGI 的重大突破也已将触角伸向智能汽车，将其视为实现闭环应用的重要场景，很多企业布局已经相当高调。
日前，商汤科技 SenseTime 举办技术交流日活动，分享了以「大模型+大算力」推进 AGI 发展的战略布局，并公布该战略下的「日日新 SenseNova」大模型体系。
在「大模型+大算力」加持下，本次上海车展商汤绝影驾、舱、云一体产品体系已全栈亮相，近 30 款合作量产车型集中展出，商汤也再度分享了智能汽车时代的 AGI 落地新思考。
本次上海车展亮相的部分绝影合作车型展示
算法：AI 正式步入大模型时代
如商汤科技联合创始人、首席科学家、绝影智能汽车事业群总裁王晓刚所言，「AGI 催生了新的研究范式，即基于一个强大的多模态基模型，通过强化学习和人类反馈不断解锁基模型新的能力，从而更高效地解决海量的开放式任务。」
通用大模型并非为自动驾驶而生，或为满足自动驾驶的特定任务需求而设计。 但智能驾驶开发的诸多新需求已在推动算法从专用小模型向通用大模型快速演进。
首先是应对海量数据处理和 Corner Case 问题的迫切需求。
对于感知系统低频出现但至关重要的小目标及带来的潜在安全隐患，算法开发需要面对海量数据，传统的 AI 小模型将难以同时处理大数据量和高复杂度的任务。 通用大模型则可用在长尾目标的初筛过程，并叠加语料文字处理得到很好的效果。
再比如智驾算法开发对自动化数据标注、降低人工成本的诉求。 相比于人工标注，通用大模型将自动化对海量数据完成标注任务，大幅降低标注数据获取的时间成本和本身的金钱成本，从而缩短研发周期、提升成本效益。
处于类似的考量，近年来国内外巨头企业已围绕大模型纷纷展开各自智驾布局。
继 Google 于 2017 年提出将 Transformer 结构应用在 CV 领域图像分类，大模型已在 GPT-2、GPT-3、BERT 等当中不断证明实力，特斯拉率先站台 Transformer 大模型征战图像视觉。
国内企业也紧随其后：
毫末智行已宣布自动驾驶认知大模型正式升级为 DriveGPT，网络表示利用大模型来提升自动驾驶感知能力并将大模型运用到数据挖掘，华为也已宣布加入大模型争霸赛，自研「盘古」即将对外上线。
作为行业领先的人工智能公司，商汤在大模型领域可谓乘风破浪，过去一两年则全面将大模型能力在各业务线 20 多个场景落地，包括智能驾驶。
商汤「日日新 SenseNova」大模型体系背后是大模型研发中深厚的积累。 商汤有自己的全栈大模型研发体系，其中就包括针对大模型的底层训练及实施过程中的各种系统性优化。
例如，商汤近期向社区发布的用于真实感知、重建和生成的多模态的数据集 OmniObject3D 中包含 190 类 6000 个物体，数据质量非常高。
再比如，商汤在 2019 年就已首次发布 10 亿参数的视觉大模型，到 2022 年参数规模已达到 320 亿，这也是世界上迄今为止最大的视觉模型。
此外，商汤也在智驾领域持续展示大模型能力。 2021 年开发的 BEV 感知算法在 Waymo 挑战赛以绝对优势取得冠军，2021 年 BEV Former 的 Transformer 结构至今仍是行业最有影响力的 BEV 工作，今年开发的 UniAD 是业内首个感知决策一体化的端到端自动驾驶解决方案。
在技术实力的另一端是量产进度。商汤也给出了自己的智能驾驶量产公式：
自动驾驶技术能力=场景数据 x 数据获取效率 x 数据利用效率² =场景数据 x 数据获取效率 x 先进算法 x 先进算力。
而先进的算法大模型不仅将通过跨行业数据汇聚提升驾驶场景数据资源，通过数据闭环开发模式和自动数据标注提升数据获取效率，更将大幅提升感知精度和感知丰富度进而成倍提升数据利用效率。
依托原创 AI 算法和模型积累，商汤领先的 BEV 感知算法推进国内首批量产应用，并采用 Domain Adaption 算法有效解决跨域泛化问题。 商汤首创的自动驾驶 GOP 感知体系将目标数据获取的人力成本降低 94%，实现低成本的车端模型开发，目前也已投入量产应用。
算力：智能汽车时代的重要基础设施
随电子电气架构技术由分布式不断向集中式演进，大算力芯片成为新型电子电气架构实现的物理基础。
近年来车端芯片算力发展突飞猛进，如英伟达规划中的 Atlan 单颗芯片算力超 1000TOPS，THOR 单颗算力超 2000TOPS，将大幅提升单车感知决策能力。
而在云端，AGI 在自动驾驶、网联等场景的泛化应用将提出比车端指数级更高的算力要求——从数据标注到模型训练，从场景仿真到算法迭代。
算力将是智能汽车时代的新型基础设施。
在此背景下，近年来主流企业纷纷开启双线并行探索，车端自研算力平台，云端建立超算中心。 而进入大模型时代后，数据量随着多模态的引入也将大规模增长，因此必然也会导致 AGI 对算力需求的剧增。
可以看到，英伟达车端云端同步布局并将提供端到端的全栈式 AI 加速计算解决方案，特斯拉也早在 2021 年 8 月发布自研云端超算中心 Dojo。
据近期报道，埃隆·马斯克也将成立一家人工智能公司来与 OpenAI 竞争，已购买数千个英伟达 GPU 并一直招募 AI 研究人员和工程师。
国内方面，吉利、蔚来、特斯拉、毫末智行、小鹏等企业也已跟进布局云端算力集群，投入巨大以提升智驾开发算力储备。
对于商汤来说，如果说大模型将是支撑智能驾驶的上层建筑，那么大算力就是数字基座。
商汤科技董事长兼 CEO 徐立表示，目前大模型对基础算力、基础设施的需求非常旺盛，基础算力对并行效率的要求也非常高，但真正好用的基础设施其实十分稀缺。
出于这一原因，商汤历时五年自建了业界领先的 AI 大装置 SenseCore，完成 2.7 万块 GPU 的部署并实现 5.0 exa FLOPS 的算力输出能力，是亚洲目前最大的智能计算平台之一，可同步支持 20 个千亿规模参数量的超大模型同时训练。
位于上海临港的 AIDC 人工智能计算中心将为智能汽车的数据存储、标注、脱敏、仿真训练、算法迭代到部署的闭环提供算力支持，打通基于数据驱动的算法生产全流程，加速高级别智能驾驶技术的 AI 模型生产和持续迭代，推动实现规模化量产。
在 AIDC 的基础上，AI 大装置也将提供支持大模型生产的一系列服务：
如此规模的算力设施即使特斯拉同期也尚难以望其项背，也必将推动大模型的高效闭环。
「大模型+大算力」推动智能汽车行业整体进程
汽车行业正在面临百年未有之大变革。 尽管此次以「大模型+大算力」推进 AGI 发展是商汤提出的战略布局，但事实上，这一理念早已在行业层面达成共识。
基于感知、决策规控和 AI 云三大核心能力，商汤「大模型+大算力」已赋能绝影驾、舱、云三位一体产品体系量产落地：
除智能驾驶领域的全栈能力和行泊一体量产解决方案外，「大模型+大算力」也正在助力商汤打造智能座舱跨场景生态。
车展期间，与商汤「日日新 SenseNova」大模型体系深度融合的绝影未来展示舱升级亮相，语言大模型「商汤商量 SenseChat」以及 AIGC 文生图平台「商汤秒画 SenseMirage」也已上车，多点融合重构人车交互方式，打造第三空间。
以「商量」为例，作为千亿级参数的自然语言处理模型，其使用大量数据训练并充分考虑中文语境，展示出出色的多轮对话和超长文本的理解能力。
商汤也展示了语言大模型支持的诸多汽车场景创新应用，如在行车过程中化身「邮件助手」自动提炼关键信息，作为「会议助理」自动生成会议纪要，大大节省用户行车时处理工作的时间和精力，为未来出行的应用场景拓展带来丰富的想象空间。
此外，以人工智能大模型开发、生产、应用为核心，一站式
混元大模型开源
混元大模型已经开源。
混元大模型，作为人工智能领域的一项重要技术，近期已经宣布开源。 这一举措对于整个AI行业的发展具有深远的意义。 开源意味着任何人都可以访问和使用这一模型的源代码，从而加速了技术的传播和创新。 混元大模型的开源，不仅使得开发者能够更深入地了解其内部机制，还为他们提供了在此基础上进行改进和优化的机会。
混元大模型开源带来了诸多好处。 它促进了技术的民主化，打破了技术壁垒，让更多的小型企业和研究机构也能够接触到顶尖的人工智能技术。 此外，开源还意味着这一模型将接受更广泛的审查和测试，有助于发现并修复潜在的问题和漏洞，从而提高模型的稳定性和安全性。 例如，开发者社区可以在开源平台上协作，共同对模型进行调优，以适应不同的应用场景。
混元大模型的开源还将推动相关产业的发展。 随着越来越多的开发者和企业开始使用这一模型，将涌现出更多的应用场景和商业模式。 这不仅能够加快人工智能技术的普及，还将带动整个科技行业的创新和进步。 比如，在医疗、教育、金融等领域，通过利用混元大模型进行数据分析和预测，可以开发出更加智能化和个性化的服务，提升人们的生活质量。
综上所述，混元大模型的开源是一项具有里程碑意义的举措。 它不仅为开发者提供了强大的工具，还为整个AI行业注入了新的活力。 通过开源，混元大模型有望在未来引领人工智能技术的发展潮流，推动人类社会迈向更加智能化的未来。
知乎:复旦团队大模型 moss 开源了,有哪些技术亮点值得关注?
复旦团队大模型 moss 开源了,以下是Moss开源项目的一些技术亮点：
1、数据整合：Moss整合深圳市各类医疗机构的医疗数据，包括病人基本信息、病例诊断、药物治疗方案等数据，极大地提高了对社区医生和病人的服务质量。
2、数据分析：Moss采用机器学习算法进行数据分析和预测，能够发现患病规律，及时预防疾病，定向治疗等。
3、智能辅助决策：Moss结合人工智能技术，为医生提供个性化诊断和治疗建议，辅助医生制定最佳治疗方案。
4、全民参与：Moss通过接口开放和公众参与，鼓励社会各界积极参与公共医疗事务。 同时通过线上线下渠道，向广大居民宣传并指导如何享受社区医疗服务，提高社区全体居民健康水平。
总的来说，Moss作为一个开放式的社区卫生服务模型，通过数据整合、数据分析、智能辅助决策、全民参与等技术手段，推动了社区医疗体系的建设，也为其他城市的社区医疗体系建设提供了一些有益的参考。
复旦团队大模型 moss
复旦大学科技与创新中心发布了一篇名为“Moss：一个基于大数据和机器学习的开放式社区卫生服务模型”的研究论文和代码开源项目。 Moss是一个开放式的社区卫生服务模型，旨在提高医疗效率和降低医疗成本。
总的来说，Moss通过数据整合、数据分析、智能辅助决策、全民参与等技术手段推动了社区医疗体系的建设。 通过这种开放、智能、共享、云端的模型，Moss逐步完善了社区卫生服务的生态系统，促进了公共卫生事业的发展和进步。
