新智元报道
编辑：编辑部
【新智元导读】 Nature的一篇文章透露：你发过的paper，很可能已经被拿去训练模型了！有的出版商靠卖数据，已经狂赚2300万美元。然而辛辛苦苦码论文的作者们，却拿不到一分钱，这合理吗？
全球数据告急，怎么办？
论文来凑！
最近，Nature的一篇文章向我们揭露了这样一个事实：连科研论文，都被薅去训AI了……
据悉，很多学术出版商，已经向科技公司授权访问自家的论文，用来训练AI模型。
一篇论文从酝酿idea到成稿，包含了多少作者日日夜夜的心血，如今很可能在不知情的情况下，就成为训AI的数据。
这合理吗？
更可气的是，自己的论文还被出版商拿来牟利了。
根据Nature报告，上个月英国的学术出版商Taylor & Francis已经和微软签署了一项价值1000万美元的协议，允许微软获取它的数据，来改进AI系统。
而6月的一次投资者更新显示，美国出版商Wiley允许某家公司使用其内容训模型后，直接一举豪赚2300万美元！
但这个钱，跟广大论文的作者是半毛钱关系都没有的。
而且，华盛顿大学AI研究员Lucy Lu Wang还表示，即使不在可开放获取的存储库内，任何可在线阅读的内容，都很可能已经被输入LLM中。
更可怕的是，如果一篇论文已经被用作模型的训练数据，在模型训练完成后，它是无法删除的。
如果现在，你的论文还尚未被用于训练AI，那也不用担心——它应该很快就会了！
数据集如黄金，各大公司纷纷出价
我们都知道，LLM需要在海量数据上进行训练的，而这些数据通常是从互联网上抓取的。
正是从这些训练数据中数十亿的token中，LLM推导出模式，从而生成文本、图像、代码。
而学术论文篇幅又长，信息密度又高，显然就是能喂给LLM的最有价值的数据之一。
而且，在大量科学信息上训练LLM，也能让它们在科学主题上的推理能力大大提高。
Wang已经共同创建了基于8110万篇学术论文的数据集S2ORC。起初，S2ORC数据集是为了文本挖掘而开发的，但后来，它被用于训练LLM。
前段时间开源的1T token数据集MINT也挖掘到了arXiv这个宝藏，共提取到了87万篇文档、9B token。
从下面这张数据处理流程图中，我们就能发现论文数据的质量有多高——几乎不需要太多的过滤和去重，使用率极高。
而现在，为了应对版权争议，各大模型公司也开始真金白银地出价，购买高质量数据集了。
今年，「金融时报」已经把自己的内容以相当可观的价格，卖给了OpenAI；Reddit也和谷歌达成了类似的协议。
而以后，这样的交易也少不了。
证明论文曾被LLM使用，难度极高
有些AI开发者会开放自己的数据集，但很多开发AI模型的公司，会对大部分训练数据保密。
Mozilla基金会的AI训练数据分析员Stefan Baack表示，对于这些公司的训练数据，谁都不知道有什么。
目前，arXiv已经托管了超过250万篇论文的全文，PubMed包含的引用数量更是惊人，超过3700万。
虽然PubMed等网站的一些论文全文有付费墙，但论文摘要是免费浏览的，这部分可能早就被大科技公司抓取干净了。
所以，有没有技术方法，能识别自己的论文是否被使用了呢？
目前来说，还很难。
伦敦帝国理工学院的计算机科学家Yves-Alexandre de Montjoye介绍道：要证明LLM使用了某篇确定的论文，是很困难的。
有一个办法，是使用论文文本中非常罕见的句子来提示模型，看看它的输出是否就是原文中的下一个词。
有学者曾以「哈利·波特与魔法石」第三章的开头提示GPT-3，模型很快正确地吐出了大约一整页书中的内容
如果是的话，那就没跑了——论文就在模型的训练集中。
如果不是呢？这也未必是有效证据，能证明论文未被使用。
因为开发者可以对LLM进行编码，让它们过滤响应，从而不和训练数据过于匹配。
可能的情况是，我们费了老大劲，依然无法明确地证明。
另一种方法，就是「成员推理攻击」。
这种方法的原理，就是当模型看到以前见过的东西时，会对输出更有信心，
论文地址：https://arxiv.org/abs/2112.03570
为此，De Montjoye的团队专门开发了一种「版权陷阱」。
论文地址：https://arxiv.org/abs/2402.09363
为了设置陷阱，团队会生成看似合理却无意义的句子，并将其隐藏在作品中，比如白色背景上的白色文本或网页上显示为零宽度的字段。
如果模型对未使用的控制句的困惑度，比对隐藏在文本中的控制句的困惑度更高，这就可以作为陷阱曾被看到的统计证据。
版权争议
然而，即使能证明LLM是在某篇论文上训练的，又能怎么办呢？
这里，就存在一个由来已久的争议。
在出版商看来，如果开发者在训练中使用了受版权保护的文本，且没有获得许可，那铁定就是侵权。
但另一方却可以这样反驳：大模型并没有抄袭啊，所以何来侵权之说？
的确，LLM并没有复制任何东西，它只是从训练数据中获取信息，拆解这些内容，然后利用它们学习生成新的文本。
其中更加复杂的问题，是如何划清商用和学术研究用途。
根据目前arXiv网站上的使用条款，如果是个人或研究用途，抓取、存储、使用所有的电子预印本论文和网站元数据都是合规且被支持的。
然而，arXiv对商业方面的使用是严令禁止的。
此外，出版商在用户的订阅条款中往往也没有明确规定，能否将论文用作模型的训练数据。
比如，一个付费购买Wiley论文库阅读全文资格的用户，是否被允许将这些文本拷贝下来喂给模型？
现在的问题是，有人想让自己的作品纳入LLM的训练数据中，有人不想。
有人已经做出来一个[haveibeentrained」的同名网站，用来检测自己的内容是否被用于训练AI模型
比如Mozilla基金会的Baack就表示，非常乐于看到自己的作品让LLM变得更准确，「我并不介意有一个以我的风格写作的聊天机器人」。
但是，他只能代表自己，依然有其他很多艺术家和作家，会受到LLM的威胁。
如果提交论文后，这篇论文的出版商决定出售对版权作品的访问权限，那个别的论文作者是根本没有权力干涉的。
包括de Montjoye在内的一些研究者对此感到沮丧。
「我们需要LLM，但我们仍然希望有公平可言，但目前我们还没有发明出理想的公平是什么样子。」
多模态数据不够，arXiv来凑
事实上，庞大的arXiv论文库中，可以利用的不止文本数据。
ACL 2024接收了一篇来自北大和港大学者的论文，他们尝试利用这些论文中的图文构建高质量多模态数据集，取得了非常不错的效果。
项目主页：https://mm-arxiv.github.io/
之所以要用arXiv论文中的图片，主要还是由于科学领域训练数据集的稀缺。
GPT-4V等视觉语言模型虽然在自然场景的图像中有出色的表现，但在解释抽象图片方面，比如几何形状和科学图表，依旧能力有限，也无法理解学术图片中细微的语义差别。
这篇论文构建的多模态arXiv数据集总共用到了各个STEM领域的57.2万篇论文，超过arXiv论文总数（2.5M）的五分之一，包含两部分：问答数据集ArXivQA和图片标注数据集ArXivCap。
依托arXiv大量且多样的论文收录，与之前的科学图片数据集相比，ArXivCap的数据量是第二名SciCap的3倍，ArXivQA也是唯一涵盖广泛领域内真实论文的问答数据集。
通过使用这些领域特定数据进行训练，VLM的的数学推理能力有了显著增强，在多模态数学推理基准上实现了10.4%的准确率提升。
比如，在ArXivQA上训练过的Qwen 7B模型能够正确理解条形图并回答相关问题（左图），数学能力也有所提高（右图）。不仅答案正确，给出的推理过程也更加完整充分。
数据集构建
数据集的构建流水线如下图所示。由于arXiv是预印本平台，所以需要先通过发表记录筛选出被期刊或会议接收的论文，以保证数据质量。
提取论文中的图片-文字对并进行基于规则的清理后，组成ArXivCap；ArXivQA则由GPT-4V生成，但使用了精心设计过的prompt模板。
ArXivCap中的一个单图标注对：
2019年论文「Semigroup models for biochemical reaction networks」
ArXivCap数据集中的一个多图标注对：
2018年论文「Low-Power Wide-Area Networks for Sustainable IoT」
ArXivQA数据集示例：
2020年论文「Skyrmion ratchet propagation: Utilizing the skyrmion Hall effect in AC racetrack storage devices」
评估
根据在MathVista数据集上的结果，ArXivCap和ArXivQA共同提升了Qwen-VL-Chat的整体性能，超越了Bard的表现。
最佳结果以粗体显示，次佳结果以下划线标记
在为单张图片生成图注的任务中，提升效果更加显著，经过ArXivCap训练的Qwen 7B模型可以匹配甚至超过GPT-4V。
灰色结果由数据集中500个样本的测试得到
论文提出了三个新定义任务：多图的图注生成、上下文中的图注生成以及标题生成。经过ArXivCap训练的Qwen 8B的所有分数都超过了GPT-4V，且多数情况下是最佳结果。
最佳结果以粗体显示
按照研究领域划分，ArXivQA数据集上的训练在天体物理、凝聚态物理、数学、计算机科学这些领域都能带来相当显著的提升，超过60%，准确率变化比例超过60%。
人工评估
前面所述的文本生成质量和准确率都是基于算法的自动评估，研究团队还对单图的图注生成任务进行了人工评估，但只专注于计算机科学领域的论文。
与前面的基准测试结果相比，人工评估的结果并不理想，100个案例中只有16%被认为是「可接受的」，「上下文误读」的问题相对严重，也有一定比例的「过度简化」和「识别错误」。
参考资料：
https://www.nature.com/articles/d41586-024-02599-9
1400亿市值在上市公司里面排第几
140名。 根据查询2022年世界企业500强的排名显示，截止2022年9月20日，腾讯信息技术有限公司凭借亿元的市值排名第一位，1400亿的市值只能排在140名。 141名是中电控股有限公司市值1407亿元，139名是温氏股份农林事业有限公司市值1375亿元。
全球市值前十的企业
市值最高的公司排名榜：
1、苹果
除了是世界上市值最高的公司，苹果还在品牌价值排行榜中占据第一。
截至2021年，全球有超过165活跃的苹果设备（如果一台设备在过去 90 天内使用过 Apple 服务，则该设备将被视为活跃设备），其中包括10亿部活跃的iPhone。
2、沙特阿美
沙特阿美公司（前身为阿拉伯美国石油公司），世界最大的石油生产公司和世界第六大石油炼制商，现有员工79万人。
尽管市值排名第二，但是在2021年以前，沙特阿美一直是最能赚钱的公司，净利润远远领先于其他公司，但从2020开始受全球疫情影响能源需求降低，净利润持续下滑，2021 年 3 月，沙特阿美宣布 2020 年的收益与 2019 年相比下降了近 45%。
3、微软
2019年4月，微软市值突破万亿美元 。 截至2021年，微软拥有全球第三高的品牌估值。
微软占有全球操作系统73%的市场份额，几乎是第二名macOS的五倍，全球有超过13亿台设备在运行Windows10， 6月24日微软将发布其下一代 Windows。
4、亚马逊
作为美国信息技术行业的五巨头之一，亚马逊以其技术创新和打破成熟行业规则而闻名。 它是全球最大的线上市场、人工智能助手提供商、直播平台和云计算平台，同时也是美国第二大私营雇主。
5、Alphabet
Alphabet是谷歌重组后的“伞形公司”（Umbrella Company）名字，Alphabet采取控股公司结构，把旗下搜索、YouTube、其它网络子公司与研发投资部门分离开来。
Alphabet将取代GOOGLE INC成为上市实体公司，所有谷歌的股票都会自动转换为相同数量的Alphabet股票，并享有同等权利。 谷歌是世界上最大的搜索引擎，也在云技术领域占有一席之地。
汽车市值排名全球2022
昨天中国人寿(2768,-014,-050%)(SH，2628HK)A股创出新高，使其市值超过了美国电话电报公司(AT其中，前十名对其各自的行业产生了不成比例的巨大影响。 许多已成为其他有影响力的出版商的母公司，在此过程中扩大了他们的市场份额和产量。
在信息如此容易获得的时代，出版商有能力在国际范围内确保信息的准确性。 他们如何利用这种力量开创数字出版的新时代，将塑造未来几代人。
以下是全球收入排名前十的出版公司，其中两家是家族企业。
10麦格劳-希尔教育
总收入：1719亿美元
原产国：美国
成立时间：1888
员工：5,000
由James H McGraw 和John A Hill 领导的两家铁路出版物合并而成，McGraw-Hill 在商业书籍上建立了自己的帝国。 到1950年，这家出版商开始转向教育材料，在接下来的几十年里，它通过多次收购（包括兰登书屋教育）维持了这一轨迹。
麦格劳-希尔现在是该领域的主要全球参与者，其在教育领域的数字足迹是无可争议的，2019年标志着该公司的数字账单首次超过总销售额的50%。 计划与教育出版巨头Cengage 进行平等合并，预示着未来几年的影响范围会更广。
9 Scholastic
总收入：1742 亿美元
原产国：美国
成立时间：1920
员工：8,900
Scholastic 是全球最大的儿童图书出版商和分销商。 作为校务双周刊，注重培养青少年读者和文艺工作者。 学术艺术和写作奖是执行该任务的早期工具，之前的著名获奖者包括斯蒂芬金、西尔维亚普拉斯和安迪沃霍尔。
该公司凭借Scholastic Book Club在国际出版界大放异彩。 虽然它的第一个偶像是以大红狗克利福德的形式出现，但该公司最大的成功要归功于一个男孩巫师。 《哈利·波特》系列以80 多种不同语言在全球售出超过5亿册。
8施普林格自然
总收入：1956 亿美元
原产地：德国
成立时间：1842
员工：13,000
Springer Nature 是一家教育出版巨头。 它由家族企业 Holtzbrinck Publishing Group 控股，由Springer Science+Business Media、Nature 和 Macmillan Publishing组成。 施普林格近两个世纪以来推动科学和教育发展的使命仍然是企业的核心。
Springer Nature 将其兴趣分为三个平台：研究、教育和专业。 出版商的研究部门是最具影响力的，这要归功于国际上可访问的材料，包括开创性的发现和开创性的文章。 Springer Nature 发展的下一步是开放获取内容——该公司拥有超过100,000篇开放获取文章，目前占全球开放获取内容的25%以上。
7 星球集团
总收入：1974 美元
原产地：西班牙
成立时间：1949
员工：9,000
Grupo Planeta 是西班牙和拉丁美洲领先的出版商。 作为一家家族企业，该公司提供以文化、学习、新闻和视听娱乐为中心的产品。 该公司旗下拥有 170 多个品牌，目前与 7,000 多名合作者合作。
除了图书出版，Grupo Planeta 的很大一部分业务来自新闻出版物——目前，它通过西班牙三个主要电视频道中的两个发布数字内容。 该公司的最新项目涉及一个学习和大学部门，该部门与巴塞罗那、马德里、巴黎和摩洛哥的几家主要机构合作。
6 阿歇特书刊
总收入：2735 亿美元
原产地：法国
成立时间：1826
员工：7,682
Hachette Livre是世界第三大贸易图书出版商。 作为跨国媒体集团 Lagardère 的一部分，Hachette Livre本身就是一个出版商群。 最初生产字母表初级读物可能是该公司最初的运作方式，但教育现在只占该出版商生产量的不到15%。
相反，小说和非小说类书籍占公司出版物的50%以上。 这包括加强公司多元化精神的各种材料，鼓励其每个出版商发展和培养自己的身份。
5 沃尔特斯克鲁沃
总收入：3994 亿美元
原产地：荷兰
成立时间：1836
员工：19,000
Wolters Kluwer 的吉祥开端恰逢荷兰的形成。 随着国家的建立，需要填补教育和信息文献的空白。 这四家创业公司——Wolters、Noordhoff、Samson 和 Kluwer——各自建立了受人尊敬的出版公司。 最终，他们在当前品牌下联合起来，避免了对这份榜单上排名第二的企业 RELX Group 的收购。
Wolters Kluwer因其高度专业化的产品而从其他出版商中脱颖而出，其中大部分是数字产品。 由于其大部分出版物都与医疗行业相关，这种专业化使该公司70%的收入来自在线、软件和服务产品。
4贝塔斯曼
总收入：4240亿美元
原产地：德国
成立时间：1835
员工：117,220
贝塔斯曼在许多方面都是这份名单上最大的公司，因为它是欧洲最大的媒体企业。 它在几个国家雇用了超过100,000名员工，其劳动力影响大大超过了其他出版商。
Bertelsmann最初100年的出版业务是作为一家新教出版社成立的，它深深植根于新教基督教传统。 在新的领导下，它依靠传统的根源，开始在国家社会主义时期出版有争议的材料，成为德国武装部队的主要书籍供应商。 尽管有着不光彩的过去，贝塔斯曼还是涉足商业电视领域，并收购了出版巨头兰登书屋，成为出版业的主要参与者。
3汤森-路透
总收入：4941 亿美元
原产地：加拿大
成立时间：1934
员工：25,800
汤森路透是国际媒体领域的主要参与者。 作为一家企业集团，其产品包括新闻纸、电视媒体、出版和专业解决方案。 汤森路透的出版部门主要专注于专业信息：法律、税务、合规、政府和媒体。
Thomson Reuters 的许多出版物都是通过专有软件传输的，其产品 Westlaw是全球法律从业者的主要工具。 Onesource 和 Onesource Global Trade 不仅连接世界贸易商，而且是第一个完全自动化的全球贸易和管理解决方案。 汤森路透已设法利用其高度专业化的产品，通过数字化垄断了多个信息市场。
2悦刻集团
总收入：5609 亿美元
原产地：英国/荷兰/美国
成立时间：1993
员工：33,000
与Thomson Reuters非常相似，RELX Group（以前称为 Reed Elsevier）在专业解决方案上取得了成功。 它在科学、技术和医疗、风险和商业以及法律和展览部门开发基于信息的分析和决策工具。
RELX 悦刻集团的解决方案是全球性的，服务于180多个国家的客户，它负责审阅、编辑和传播全球 18% 的科学文章。 其中大部分工作是通过ScienceDirect进行的，ScienceDirect是世界上最大的专注于同行评审的初级科学和医学研究的平台。 RELX Group 的出版物仍然是几个关键领域的基石。
1皮尔逊
总收入：607亿美元
原产地：英国
成立时间：1844
员工：22,500
培生是全球最大的出版商，是教育界的代名词。 这家自创的“世界学习公司”在70多个国家/地区开展业务，为教育机构向政府提供内容、评估和数字服务。
培生在教育行业各个领域的多元化发展见证了公司的蓬勃发展。 它在数字化整套产品方面表现非常出色，包括掌握课程、教育材料和实时评估工具。 Pearson凭借其创新的AI技术（例如Aida Calculus）始终处于行业前沿，并打算通过创建完全可定制的学习材料来个性化其AI 体验。
自考/成考有疑问、不知道自考/成考考点内容、不清楚当地自考/成考政策，点击底部咨询官网老师，免费领取复习资料：>
全球车企市值TOP10最新排行 小鹏挤掉本田位居第十
;媒体公司涵盖广播、互联网、新闻、印刷出版、**制作等。 几乎每个公司都有自己的基础设施。
1，ATT(ATT)
于2018年6月收购了时代华纳公司，并于2015年收购了定向电视。 它已经在美国和拉丁美洲建立了业务，并已成为世界上最大的媒体公司之一。 截至2018年12月，公司市值为亿美元，2017年收入为417亿美元。
2，康卡斯特
成立于1963年。 康卡斯特总部位于费城，是在纳斯达克上市的全球最大的媒体、娱乐和通信公司之一。 其业务主要包括有线通信、有线网络、广播电视、**娱乐和主题公园。 截至2018年12月，其市值为亿美元，2017年的收入为8453亿美元。
3，迪士尼
成立于1923年。 它是一家大型全球性媒体和娱乐集团，拥有国际业务和许多子公司。 截至2018年12月，其市值为1680亿美元，2017年的收入为5514亿美元。
4，21世纪福克斯
专注于电视广播和**制作。 其业务运营主要包括四个部分:**、电视节目、卫星电视和有线电视。 2018年12月，其市值为9149亿美元。 2017年的年收入为285亿美元。
5，Chatter Communications
该公司在2016年以550亿美元收购了时代华纳有线电视公司。 此外，它还提供互联网、广告和运输服务。 截至2018年10月，公司市值为7334亿美元，2017年年收入为416亿美元。
6，汤姆森路透
这两家公司于2008年合并(汤姆森加拿大公司和路透社英国公司)，成为一家全球性的跨国媒体公司。 截至2018年12月，其市值为2539亿美元，2017年的收入为1133亿美元。
7，哥伦比亚广播公司
该公司主要从事电视、广播、印刷和广告，包括广告牌和交通空间(管理和拥有火车、汽车和公共汽车站等。 )。 该公司成立于2005年，总部设在纽约。 截至2018年12月，其市值为1862亿美元，2017年年收入为1369亿美元。
8，WPP集团
成立于1985年，总部位于伦敦，是一家母公司。 其受欢迎的品牌包括JWT、奥美、YR和格雷。 其服务包括营销传播、声誉管理、品牌管理和游说服务。 截至2018年12月，其市值为1285亿美元，2017年的收入为1987亿美元。
成立于1980年。 其主要业务包括卫星广播、宽带、**和游戏。 截至2018年12月，其市值为1496亿美元，2017年的收入为1439亿美元。
10，维亚康姆
成立于2005年，是美国一家大型媒体公司。 它主要通过数字、**和电视向世界各地的用户提供娱乐内容。 其品牌包括尼克、少年尼克、喜剧中心、斯派克电视、中央电视台等。 它的娱乐业务包括派拉蒙**公司、音乐电视**公司、尼克公司等。 截至2018年12月，其市值为1184亿美元，截至2017年的收入为132亿美元。
随着全球车企市值数据的公布，11月底的市值数据更值得关注，其中新能源车企中特斯拉依旧保持领先，在新势力车企发展中，蔚来位居全球车企市值排行榜第五位，小鹏汽车挤掉本田汽车位居第十位。
特斯拉资本市场逆袭
在此次市值排行榜中，特斯拉股价上涨65%，单一股价已超过500美元，市值接近5000亿美元，稳居全球市值最高的车企，是第二位丰田市值的约25倍。
三年前，丰田汽车在全球汽车市场中一直占据榜首，在2017年6月中，丰田汽车（日本），市值1839亿美元，彼时特斯拉的整体市值仅为580亿美元，不足丰田汽车市值的1/3。
当特斯拉超越丰田时，丰田总裁丰田章男对竞争对手特斯拉开怼，称虽然在市场价值方面，丰田可能会输给特斯拉，但不要低估丰田已经生产超过1亿多辆汽车的事实。
3年时间里，丰田汽车的市值增长了156亿美元，而特斯拉增长了4363亿美元，增长速度约是丰田的28倍，即便丰田章男说丰田汽车数量占据优势，但不得不承认，成立83年来的丰田汽车在资本市场输的是一败涂地。
中国造车新势力崛起
截至11月23日收盘，中国造车新势力蔚来、小鹏、理想汽车的市值均大幅上涨，其中蔚来汽车涨131％市值已经达到7544亿美元，超越奔驰母公司戴姆勒，全球车企市值排名第5。
蔚来汽车能够有如此表现，作为传统车企的比亚迪的危机感应该最强，两者市值差距仅为54亿美元。 可以预见的是，如果在后续乘用车市场中，蔚来汽车的销量提升市值增长，蔚来汽车或将超越比亚迪成为中国首次超越传统造车企业的“第一股”。
相关数据显示，蔚来汽车3季度净亏损1047亿元，而其总营收达4526亿元，同比增长1464%；汽车销售毛利率145%，综合毛利率129%，已实现李斌第一阶段的毛利两位数目标。
目前，小鹏汽车股价上涨3398％，股价首次站上70美元大关，近两个月来小鹏股价已上涨315％，最新市值升至5197亿美元，当前超越网络成为美股中概股市值第7高的公司。
小鹏汽车在日前也公布了2020年三季度财报，数据显示：2020年第三季度总收入为人民币1990亿元（293亿美元），其中2020年第三季度汽车销售收入为1898亿元（280亿美元），较2019年同期399亿元增长3760％。 得益于材料成本下降，在毛利率方面也实现了转正为46%。
从整个世界车企市值TOP10排行榜中能够发现，中国新势力车企正在以一股新“潮流”赶超传统车企，传统车企丰田、大众、戴姆勒、通用已被迫纷纷开启了自身的电动化转型，不知这场竞争中，中国新势力车企能走多远，确实值得拭目以待。
