机器之心报道
编辑：Panda、小舟
地球上最早的生命证据至少可以追溯到 35 亿年前，而直到大约 25 万到 40 万年前，智人才出现地球上。在这漫长的岁月中，生物不断地兴盛又覆灭，但整体趋势总是越来越复杂，其中最复杂的生物组件莫过于我们智人的大脑。这样的复杂性是我们的意识和智慧的来源。而这一切背后的机制是进化（evolution）。
到了现今的大模型时代，强大的基础模型已经展现出了强大的智能水平，能完成多种多样的任务。但它们也有个缺点，训练之后就基本定型了，难以随着用户的使用而演进。但毫无疑问，这项能力很重要。
近日，天桥脑科学研究院和普林斯顿大学等多所研究机构发布了一篇研究论文，详细阐述了长期记忆对 AI 自我进化的重要性，并且他们还提出了自己的实现框架 —— 基于多智能体的 Omne，其在 GAIA 基准上取得了第一名的成绩。
首先，该团队将 LLM 的模型进化过程分成了三个主要阶段
现有的研究主要围绕着阶段 1 和 2，即如何构建更好的数据以及将其用于训练更强大的基础模型。目前人们有一个普遍的看法：在这种曲线拟合范式中，架构并不重要，关键的因素是数据集。但到了阶段 3，架构就会变得和数据一样重要。核心的难题是如何在统计模型的基础上有效表达少数个体的数据。该研究关注的核心是如何确保在统计模型内有效地表达个体数据。
实现模型自我进化的原理
模型的自我进化能力是模型长期适应和个性化的关键，而这又严重仰赖于有效的记忆机制。
在这一理解的基础上，该团队提出：长期记忆（LTM）能为模型的持续进化提供历史数据积累和经验学习能力。正如人类通过经验和记忆来完善认知和行为一样，LTM 也能让模型在处理长期、分散和个性化的数据时逐步提升推理和学习能力。
在传统 LLM 中，更新模型通常需要调整所有参数，而如果目的是处理个体数据，那这种操作明显不切实际。
一种更优的方法是仅更新局部参数，从而在无损模型全局稳定性的前提下，让模型适应稀疏、个性化的 LTM 数据。这种方法可解决当前模型中个体数据「被平均化」的问题，使个性化信息能够更全面地表达。使用上下文学习（ICL）的检索增强生成（RAG）和用于微调的低秩适应（LoRA）等技术都可被视为局部更新个体数据的方法。
该团队的做法是采用一种混合策略来整合 LTM 数据，从而在实际应用中达到让人满意的结果。但是，该团队也表示，这可能并非一种完美的解决方案，未来可能还会出现更好的方法。
当前的 LLM 通常分为训练和推理两个阶段。在推理阶段，模型权重是冻结的，防止模型根据新输入进行调整和学习。这种固定的推理过程会限制模型的适应性，尤其是在处理个性化任务和实时学习方面。
受人脑更新机制的启发，该团队认为未来的 LLM 应该将推理和训练与 LTM 结合起来，使模型能够在接收到新信息时动态调整权重。这就类似于人类的持续学习能力。
此外，这种集成还可以帮助模型在面对复杂的推理任务时自我反思并纠正错误的推理路径，从而提高准确性和效率。
这种动态的自我调整能力将大大提升模型的个性化能力和长期进化潜力。通过长期记忆，模型不仅可以从短期记忆中学习，还可以从历史数据中提取有价值的见解，随着时间的推移能更深入地理解个人偏好和行为模式。这种理解可实现模型的个性化定制和动态调整，使模型能够更有效地进化。特别是在面对新的或极端的情况时，长期记忆使模型能够参考过去的经验，快速做出调整并自我进化，从而获得更大的灵活性和适应性。
长期记忆在模型自我进化中的实现路径
该团队首先将给出 AI 自我进化和 LTM 的定义，然后探索 LTM 在 AI 自我进化中的关键作用，之后会介绍如何使用 LTM 来实现 AI 自我进化。
他们做出了以下贡献：
AI 自我进化的基础
这里简要给出 AI 自我进化的定义，详情请参阅原论文。
AI 自我进化是指 AI 模型使用个性化数据不断学习和优化，实现多智能体协作和认知方面的突破。该过程基于一个共享式内核架构，其中各个模型通过处理个性化经验和数据不断进化，从而提升自身推理能力和适应能力，最终实现在动态环境中的自主学习和持续进化。
要实现 AI 自我进化，需要：
用于 AI 自我进化的 LTM
目前，LLM 主要通过两种记忆机制来管理信息：上下文存储器和基于压缩的参数存储器。虽然这些机制在短期任务中表现出色，但它们在支持长期自主学习和进化方面仍然存在不足。
正如人类使用 LTM 来塑造他们的行为和身份一样，人工智能系统也可以采用类似的方法根据「个人数据」定制其响应和行为。这里，「个人数据」不仅限于个人用户，还包括特定的机构和领域，允许模型根据更广泛的个人背景和需求调整其响应和行为。
作者深入探讨了 LTM 在 AI 自我进化中所发挥的关键作用，首先在 AI 自我进化的背景下定义了 LTM，并分析了当前 LLM 记忆机制的缺点。然后，作者讨论了通过从人类 LTM 特征中汲取灵感来增强人工智能模型的自我进化能力，旨在构建能持续学习和自我完善的人工智能系统。
该研究将 AI 自我进化中的 LTM 定义为：
LTM 是人工智能系统可以长期保留和利用的信息，使模型能够根据更广泛的背景调整其响应和行为。
这里，「个人数据」不仅限于个人用户，还包括特定的机构和领域，允许模型根据更广泛的个人背景和需求调整其反应和行为。
从数据积累的角度来看：模型和人类都与环境进行广泛的交互，为个性化提供基础数据。与人类相比，人工智能模型可以更有效地与环境交互，并且可以在纯虚拟的数字环境中执行这些交互和迭代。因此，通过设计适当的记忆细化策略，模型应该能够像人类一样积累长期记忆，甚至可能具有更高的效率和规模。
从模型更新的角度来看：人工智能擅长存储和调用海量数据，远远超过人类记忆规模。神经网络通过分布式参数管理这些数据，处理来自不同领域的输入。然而，这种存储相对刚性，缺乏实时更新的灵活性，通常需要重新训练才能实现更新。相比之下，人类的记忆力却非常强。
LTM 的构建策略
LTM 是对原始数据的有效组织和结构化，而不仅仅是表面上对原始数据进行分类和排序。相反，它是从记忆快速存储和检索以及信息高效利用的角度来设计和优化。通过建立相关信息之间的联系，有效处理数据并重新组织信息，智能体可以快速定位所需的记忆片段，从而提高响应速度和准确性。以下是几种主要的操作方法：
如何利用 LTM 实现模型自我进化？
获得高质量的 LTM 数据后，下一个挑战是如何利用它来增强模型能力并实现模型的自我进化。在使用 LTM 数据以最大限度地提高其有效性和效率的过程中需要解决几个关键挑战，包括：
适应持续更新的 LTM 数据。随着用户 LTM 数据的不断积累，模型必须在学习新信息和保留先前获取的知识之间取得平衡。传统模型通常假设稳定的数据分布，但在实际场景中，新的 LTM 数据可能与早期模式显著背离，导致过拟合或灾难性遗忘等风险。有效处理这些变化对于适应动态 LTM 数据至关重要。
实时学习和高效反馈集成。由于 LTM 数据是动态积累的，模型必须快速适应用户行为的实时变化。新数据的快速集成对于智能助手等应用程序至关重要，其中无缝的用户交互是关键。此外，在完善基础模型时，应考虑隐式（例如点击次数或花费的时间）和显式的用户反馈。实时结合这两种类型的反馈使模型能够不断改进并满足个人用户的需求。
处理数据稀疏性和用户多样性。数据稀疏是持续更新的 LTM 系统中一个常见的问题，特别是对于交互历史有限或零星活动的用户来说，这使得训练模型变得困难。此外，用户多样性也会进一步增加复杂性，要求模型适应个体模式，同时仍然有效地推广到不同的用户组。
以清华大学团队的 Agent Hospital（智能体医院）作为案例，该团队展示了如何在这个模拟医疗场景中用 LTM 来提升模型的能力，其中包括医疗记录积累、医疗经验反思和基于 RAG 利用 LTM。详见原论文。
基于 LTM 实现模型自我进化的实践
获取 LTM 数据
为了提升模型保留和访问 LTM 数据的能力，该团队全面研究了各种方法，其中包括：
这其中包含一些实验评估和例证，详见原论文。这里我们来重点看看他们开发的基于 LTM 的多智能体框架。
基于 LTM 的多智能体框架
该团队提出一个基于 LTM 的多智能体框架 Omne。
Omne 是基于 AutoGen MultiAgent Framework 深度定制的开发框架，专门用于解决 LTM 在 AI 系统中的实际应用难题。
它扩展了一系列与记忆相关的基础设施，包括统一的记忆模型、多模态消息处理系统以及灵活的记忆存储和操作机制。Omne 的核心模块（Omne Core）如下图所示：
Omne 的核心目标是提供一套全面的解决方案，使 LTM 能够在实际工程项目中有效部署，从而增强 AI 系统的长期记忆能力和任务处理效率。
基于 Omne Core，该团队还构建了一个 Omne Assistant。
Omne Assistant 的设计目标是帮助开发聊天场景中的 AI 助手，其提供了一个现成的应用层框架。它包括 AI 助手所需的基本功能，使开发人员无需从头开始设计基础组件，就能快速构建功能齐全的聊天机器人。
Omne Assistant 带有一个 Simple Responder，这是一个通用的问答响应器，可以处理基本的用户聊天交互以实现即时通信。此外，该框架还提供了一个 Reactive Responder，它具有高级任务分析和规划功能，使其能够管理需要多步骤推理和任务编排的更复杂的用户请求。
借助这些内置组件，Omne Assistant 可让开发人员专注于实现自己的功能，从而更快地开发和部署配备长期记忆功能的 AI 助手应用。
在 GAIA 基准（包含 400 多个问答任务的通用 AI 助手测试集）上，该团队对 Omne 框架进行了评估。
为了探索 AI 的边界，他们在 Omne 框架中使用了当今最强大的 GPT-4o 和 o1-preview 模型，同时配备了 4 个工具：网络浏览、Bing 搜索引擎、基于 llamaparse 的文件读取器，一个使用 o1-preview 构建的逻辑专家。
基于这 2 个基础模型和 4 个工具，Omne 在测试集和验证集上分别取得了第一名（40.53%）和第二名（46.06%）的成绩。
值得注意的是，Omne 在最复杂、要求最高的 3 级问题上达到了 26.53% 的准确率。这证明了其通过利用强大的基础模型（尤其是具有强大推理和逻辑能力的模型）解决现实问题的潜力。
未来计划
该团队并不打算止步于此，他们已经制定了未来研究的计划，方向包括：
1. 如何更好地构建 LTM 数据？
2. 如何为 LTM 设计新的模型架构？
3. LTM 如何帮助用户提出更好的问题？
4. 如何将 LTM 与推理时间搜索相结合？
5. 如何在复杂场景中使用 LTM 实现智能体自我进化？
6. 如何在多智能体场景中使用 LTM？
AI主要技术ai主要技术指标
机器学习:AI的智能引擎:想象一下，一台机器能够从经验中学习并自我进化。 这就是机器学习的魅力。 通过监督学习、无监督学习、半监督学习和强化学习，AI系统能够识别模式、做出预测，甚至在复杂的环境中找到最优策略。 深度学习:深度挖掘数据:深度学习让计算机能够处理复杂的数据结构，像、声音和文本。 卷积神经网络(CNNs)、循环神经网络(RNNs)和长短期记忆网络(LSTM)是深度学习的关键技术，它们正在推动图像识别、语音识别和自然语言处理的边界。 自然语言处理:与机器敏慎数对话:自孝碰然语言处理(NLP)技术让机器能够理解和生成人类语言。 语言模型、语义桥首分析和机器翻译等NLP技术正在改变我们与技术的互动方式，使得交流变得更加自然和高效。
出道的第八年，依然AI着......
欢迎来到枣指数说故事的八岁生日庆典过去2922天，我们与AI的旅程从未停歇对数据的热爱，让我们携手走过热AI，连接了我们与您的故事每一刻的火花，汇聚成日后珍贵的记忆现在，进入热AI时刻，开启数说故事之旅1、DataStory的萌芽追溯至2009年，DataStory在智能信息处理与云计算实验室诞生创始人徐亚波博士，专注于海量数据处理与语义分析技术探索技术与商业的结合，驱动数据价值2、DataStory的诞生2015年，DataStory正式成立梦想开启，用数据塑造商业世界探索数据赋能的可能性，精益求精3、DataStory的成长以数据源生态为起点，不断增长洞察商业决策，结合大唯竖数据实践提升机器学习与文本处理能力，打造智能优化系统4、DataStory的突破融合深度学习，全面升级分析与呈现开拓更广泛的市场应用5、DataStory的创新结合AI算法，为业务提供增长动力构建行业领先商业知识图谱指岩大提供从报告到Dashboard的交互式策略与概念生成6、DataStory的探索从多模态构建，融合技术突破理解与解析全网视频传播平台抢占营销数字化的核心战场7、DataStory的未来打造“Social-GPT”，优化大模型集成AIGC能力，覆盖全流程8、DataStory的愿景迎接AI时代，不断进化与重构共同书写更多关于AI的故事数说故事8周年，与您共享热AI的喜悦无限热AI，我们一同庆祝
对于最强AlphaGo Zero如何炼成的真心话，都在这里
最强AlphaGo Zero怎样炼成刚刚，Deepmind在Reddit的Machine Learning板块举办了在线答疑活动AMA，Deepmind强化学习组负责人David Silver和其同事热情地回答了网友们提出的各种问题。 由于在AMA前一天Deepmind刚刚发表了《Mastering the game of Go without human knowledge》(不山卜纳使用人逗没类知识掌握围棋)的论文，相关的提问和讨论也异常热烈。 什么是AMA?AMA(Ask Me Anything)是由Reddit的特色栏目，你也可以将其理解为在线的“真心话大冒险”。 AMA一般会约定一个时间，并提前若干天在Reddit上收集问题，回答者统一解答。 本次Deepmind AMA的回答人是：David Silver：Deepmind强化学习组负责人，AlphaGo首席研究员。 David Silver1997年毕业于剑桥大学，获得艾迪生威斯利奖。 David于2004年在阿尔伯塔大学获得计算机博士学位，2013年加盟DeepMind，是AlphaGo项目的主要技术负责人。 Julian Schrittwieser：Deepmind高级软件工程师。 此前有多位机器学习界的大牛/公司在Reddit Machine Learning版块开设AMA，包括：Google Brain Team、OpenAI Research Team 、Andrew Ng and Adam Coates、Jürgen Schmidhuber、Geoffrey Hinton、Michael Jordan 、Yann LeCun、Yoshua Bengio等。 我们从今天Deepmind的AMA中选取了一些代表性的问题，整理如下：关于论文与技术细节Q: Deepmind Zero的训练为什么如此稳定?深层次的增强学习是不稳定和容易遗忘的，自我对局也是不稳定和容易遗忘的，如果没有一个好的基于模仿的初始化状态和历史检查点，二者结合在一起应该是一个灾难...但Zero从零开始，我没有看到论文中有这部分的内容，你们是怎么做到的呢?David Silver：在深层增强学习上，AlphaGo Zero与典型的无模式算法(如策略梯度或者Q学习)采用的是完全不同的算法。 通过使用AlphaGo搜索，我们可以极大改进策略和自我对局的结果，然后我们会用简单的、基于梯度的更新来训练下一个策略及价值网络。 比起基于简便的基于梯度的策略改进，这样的做法会更加稳定。 Q：我注意到ELO等级分增长的数据只与到第40天，是否是因为论文截稿的原因?或者说之后AlphaGo的数据不再显著改善?David Silver：AlphaGo已经退役了!这意味着我们将人员和硬件资源转移到其他AI问题中，我们还有很长的路要走呐。 Q:关于论文的两个问题：Q1：您能解释为什么AlphaGo的残差块输入尺寸为19x19x17吗?我不知道为什么每个对局者需要用8个堆叠的二进制特征层来描述?我觉得1、2个层就够了啊。 虽然我不是100%理解围棋的规则，但8个层看起来也多了点吧?Q2：由于整个通道使用自我对局与最近的/最好的模型进行比较，你们觉得这对于采用参数空间的特定SGD驱动轨迹对否会有过拟合的风险?David Silver：说起来使用表征可能比现在用的8层堆叠的做法更好!但我们使用堆叠的方式观察历史数据有三个原因：1)它与其他领域弊胡的常见输入一致;2)我们需要一些历史状态来表示被KO;3)如果有一些历史数据，我们可以更好地猜测对手最近下的位置，这可以作为一种关注机制(注：在围棋中，这叫“敌之要点即我之要点”)，而第17层用于标注我们现在究竟是执黑子还是白子，因为要考虑贴目的关系。 Q：有了强大的棋类引擎，我们可以给玩家一个评级——例如Elo围棋等级分就是通过棋手对局的分析逐步得出的，那么AlphaGo是否可以对过去有等级分前的棋手的实力进行分析?这可能为研究人类的认知提供一个平台。 Julian Schrittwieser：感谢分享，这个主意很棒!我认为在围棋中这完全可以做到，或许可以用最佳应对和实际应对的价值差异或者政策网络给每一手位置评估得到的概率来进行?我有空的时候试一下。 Q: 既然AlphaGo已经退役了，是否有将其开源的计划?这将对围棋社区和机器学习研究产生巨大的影响。 还有，Hassabis在乌镇宣称的围棋工具将会什么时候发布?David Silver：现在这个工具正在准备中。 不久后你就能看到新的消息。 Q：AlphaGo开发过程中，在系统架构上遇到的最大障碍是什么?David Silver：我们遇到的一个重大挑战是在和李世石比赛的时候，当时我们意识到AlphaGo偶尔会受到我们所谓的“妄想”的影响，也就是说，程序可能会错误理解当前盘面局势，并在错误的方向上持续许多步。 我们尝试了许多方案，包括引入更多的围棋知识或人类元知识来解决这个问题。 但最终我们取得了成功，从AlphaGo本身解决了这个问题，更多地依靠强化学习的力量来获得更高质量的解决方案。 围棋爱好者的问题Q：1846年，在十四世本因坊迹目秀策与十一世井上幻庵因硕的一盘对局中，秀策下的第127手让幻庵因硕一时惊急两耳发赤，该手成为扭转败局的“耳赤一手”。 如果是AlphaGo，是否也会下出相同的一首棋?Julian Schrittwieser：我问了樊麾，他的回答是这样的：当时的围棋不贴目，而AlphaGo的对局中，黑棋需贴7.5目。 贴目情况不同造成了古今棋局的差异，如果让AlphaGo穿越到当年下那一手，很有可能下的是不同的另一个地方。 Q：从已发布的AlphaGo相互对局看，执白子的时间更为充裕，因而不少人猜测，7.5目的贴目太高了(注：现代围棋的贴目数也在不断变化，如在30年前，当时通行的是黑子贴白子5.5目)。 如果分析更大的数据集，是否可以对围棋的规则得出一些有趣的结论?(例如，执黑或者执白谁更有优势，贴目应该更高还是更低)Julian Schrittwieser：从我的经验和运行的结果看，7.5目的贴目对双方来说是均势的，黑子的胜率略高一些(55%左右)。 Q：你能给我们讲一下第一手的选择吗?ALphaGo是否会下出我们前所未见的开局方式?比如说，第一手下在天元或者目外，甚至更奇怪的地方?如果不是，这是否是一种“习惯”，或者说AlphaGo有强烈的“信念”认为星位、小目、三三是更好的选择?David Silver：在训练中我们看到ALphaGo尝试过不同方式的开局——甚至刚开始训练的时候有过第一手下在一一!即便在训练后期，我们仍然能看到四、六位超高目的开局，但很快就恢复到小目等正常的开局了。 Q：作为AlphaGo的超级粉丝，有一个问题一直在我心中：AlphaGo可以让职业棋手多少子?从论文中我们知道AlphaGo可以下让子棋，我也知道AlphaGo恐怕让不了柯洁两子，但我想你们一定很好奇，你们是否有做内部测试?David Silver：我们没有和人类棋手下让子棋。 当然，我们在测试不同版本的时候下过让子棋，在AlphaGo Master>AlphaGo Lee>ALphaGo Fan这三个版本中，后一个版本均可让三子击败前一个版本。 但是，因为AlphaGo是自我训练的，所以尤其擅长打败自己的较弱的前一版本，因此我们不认为这些训练方式可以推广到和人类选手的让子棋中。 Q：你们有没有想过使用生成对抗网络(GAN)?David Sliver：从某种意义来讲，自我对弈就是对抗的过程。 每一次结果的迭代都是在试图找到之前版本的“反向策略”。 传言终结者Q：我听说AlphaGo在开发初期被引导在某一个具体的方向训练以解决对弈中展现出的弱点。 现在它的能力已经超过了人类，是否需要另外的机制来进一步突破?你们有做了什么样的工作?David Silver：实际上，我们从未引导过AlphaGo来解决具体的弱点。 我们始终专注于基础的机器学习算法，让AlphaGo可以学习修复自己的弱点。 当然你不可能达到100%的完美，所以缺点总会存在。 在实践中，我们需要通过正确的方法来确保训练不会落入局部最优的陷阱，但是我们从未使用过人为的推动。 关于DeepMind公司Q：我这里有几个问题：在DeepMind工作是什么感受?AlphaGo团队成员都有谁?你能介绍一下AlphaGo团队工作分配的情况吗?下一个重大挑战是什么?David Silver：在DeepMind工作感觉好极了:)——这不是一个招聘广告，但我感觉每天可以在这里做我喜欢的事实在是太幸运了。 有很多(多到忙不过来!:))很酷的项目去参与。 我们很幸运有许多大牛在AlphaGo工作。 您可以通过查看相应的作者列表来获取更详细的信息。 Q: 你觉得本科生是否可以在人工智能领域取得成功?Julian Schrittwiese：当然。 我本人就只有计算机科学学士学位，这一领域变化迅速，我认为您可以从阅读最新的论文和试验中来进行自学。 另外，去那些做过机器学习项目的公司实习也是很有帮助的。 关于算法的扩展和其他项目Q：Hassabis今年三月份在剑桥的一个演讲中表示，AlphaGo项目未来目标之一是对神经网络进行解释。 我的问题是：ALphaGo在神经网络结构上取得了什么样的进展，或者说，对AlphaGo，神经网络仍然是神秘的黑盒子?David Silver：不仅仅是ALphaGo，可解释性是我们所有项目的一个非常有意思的课题。 Deepmind内部有多个团队从不同方式来探索我们的系统，最近有团队发表了基于认知心理学技术去尝试破译匹配网络内部发生了什么，效果非常不错!Q: 很高兴看到AlphaGo Zero的好成绩。 我们的一篇NIPS论文中也提到了对于深度学习和搜索树之间效率的相似问题，因此我对于在更长的训练过程中的行为尤其感兴趣。 AlphaGo的训练过程中，创建学习目标的蒙特卡洛树搜索的贪心算法、策略网络的贪心算法、以及在训练过程中价值功能变化的贪心算法之间的相对表现如何?这种自我对局学习的方法是否可以应用在最近的星际争霸 II API中?David Silver：感谢介绍您的论文!真不敢相信这篇论文在我们4月7日投稿的时候已经发布了。 事实上，它与我们的学习算法的策略组件非常相似(尽管我们也有一个值组件)，您可以参考我们的方法和强化学习中的讨论，也很高兴看到在其他游戏中使用类似方法。 Q：为什么早期版本的AlphaGo没有尝试自我对弈?或者说，AlphaGo之前也尝试过自我对弈但效果不好?我对这个领域的发展和进步程度感到好奇。 相比起今天，在两年前在设计一个自主训练的AlphaGo的瓶颈在哪里?今天我们见到的“机器学习直觉”又是经历了什么样的系统迭代过程?David Silver：创建一个可以完全从自我学习的系统一直是加强学习的一个开放性问题。 我们最初的尝试包括你能查到的许多类似的算法，是相当不稳定的。 我们做了很多尝试，最终AlphaGo Zero算法是最有效的，而且似乎已经破解了这个特定的问题。 Q：你认为机器人什么时候能够有效解决现实世界关于高度、尺寸方面的问题(例如，自己学习如何抓取任何形状、尺寸、位置废品的设备)?策略梯度方法是否是实现这一目标的关键点?Julian Schrittwieser：这主要是由于价值/政策网络上的双重改进，包括更好的训练和更好的架构。 具体参见论文图4对不同网络架构的比较。 Q：据说击败柯洁的ALphaGo Master的功耗只是击败李世石的AlphaGo Lee的1/10。 你们做了什么样的优化呢?Julian Schrittwieser：这主要是由于价值/政策网络上的双重改进，包括更好的训练和更好的架构。 具体参见论文图4对不同网络架构的比较。 (你确认不是copy上一个问题的答案吗)Q：看起来在增强学习中使用或模拟Agent的长期记忆是一个很大的障碍。 展望未来，您觉得我们是否能以一种新的思维方式解决这一点? 还是说需要等待我们技术可以实现一个超级网络?Julian Schrittwieser：是的，长期记忆可能是一个重要的因子，例如在“星际争霸”游戏中，你可能已经做出了上千个动作，但你还要记住你派出的侦察兵。 我认为现在已经有了令人振奋的组件(神经图灵机!)，但是我认为我们在这方面仍有很大的改进空间。 Q：David，我看过你的演讲视频，你提到增强学习可以用于金融交易， 你有没有真实世界的例子? 你会如何处理黑天鹅事件(过去没有遇到过的情况)?David Silver：已经发表增强学习用于现实世界的财务算法的论文非常少见，但有一些经典论文值得一看，例如Nevmyvaka、Kearns在2006写的那篇和Moody、Safell在2001年写的那篇。 Q：你们和Facebook几乎同时研究围棋问题，你们能更快获得大师级表现的优势是什么?对于那些无法获得像AlphaGo如此多的训练数据的领域如何开展机器学习或者增强学习?David_Silver：Facebook更侧重于监督学习，我们选择更多地关注强化学习，因为我们认为AlphaGo最终将超越人类的知识。 我们最近的结果实际上表明，监督学习方法可以让人大吃一惊，但强化学习绝对是远远超出人类水平的关键之处。
