深度学习三巨头之一Yoshua Bengio的下一步动向公开了，关于AI安全——
加入了一个名为 Safeguarded AI （受保护的人工智能）的项目，担任科学总监。
据介绍，Safeguarded AI旨在：
通过结合科学的世界模型和数学证明，构建一个负责理解和降低其它AI Agent风险的AI系统。
主打的就是一个量化安全保障。
该项目由英国高级研究与发明局（ARIA）提供支持，据说未来ARIA将投入共5900万英镑（约合RMB5.37亿）。
Bengio表示：
“受保护的AI”
Safeguarded AI项目被划分为三个技术领域，每个领域都有特定的目标和预算：
官方表示，Bengio加入后将 特别关注TA3和TA2 ，在整个计划中提供科学战略建议。
ARIA还计划投入1800万英镑（约合RMB1.64亿）成立一个非营利组织，领导TA2的研发工作。
Safeguarded AI项目总监是前Twitter高级软件工程师 David “davidad” Dalrymple ，去年9月份加入ARIA。
对于Bengio的到来，Dalrymple还在X（原推特）上传了俩人的合照：
关于“构建一个负责理解和降低其它AI Agent风险的AI系统”的具体方法，David “davidad” Dalrymple、Yoshua Bengio等人写了份文件。
其中提出了一套称为“ Guaranteed Safe AI （保证安全的AI）”的模式，主要是通过三个核心相互作用量化AI系统的安全保障：
他们还为创建世界模型的策略，划分了L0-L5安全等级：
“AI风险”备受学术圈关注
“AI风险”一直是行业大佬们关注的焦点话题之一。
Hinton离职谷歌，就是为了自由地讨论AI风险问题。
之前，更是有吴恩达、Hinton、LeCun、哈萨比斯等AI巨佬们线上“对喷”的大型场面。
吴恩达曾表示：
DeepMind CEO哈萨比斯则认为：
Bengio之前还和Hinton、姚期智、张亚勤等人工智能大拿，发表了一封公开信《在快速进步的时代管理人工智能风险（Managing AI RIsks in an Era of Rapid Progress）》。
其中就指出人类必须认真对待AGI在这10年或下一个10年内在许多关键领域超越人类能力的可能。建议监管机构应该对AI发展全面洞察，尤其警惕那些在价值数十亿美元的超级计算机上训练出来的大模型。
就在一个月前，Bengio还以“Reasoning through arguments against taking AI safety seriously（回应反对认真对待AI安全的观点）”为题写了一篇文章，其中分享了他的最新想法，感兴趣的家人可以康康～
https://yoshuabengio.org/2024/07/09/reasoning-through-arguments-against-taking-ai-safety-seriously/
Guaranteed Safe AI：
https://arxiv.org/abs/2405.06624
参考链接：[1]https://www.technologyreview.com/2024/08/07/1095879/ai-godfather-yoshua-bengio-joins-uk-project-to-prevent-ai-catastrophes/[2]https://www.reddit.com/r/singularity/comments/1emcwox/ai_godfather_yoshua_bengio_has_joined_a_uk/[3]https://x.com/davidad/status/1821155265456033803
究竟什么是机器学习 深度学习和人工智能
目前，业界有一种错误的较为普遍的意识，即“深度学习最终可能会淘汰掉其他所有机器学习算法”。 这种意识的产生主要是因为，当下深度学习在计算机视觉、自然语言处理领域的应用远超过传统的机器学习方法，并且媒体对深度学习进行了大肆夸大的报道。
深度学习，作为目前最热的机器学习方法，但并不意味着是机器学习的终点。起码目前存在以下问题：
1. 深度学习模型需要大量的训练数据，才能展现出神奇的效果，但现实生活中往往会遇到小样本问题，此时深度学习方法无法入手，传统的机器学习方法就可以处理；
2. 有些领域，采用传统的简单的机器学习方法，可以很好地解决了，没必要非得用复杂的深度学习方法；
3. 深度学习的思想，来源于人脑的启发，但绝不是人脑的模拟，举个例子，给一个三四岁的小孩看一辆自行车之后，再见到哪怕外观完全不同的自行车，小孩也十有八九能做出那是一辆自行车的判断，也就是说，人类的学习过程往往不需要大规模的训练数据，而现在的深度学习方法显然不是对人脑的模拟。
深度学习大佬 Yoshua Bengio 在 Quora 上回答一个类似的问题时，有一段话讲得特别好，这里引用一下，以回答上述问题：
Science is NOT a battle, it is a collaboration. We all build on each others ideas. Science is an act of love, not war. Love for the beauty in the world that surrounds us and love to share and build something together. That makes science a highly satisfying activity, emotionally speaking!
这段话的大致意思是，科学不是战争而是合作，任何学科的发展从来都不是一条路走到黑，而是同行之间互相学习、互相借鉴、博采众长、相得益彰，站在巨人的肩膀上不断前行。 机器学习的研究也是一样，你死我活那是邪教，开放包容才是正道。
结合机器学习2000年以来的发展，再来看Bengio的这段话，深有感触。 进入21世纪，纵观机器学习发展历程，研究热点可以简单总结为2000-2006年的流形学习、2006年-2011年的稀疏学习、2012年至今的深度学习。 未来哪种机器学习算法会成为热点呢？深度学习三大巨头之一吴恩达曾表示，“在继深度学习之后，迁移学习将引领下一波机器学习技术”。 但最终机器学习的下一个热点是什么，谁又能说得准呢。
编辑于 2017-12-27
条评论
分享
收藏感谢收起
阿里云云栖社区
用户标识1
已认证的官方帐号
39 人赞同了该回答
人工智能并不是一个新的术语，它已经有几十年的历史了，大约从80年代初开始，计算机科学家们开始设计可以学习和模仿人类行为的算法。
在算法方面，最重要的算法是神经网络，由于过拟合而不是很成功（模型太强大，但数据不足）。 尽管如此，在一些更具体的任务中，使用数据来适应功能的想法已经取得了显着的成功，并且这也构成了当今机器学习的基础。
在模仿方面，人工智能专注于图像识别，语音识别和自然语言处理。 人工智能专家们花费了大量的时间来创建诸如边缘检测，颜色配置文件，N-gram，语法树等。 不过，这些进步还不足以达到我们的需求。
传统的机器学习：
机器学习（ML）技术在预测中发挥了重要的作用，ML经历了多代的发展，形成了具有丰富的模型结构，例如：
1.线性回归。
2.逻辑回归。
3.决策树。
4.支持向量机。
5.贝叶斯模型。
6.正则化模型。
7.模型集成（ensemble）。
8.神经网络。
这些预测模型中的每一个都基于特定的算法结构，参数都是可调的。训练预测模型涉及以下步骤：
1. 选择一个模型结构（例如逻辑回归，随机森林等）。
2. 用训练数据（输入和输出）输入模型。
3. 学习算法将输出最优模型（即具有使训练错误最小化的特定参数的模型）。
每种模式都有自己的特点，在一些任务中表现不错，但在其他方面表现不佳。 但总的来说，我们可以把它们分成低功耗（简单）模型和高功耗（复杂）模型。 选择不同的模型是一个非常棘手的问题。
由于以下原因，使用低功率/简单模型是优于使用高功率/复杂模型：
学习人工智能有什么要求吗？
人工智能是一个包含很多学科的交叉学科，你需要了解计算机的知识、信息论、控制论、图论、心理学、生物学、热力学，要有一定的哲学基础，有科学方法论作保障。 人工智能学习路线最新版本在此奉上：首先你需要数学基础：高等数学，线性代数，概率论数理统计和随机过程，离散数学，数值分析；其次需要算法的积累：人工神经网络，支持向量机，遗传算法等等算法；当然还有各个领域需要的算法，比如你要让机器人自己在位置环境导航和建图就需要研究SLAM；算法很多需要时间的积累。 然后，需要掌握至少一门编程语言，毕竟算法的实现还是要编程的；如果深入到硬件，一些电类基础课必不可少；人工智能一般要到研究生才会去学，本科也就是蜻蜓点水看看而已，毕竟需要的基础课过于庞大。 刚才提到的这些学科的每一门都是博大精深的，但同时很多事物都是相通的，你学了很多知识有了一定的基础的时候再看相关知识就会触类旁通，很容易。 在这中间关键是要有自己的思考，不能人云亦云。 毕竟，人工智能是一个正在发展并具有无穷挑战和乐趣的学科。 人工智能的首选语言是Python，因此大家一定要学好Python语言。 人工智能学习的重点是机器学习：1、斯坦福大学公开课 ：机器学习课程2、数据分析竞赛kaggle3、Deep learning-author Joshua Bengio机器学习书单python实战编程1、Python for Data Analysis2、SciPy and NumPy3、Machine Learning for Hackers4、Machine Learning in Action
人工智能怎样学习？
人工智能虽然经过了60多年的发展，期间也有众多著名科学家的参与，但是目前人工智能领域的发展依然处在初级阶段，整个人工智能领域还有大量的课题需要攻关，所以目前人工智能领域更关注中高端人才。
要想系统的学习人工智能一方面需要具备扎实的基础知识，另一方面还需要通过具体的岗位实践(课题研发)来完成，因为目前人工智能领域的很多方向还依然有待完善，所以对于初学者来说选择一个方向并完成入门学习是比较现实的选择。
人工智能的入门学习需要具备以下知识结构：
一、编程语言
编程语言是学习人工智能的基础内容之一，掌握了编程语言才能完成一系列具体的实验。 推荐学习python语言，一方面原因是python语言简单易学，实验环境也易于搭建，另一方面原因是python语言有丰富的库支持。 目前python语言在人工智能领域有广泛的应用，包括机器学习、自然语言处理和计算机视觉等方向。
二、算法设计基础
目前人工智能的研究内容集中在六个大的方向上，分别是自然语言处理、知识表示、自动推理、机器学习、计算机视觉和机器人学，这些内容都有一个重要的基础就是算法设计，可以说算法设计是研究人工智能的关键所在。 学习算法设计可以从基础算法开始，包括递归、概率分析和随机算法、堆排序、快速排序、线性时间排序、二叉树搜索、图算法等内容。
三、人工智能基础
人工智能基础内容的学习是打开人工智能大门的钥匙，人工智能基础内容包括人工智能发展史、智能体、问题求解、推理与规划、不确定知识与推理、机器学习、感知与行动等几个大的组成部分。
在完成以上内容的学习之后，最好能参加一个人工智能的项目组(课题组)，在具体的实践中完成进一步的学习过程。
随着大数据的发展，人工智能也进入了一个全新的发展时代，对于基础薄弱的初学者来说，通过大数据进入人工智能领域也是一个不错的选择。
人工智能学习最佳途径：
1、寻找一些免费的书籍
寻找一些免费的ai书籍作为自己学习人工智能的开始，是正确的做法。 peter norvig和stuart j. russell所著的《artificial intelligence: a modern approach》一书就很不错。 本书不仅介绍了基本的人工智能概念和算法(专家系统、深度优先和广度优先搜索、知识表示等)，而且还包括基础知识如贝叶斯推理，一阶逻辑，语言建模等。
对于那些对深度学习感兴趣的人， ian goodfellow、yoshua bengio和aaron courville 所写的《深度学习》(自适应计算和机器学习系列)一书是不错的选择。 此外，可以看看《logic for computer science》这本免费书，它解释了计算机科学的数学逻辑，并强调了求解证明的算法方法。
2、熟悉python，数学知识
第一步：你需要掌握一门人工智能领域常用的编程语言，python或者r语言都可以，掌握其中一种即可;我个人推荐你学习python语言，因为python很火，功能强大。在这里你只需要花一周的时间把python基础掌握牢固即可，如怎么样定义变量、怎么样操作元组、怎么样自定义函数等;
第二步：你需要补习数学知识，你是零基础的话，就先将高等数学基础知识学透，从基础的数据分析、线性代数及矩阵等等入门，只有基础有了，才会层层积累，不能没有逻辑性的看一块学一块。 也有人有疑惑，为什么人工智能需要数学相关的知识呢?因为数学知识一直贯穿在人工智能深度学习各个模型当中，理解公式的原理和应用，以及公式的推导过程，帮助各种神经网络的参数调整，才能灵活运用创造新的算法模型。
3、机器学习
有关机器学习领域的最佳介绍，请观看coursera的andrew ng机器学习课程。 它解释了基本概念，并让你很好地理解最重要的算法。
(1)有关ml算法的简要概述，查看这个tutsplus课程“machine learning distilled”。
(2)“programming collective intelligence”这本书是一个很好的资源，可以学习ml 算法在python中的实际实现。 它需要你通过许多实践项目，涵盖所有必要的基础。
这些不错的资源你可能也感兴趣:
(1)perer norvig 的udacity course on ml(ml udacity 课程)
(2)tom mitchell 在卡梅隆大学教授的 another course on ml(另一门ml课程)
(3)youtube上的机器学习教程 mathematicalmonk
4、计算机科学
要掌握ai，你要熟悉计算机科学和编程。
如果你刚刚开始，我建议阅读 dive into python 3 (深入python 3)这本书，你在python编程中所需要的大部分知识都会提到。
要更深入地了解计算机编程的本质 - 看这个经典的 mit course (mit课程)。 这是一门关于lisp和计算机科学的基础的课程，基于 cs -结构和计算机程序的解释中最有影响力的书之一。
