用光训练神经网络 ，清华成果最新登上了Nature！
无法应用反向传播算法怎么办？
他们提出了一种 全前向模式 （Fully Forward Mode，FFM）的训练方法，在物理光学系统中直接执行训练过程，克服了传统基于数字计算机模拟的限制。
简单点说，以前需要对物理系统进行 详细建模 ，然后在计算机上模拟这些模型来训练网络。而FFM方法省去了建模过程，允许系统 直接使用实验数据 进行学习和优化。
这也意味着，训练不需要再从后向前检查每一层（反向传播），而是可以直接 从前向后更新网络的参数 。
打个比方，就像拼图一样，反向传播需要先看到最终图片（输出），然后逆向一块块检查复原；而FFM方法更像手中已有部分完成的拼图，只需按照一些光原理（对称互易性）继续填充，而无需回头检查之前的拼图。
这样下来，使用FFM 优势也很明显 ：
一是 减少了对数学模型的依赖 ，可以避免模型不准确带来的问题；二是 节省了时间 （同时能耗更低），使用光学系统可以并行处理大量的数据和操作，消除反向传播也减少了整个网络中需要检查和调整的步骤。
论文共同一作是来自清华的薛智威、周天贶，通讯作者是清华的方璐教授、戴琼海院士。此外，清华电子系徐智昊、之江实验室虞绍良也参与了这项研究。
消除反向传播
一句话概括FFM原理：
简单说就是让光学系统 自学 ，通过观察自己如何处理光线（即测量输出光场）来了解自己的表现，然后利用这些信息来逐步调整自己的设置（参数）。
下图展示了FFM在光学系统中的 运行机制 ：
其中a为传统设计方法的局限性；b为光学系统的组成； c为光学系统到神经网络的映射 。
展开来说，一般的光学系统，包括自由空间透镜光学和集成光子学，由调制区域（暗绿色）和传播区域（浅绿色）组成。在这些区域中，调制区域的折射率是 可调的 ，而传播区域的折射率是 固定的 。
而这里的调制和传播区域可以映射到神经网络中的 权重和神经元连接 。
在神经网络中，这些可调整的部分就像是神经元之间的连接点，可以改变它们的强度（权重）来学习。
利用 空间对称互易性原理 ，数据和误差计算可以共享相同的前向物理传播过程和测量方法。
这有点像镜子里的反射 ，系统中的每个部分都能以相同的方式响应光的传播和错误反馈。这意味着无论光如何进入系统，系统都能以一致的方式处理它，并根据结果来调整自己。
这样，可以在现场直接计算梯度，用于更新设计区域内的折射率，从而优化系统性能。
通过 现场梯度下降方法 ，光学系统可以逐步调整其参数，直至达到最优状态。
原文将上述 全前向模式的梯度下降 方法（替代反向传播）用方程最终表示为：
一种光学神经网络训练方法
作为一种光学神经网络训练的方法，FFM有以下优势：
与理想模型相当的准确率
使用FFM可以在自由空间 光学神经网络 （Optical Neural Network，ONN）上实现有效的自训练过程。
要说明这个结论，研究人员首先用一个 单层的 ONN在基准数据集上进行了对象分类训练（a）。
具体来说，他们用了一些手写数字的图片（MNIST数据集）来训练这个系统，然后将结果进行了可视化（b）。
结果显示 ，通过FFM学习训练的ONN在实验光场与理论光场之间相似性极高（SSIM超过0.97）。
换句话说，它学习得非常好，几乎能够完美复制给它的示例。
不过研究人员也提醒：
接下来，研究人员用更复杂的图片（Fashion-MNIST数据集）来训练系统识别不同的时尚物品。
一开始，当层数 从2层增加到8层 ， 计算机训练网络 的平均准确度几乎只有理论准确度的 一半 。
而通过FFM学习方法，系统的网络准确度 提升到92.5% ，接近理论值。
这表明了，随着网络层数的增加，传统方法训练的网络性能下降，而FFM学习能够维持高精度。
同时，通过将 非线性激活 纳入FFM学习，可以进一步提升ONN的性能。在实验中，非线性FFM学习能够将分类准确率从90.4%提高到93.0%。
研究进一步证明，通过 批量训练非线性ONN ，错误传播过程可以被简化，并且训练时间仅增加1到1.7倍。
高分辨率的聚焦能力
FFM在实际应用中也能实现 高质量的成像 ，即使在复杂的散射环境中也能达到 接近物理极限的分辨率 。
首先，当光波进入散射介质（如雾、烟或生物组织等），聚焦会变得复杂，不过光波在介质中的传播往往保持一定的对称性。
FFM就 利用了这种对称性 ，通过优化光波的传播路径和相位，以减少散射效应对聚焦的负面影响。
其效果也很显著，图b展示了FFM与PSO（粒子群优化）这两种优化方法的对比。
具体来说，实验采用了两种散射介质，一种是随机相位板（Scatterer-I），另一种是透明胶带（Scatterer-II）。
在这两种介质中， FFM仅经过25次设计迭代 就实现了收敛（更快找到优化解），收敛损失值分别为1.84和2.07（越低性能越好）。
而PSO方法需要 至少400次 设计迭代才能达到收敛，且在最终收敛时的损失值为2.01和2.15。
同时，图c展示了FFM能够 不断自我优化 ，它设计的焦点从最初的随机分布逐渐演化和收敛到一个紧密的焦点。
在3.2 mm × 3.2 mm的设计区域内，研究人员进一步对FFM和PSO优化的焦点进行了均匀采样，并比较了它们的FWHM（半峰全宽）和PSNR（峰值信噪比）。
结果显示 ，FFM聚焦精度更高，成像质量更好。
图e进一步评估了设计的焦点阵列在扫描位于散射介质后面的分辨率图时的性能。
结果令人惊喜，FFM设计的焦点尺寸 接近64.5 µm的衍射极限 ，这是 光学成像理论上的最高分辨率标准。
能够并行成像视线之外的物体
既然在散射介质中如此厉害，研究人员又尝试了 非视距（NLOS）场景 ，即物体被隐藏在视线之外的地方。
FFM利用了从隐藏物体到观察者之间光路的空间对称性，这允许系统通过全光学的方式在现场重建和分析动态隐藏物体。
通过 设计输入波前 ，FFM能够同时将物体中的所有网格投影到它们的目标位置，实现隐藏物体的并行恢复。
实验中使用了字母形状的隐藏铬靶“T”、“H”和“U”，并设置了曝光时间（1毫秒）和光功率（0.20 mW），以实现对这些动态目标的快速成像。
结果显示 ，没有FFM设计的波前，图像会严重扭曲。而FFM设计的波前能够恢复所有三个字母的形状，SSIM（结构相似性指数）达到1.0，表明与原始图像的高度相似性。
进一步，与人工神经网络（ANN）在光子效率和分类性能方面相比，FFM显著优于ANN， 尤其是在低光子条件下 。
具体而言，在光子数量受限的情况下（如许多反射或高度漫射的表面），FFM能够自适应地纠正波前畸变，并需要更少的光子来进行准确分类。
在非Hermitian系统中自动搜索异常点
FFM方法不仅适用于自由空间光学系统，还可以扩展到 集成光子系统的自我设计 。
研究人员使用串联和并联配置的 对称光子核心 ，构建了一个集成神经网络（a）。
实验中，对称核心通过不同水平的注入电流配置了可变光衰减器（VOA），实现了不同的衰减系数，以模拟不同的权重。
在图c中，对称核心中编程矩阵值的保真度非常高，时间漂移的标准偏差分别为0.012%，0.012%和0.010%，表明 矩阵值非常稳定。
并且，研究人员 可视化了每层的误差 。对比实验梯度与理论模拟值，其平均偏差为3.5%。
在大约 100次迭代（epoch） 后，网络达到了收敛状态。
实验结果显示，在三种不同的对称比例配置下（1.0、0.75或0.5），网络的分类准确度分别为94.7%、89.2%和89.0%。
而使用FFM方法的神经网络，得到的分类准确度为94.2%、89.2%和88.7%。
相比之下，如果使用传统的计算机模拟方法来设计网络，实验的分类准确度会低一些，分别为71.7%、65.8%和55.0%。
最后，研究人员还展示了FFM可以 自我设计非厄米特系统 ，通过数值模拟， 无需物理模型 即可实现对特异点的遍历。
总结全文，FFM是一种在物理系统上实现计算密集型训练过程的方法，能够高效并行执行大多数机器学习操作。
更多详细实验设置、数据集准备过程，欢迎查阅原文。
人工智能发展的10个里程碑，人类的堡垒一步步陷落
15年起，人工智能就成为每个业内人士必须要做的事情，不做人工智能就是等死，而其实，人工智能的发展已经经历了近60年，才逐渐成为主流。 但是将人工智能的发展历史浓缩到十个瞬间并不是一件容易的事。 这世界上有数以百计的研究实验室和数以千计的计算机科学家，正是他们一点点推动人工智能向前发展，小万同学梳理了十个人工智能发展的关键瞬间，来看看人工智能到底是什么。 是我们为你精心奉上的AI发展极简史，希望你可以在阅读过后，对于AI究竟是怎样引发现今热潮有一个更加深刻的认识。 1943年，Warren McCullon和Walter Pitts的论文《A Logical Calculus of the Ideas Immanent in Nervous Activity》，成为神经网络的起点，这篇论文不亚于google创始人写的PageRank，而后者为谷歌提供了理论支持。 神经网络在“人脑“的启发下被设计出来的工具，驱动了现今绝大部分最为先进的AI技术。 1955年8月31日是AI的官方起始时间。 因为这一天，研究者John McCarthy, Marvin Minsky, Nathaniel Rochester, and Claude Shannon提交了一份关于“两个月，十个人共同研究人工智能（AI）”的研究计划。 第二年，和人工智能相关的学术会议正式在达特茅斯大学举行。 虽然他们对自己研究项目的预估太过乐观，在研究计划中他们写到：“我们认为，如果细心地选择一群有能力的科学家一起工作一个暑假，就可以达成划时代的学术突破。 ”，但是，时代的大幕已经拉开。 反向传播算法是机器学习理论历史上最为重要的一个算法，它在1969年被人提出，可是要等到20世纪80年代中期他才成为了机器学习理论的主流。 反向传播算法的发展刚开始极为缓慢，而现在，已经成为主流了。 反向传播算法允许一个神经网络在其实际输出和其期待的不一致时，能够主动进行自我调节。 这意味着人们可以通过在每次神经网络犯错误时都及时对其改正来对他们进行训练。 之后，反向传播算法就可以修改神经网络的拼接，从而保证它能够在下一次遇到同样问题是不会犯同样的错误。 17年，最火的互联网产品就是智能语音助手了，从siri，到Alexa，到googleassistant，国内BAT也全部投入重金在这一产品，因为它可能代表着下一个时代的交互方式，也许成为下一个流量入口。 而这一切的一切还要追溯到1960年代，MIT人工智能实验室发明了一款名为Eliza的机器心理治疗师，实现使用者通过文字进行比较智能的交流。 Eliza的发明者注意到，当人们开始使用这款人工智能应用来进行心理治疗时，他们甚至比平时更愿意进行深入的交流。 奇点来临绝对是人工智能历史上最大的头条，这意味着机器已经比人聪明，科技发展将瞬间爆炸。 奇点的提出，是1993年，计算机科学家兼知名作者Vernor Vinge发表了一篇引爆相关讨论的文章。 《即将到来的科技奇点》中，Vinge预测未来的三十年内，人们将会有能力制造超乎人类的智能。 “在不久之后，人类的时代将会终结，”他写道。 而这一警告也被后来例如Elon Musk这样的企业家不断重复着。 和智能语音助手一样火的产品是无人驾驶汽车，而网络的Apollo平台也宣称20年左右，无人驾驶汽车将会商用。 然后，无人驾驶汽车，不是google最先提出。 1986年，由德国Bundeswehr University的研究者们合力研发的,装载着智能传感器和摄像机的奔驰厢式货车成功地在一条无人的街道上行驶着。 几年后,卡耐基梅隆的研究者，Dean Pomerleau成功制造了一辆自动的庞蒂克迷你货车，成功地从匹茨堡行驶到圣地亚哥，两地相隔了2797英里的距离。 一个行业从此开始了轰轰烈烈的故事 1997年注定是改写AI历史的一年。 这一年，IBM的深蓝超级计算机赢过了国际象棋冠军Garry Kasparov。 这场胜利虽然仍然无法向研究者表明AI可以在没有明确规则的领域解决问题获得胜利，但已经是整个人工智能领域非常大的飞跃。 1997年战胜棋王后，IBM的人工智能在2011年挑战一个名叫《Jeopardy！》（危险边缘）的美国智力竞赛节目。 IBM的Watson AI实验室将这一档节目之前的赢家Brad Rutter和Ken Jennings请了回来和AI一战高下。 最后，毫无意外。 2012年的6月，谷歌的研究人员Jeff Dean和Andrew Ng将他们从Youtube视频上截取下来的一千万张没有标签的图片输入了一个由一万六千台计算机处理器组成的巨型神经网络中。 而这一次，是机器自动的发现了“猫”，人工智能的理解，已经不需要人来教了。 出乎意料的，AI，和人类一样，都很喜欢小猫的视频。 2016年3月，谷歌的AlphaGo打败了围棋世界冠军李世石。 一共有6千万人参与围观，不知道他们是期待人类能保有最后的荣光，还是目送人工智能登上智力的王座。 这场比赛有着划时代的意义，是因为围棋选择落子的可能性超过了这世界原子的数量，同时，也是人工智能自主发展处的战术和战略，让人类叹为观止。
手机雷达芯片研制成功对于人工智能的发展有什么意义？
2010 年以来， 由于大数据产业的发展， 数据量呈现爆炸性增长态势，而传统的计算架构又无法支撑深度学习的大规模并行计算需求， 于是研究界对AI芯片进行了新一轮的技术研发与应用研究。 AI 芯片是人工智能时代的技术核心之一，决定了平台的基础架构和发展生态。 本期我们推荐清华大学的报告《 人工智能芯片研究报告》，全面讲解人工智能芯片，系统梳理人工智能芯片的发展现状及趋势。
AI芯片基本知识及现状
从广义上讲只要能够运行人工智能算法的芯片都叫作 AI 芯片。 但是通常意义上的 AI 芯片指的是针对人工智能算法做了特殊加速设计的芯片， 现阶段， 这些人工智能算法一般以深度学习算法为主，也可以包括其它机器学习算法。 人工智能与深度学习的关系如图所示。
▲人工智能与深度学习
深度学习算法，通常是基于接收到的连续数值， 通过学习处理， 并输出连续数值的过程，实质上并不能完全模仿生物大脑的运作机制。 基于这一现实， 研究界还提出了SNN（Spiking Neural Network，脉冲神经网络） 模型。 作为第三代神经网络模型， SNN 更贴近生物神经网络——除了神经元和突触模型更贴近生物神经元与突触之外， SNN 还将时域信息引入了计算模型。 目前基于 SNN 的 AI 芯片主要以 IBM 的 TrueNorth、Intel的 Loihi 以及国内的清华大学天机芯为代表。
1、AI 芯片发展历程
从图灵的论文《计算机器与智能》 和图灵测试， 到最初级的神经元模拟单元——感知机， 再到现在多达上百层的深度神经网络，人类对人工智能的探索从来就没有停止过。 上世纪八十年代，多层神经网络和反向传播算法的出现给人工智能行业点燃了新的火花。 反向传播的主要创新在于能将信息输出和目标输出之间的误差通过多层网络往前一级迭代反馈，将最终的输出收敛到某一个目标范围之内。 1989 年贝尔实验室成功利用反向传播算法，在多层神经网络开发了一个手写邮编识别器。 1998 年 Yann LeCun 和 Yoshua Bengio 发表了手写识别神经网络和反向传播优化相关的论文《Gradient-based learning applied to documentrecognition》，开创了卷积神经网络的时代。
此后， 人工智能陷入了长时间的发展沉寂阶段，直到 1997年 IBM的深蓝战胜国际象棋大师和 2011年 IBM的沃森智能系统在 Jeopardy节目中胜出，人工智能才又一次为人们所关注。 2016 年 Alpha Go 击败韩国围棋九段职业选手，则标志着人工智能的又一波高潮。 从基础算法、 底层硬件、 工具框架到实际应用场景， 现阶段的人工智能领域已经全面开花。
作为人工智能核心的底层硬件 AI 芯片，也同样经历了多次的起伏和波折，总体看来，AI 芯片的发展前后经历了四次大的变化，其发展历程如图所示。
人工智能未来的发展前景怎么样呢？
1、市场规模：中国人工智能行业呈现高速增长态势
人工智能产业是智能产业发展的核心，是其他智能科技产品发展的基础，近年来，中国人工智能产业在政策与技术双重驱动下呈现高速增长态势。 根据中国信通院数研中心测算，2020年中国人工智能产业规模为3031亿元人民币，同比增长15.1%。 中国人工智能产业规模增速超过全球。
注：中国信通院的市场规模根据IDC数据测算，统计口径与IDC一致，即包括软件、硬件与服务市场。
2、竞争格局：中国人工智能企业主要分布在应用层 占比超过80%
——中国人工智能企业全产业链布局完善
我国作为全球人工智能领域发展较好的地区，无论是人工智能领域的基础层、技术层、应用层，还是人工智能的硬件产品、软件产品及服务，我国企业都有涉及。 在国内，除去讯飞等垂直类企业，真正在人工智能有所长进的巨头依然是网络、阿里、腾讯这三家。
——中国人工智能企业主要分布在应用层，占比超过80%
据中国新一代人工智能发展战略研究院2021年5月发布的《中国新一代人工智能科技产业发展报告(2021)》数据，截至2020年底，中国人工智能企业布局侧重在应用层和技术层。 其中，应用层人工智能企业数占比最高，达到84.05%;其次是技术层企业数，占比为13.65%;基础层企业数占比最低，为2.30%。 应用层企业占比高说明中国的人工智能科技产业发展主要以应用需求为牵引。
3、技术分布：中国人工智能企业核心布局的技术主要为大数据和云计算
从人工智能企业核心技术分布看，大数据和云计算占比最高，达到41.13%;其次是硬件、机器学习和推荐、服务机器人，占比分别为7.64%、6.81%、5.64%;紧随其后，物联网、工业机器人、语音识别和自然语言处理、图形图像识别技术的占比依次为5.55%、5.47%、4.76%、4.72%。
4、细分领域：深度神经网络领域为中国AI研究热门
根据清华大学人工智能研究院、与中国工程院知识智能联合研究中心联合发布的《人工智能发展报告2011-2020》，2011-2020年十大AI研究热点分别为深度神经网络、特征抽取、图像分类、目标检测、语义分割、表示学习、生成对抗网络、语义网络、协同过滤和机器翻译。
—— 更多行业相关数据请参考前瞻产业研究院《中国人工智能行业市场前瞻与投资战略规划分析报告》
