光学神经网络（Optical Neural Networks，ONNs）以其独特的优势，如超高速处理、并行计算能力以及低能耗等，正逐渐成为学术界与产业界瞩目的焦点。然而，传统基于数字计算机模拟的训练方法，受限于计算资源与速度瓶颈，难以充分发挥光学神经网络的潜力。 

清华大学的研究团队在这一领域取得了重大突破，其最新成果更是登上了国际顶尖学术期刊《Nature》。他们创新性地提出了一种全前向模式（Fully Forward Mode，FFM）的训练方法，这一方法彻底颠覆了传统的训练思路。

在物理光学系统中直接执行训练过程，不仅巧妙地绕开了无法应用反向传播算法这一棘手问题，更从根本上克服了以往依赖数字计算机模拟所带来的种种限制。

 我整理了一些值得学习的最新成果分享，论文以及开源代码也列上了，方便同学们复现。

我给大家准备了10种创新思路和源码，一起来看有需要的搜索人人人人人人人工重号（AI科技探寻）免费领取

论文1

标题：

Delocalized photonic deep learning on the internet’s edge

互联网边缘的分布式光子深度学习

方法：

• Netcast架构：提出了一种基于分布式模拟处理的机器学习推理方法，通过云服务器将深度神经网络（DNN）权重数据以模拟格式流式传输到边缘设备，利用光子学实现高效的矩阵向量乘法（GEMV）操作，消除了本地权重存储访问的需求。

• 光子权重编码：使用智能收发器将DNN权重编码到不同光波长的强度上，通过波分复用（WDM）技术将多个波长的权重数据合并后传输到边缘设备。

• 边缘设备处理：边缘设备通过单个宽带光调制器将输入激活数据调制到权重波长上，利用时间积分接收器完成矩阵向量乘法的计算。

• 实验验证：通过构建智能收发器和边缘客户端，实现了在86公里光纤链路上的图像识别任务，展示了该架构在低功耗边缘设备上的高效光子推理能力。

创新点：

• 超高效光子推理：实现了在极低光学能量（40阿焦耳/次乘法，<1光子/次乘法）下进行图像识别，分类准确率达到98.8%（93%）。

• 大规模部署验证：在波士顿地区的实地试验中，通过86公里的部署光纤和3太赫兹的光学带宽，成功复现了性能，展现了该架构在实际部署中的可行性。

• 计算能力提升：使低功耗（毫瓦级）、内存有限的边缘设备能够以每秒万亿次浮点运算（teraFLOPS）的速率进行计算，与需要>100瓦功率的高性能云计算计算机相当。

• 低能耗与高灵敏度：通过时间积分接收器和优化的光子架构，实现了约10飞焦耳/次乘法的低能耗，接近现有数字CMOS技术的三个数量级以下，并且在光子匮乏的环境中表现出接近单光子每MAC的灵敏度。

论文2

标题：

Experimentally realized in situ backpropagation for deep learning in photonic neural networks

实验实现光子神经网络中的原位反向传播用于深度学习

方法：

• 光子神经网络（PNN）构建：构建了一个基于硅光子三角形网格的混合PNN，交替使用可编程的光学线性操作（如马赫-曾德尔干涉仪网格）和数字非线性激活函数。

• 原位反向传播：通过在光子芯片上实现反向传播算法，利用光的干涉测量前向和反向传播光信号，从而获得可训练参数的梯度。

• 模拟与实验结合：通过数字模拟验证了光子神经网络在MNIST手写数字识别任务上的性能，并在实验中实现了三层层、四端口的硅光子神经网络的训练。

• 模拟64端口网络：对64端口光子神经网络进行了模拟，展示了在大规模网络上应用原位反向传播的潜力。

创新点：

• 实验验证反向传播：首次在实验中实现了光子神经网络的原位反向传播，证明了在光子硬件上进行高效训练的可行性。

• 模拟与实验一致性：实验结果与数字模拟结果高度一致（>94%的测试准确率），表明光子神经网络在实际应用中的潜力。

• 能量效率提升：通过分析能量和延迟，展示了光子神经网络在大规模训练任务中的能量效率优势，为可扩展的机器学习提供了新的途径。

• 全光学训练：提出了一种全光学的相位更新协议，避免了数字减法所需的高能耗，进一步提高了训练过程的能量效率。

论文3

标题：

FatNet: High Resolution Kernels for Classification Using Fully Convolutional Optical Neural Networks

FatNet：使用全卷积光子神经网络的高分辨率核进行分类

方法：

• FatNet架构设计：提出了一种新的全卷积光子神经网络架构FatNet，通过减少通道数量并增加输入和核的分辨率，充分利用4f自由空间系统的高分辨率能力。

• 4f自由空间系统：利用4f自由空间光学系统进行卷积操作，通过光学方法实现快速傅里叶变换，从而加速卷积神经网络的推理速度。

• 光学模拟器开发：开发了一个基于PyTorch的光学模拟器OptConv2d，模拟4f系统的光传播和卷积操作，用于验证FatNet的性能。

• 实验验证：在CIFAR-100数据集上训练FatNet，并与ResNet-18进行比较，展示了FatNet在减少卷积操作次数的同时保持较高准确率的优势。

创新点：

• 高分辨率核利用：FatNet通过使用高分辨率核和特征图，充分利用了4f系统的并行性和高分辨率优势，减少了光学与电子之间的转换次数。

• 卷积操作减少：与ResNet-18相比，FatNet在保持较高准确率（仅降低6%）的情况下，卷积操作次数减少了8.2倍。

• 光学加速潜力：FatNet在光学系统中的推理速度比传统网络更快，尤其是在利用4f系统的高分辨率和并行性时，展示了光学加速在深度学习中的潜力。

• 全卷积网络：FatNet是一个全卷积网络，消除了传统网络中卷积特征提取和密集分类层的分离，更适合光学系统的加速

论文4

标题：

Fully forward mode training for optical neural networks

光子神经网络的全前向模式训练

方法：

• 全前向模式（FFM）学习：提出了一种全前向模式学习方法，将机器学习的计算密集型训练过程直接在物理系统上实现，避免了数字计算机上的离线建模。

• 光学系统映射：将自由空间和集成光子系统映射为可微分的嵌入式光子神经网络，通过测量输出光场和误差传播来计算梯度，并使用梯度下降算法更新参数。

• 实验验证：在自由空间和集成光子系统中进行了实验验证，展示了FFM学习在深度光子神经网络、高分辨率散射成像、非视距成像和非厄米系统中的应用。

• 非线性FFM学习：提出了非线性FFM学习方法，适用于可测量的一般非线性函数，进一步扩展了FFM学习的应用范围。

创新点

• 模型无关训练：FFM学习无需精确的物理模型即可实现光子神经网络的训练，避免了离线建模的复杂性和不精确性。

• 深度网络训练：成功实现了具有数百万参数的深度光子神经网络的训练，实验准确率与理想模型相当

• 高分辨率成像：在散射介质中实现了接近衍射极限的聚焦成像，显著提高了成像分辨率。

• 非视距成像：实现了动态非视距场景的并行成像和全光处理，能够在毫秒级时间内处理隐藏在视线之外的物体。

• 高能效处理：在弱光条件下（亚光子每像素）实现了每秒5.40×10^18次操作的高能效处理，展示了光子计算在能效方面的巨大优势。