栏目介绍： “论文快讯”栏目旨在精简地分享一周内发表在高水平期刊上的Metasurface领域研究成果，帮助读者及时了解领域前沿动态，如果对专栏的写法或内容有什么建议欢迎留言，后续会陆续开启其他专栏，敬请期待。

• 标题: Spectral Convolutional Neural Network Chip for In-Sensor Edge Computing of Incoherent Natural Light

  作者:
  通讯作者:崔开宇(清华大学电子工程系)；
  Shijie Rao (清华大学电子工程系)；
  Sheng Xu (清华大学电子工程系)；
  通讯作者:黄翊东院士 (清华大学电子工程系)；
  Xusheng Cai (北京希创科技有限公司)；
  Zhilei Huang (北京希创科技有限公司)；
  Yu Wang (北京希创科技有限公司)；
  Xue Feng (清华大学电子工程系)；
  Fang Liu (清华大学电子工程系)；
  Wei Zhang (清华大学电子工程系)；
  Yali Li (清华大学电子工程系)；
  Shengjin Wang (清华大学电子工程系)。

  发表时间: 2025年1月2日（其中2024年7月17日投稿，2024年12月17日接收）。

  发表期刊: Nature Communications（JCR-Q1，IF=14.7）

论文快览：

解决的问题：
随着边缘计算和光学传感技术的发展，传统信号处理架构在自然光中的高效光谱感知和计算方面面临局限，尤其难以在低功耗和实时场景下实现光谱卷积操作。现有方法无法有效整合传感和计算，难以满足复杂场景需求。

提出的方法：
作者设计了一种基于超表面的光谱卷积神经网络（Spectral Convolutional Neural Network, SCNN）芯片，将光谱滤波和卷积操作集成在传感器内，借助超表面的高效光谱调控能力。超表面作为芯片中的核心组件，用于生成精确的光谱卷积核，实现对自然光下光谱信息的实时感知和边缘计算。具体来说，超表面通过其独特的亚波长结构控制光的分布和传播方向，支持卷积计算所需的复杂光谱滤波操作，同时减少了外部光学器件和能量消耗。

实现的效果：
实验结果显示，该SCNN芯片在自然光条件下实现了毫秒级边缘检测，功耗仅为传统方法的1/50，能效提高了20倍。在多种复杂光照条件下，该芯片达到了97.8%的分类准确率，展现出卓越的实时性和鲁棒性。此外，超表面增强的光谱滤波功能显著提升了卷积计算的精度和效率。

创新性分析：
本研究的创新点主要在硬件设计创新和算法创新。硬件方面，开发了基于光谱滤波和卷积运算的集成式芯片架构，将光谱感知和计算功能直接嵌入传感器中；算法方面，提出了光谱卷积核设计方案，有效提升了光谱数据处理的精度和效率。该方法突破了传统光学传感与计算分离的限制，为边缘计算和实时光学处理提供了全新的技术路径，具有广泛的应用潜力。

论文重要图文：

• **摘要：**光学神经网络被认为是下一代人工神经网络的物理实现形式，但其能力受到片上集成规模和对相干光源需求的限制。本研究提出了一种基于物质超表面的光谱卷积神经网络（SCNN）。通过在CMOS图像传感器上集成大规模、像素对齐的光谱滤波器，实现了光学卷积层。该设计能够对入射的非相干自然光（即直接的信息载体）执行高度并行的光谱向量内积运算，从而赋能传感器内的光学模拟计算，具备极高的能量效率。据我们所知，这是首次利用自然光实现集成光学计算。我们使用同一块SCNN芯片成功完成了完全不同的复杂实际任务，包括病理诊断（准确率超过96%）和视频速率的人脸反欺诈检测（准确率接近100%）。这些结果表明，该芯片是一种可扩展的、适用于多种便携终端的自然光边缘计算解决方案。

• 结论：

  我们提出了一种集成SCNN框架，实现了非相干自然光的传感器内边缘计算。该框架能够实时检测具有空间和光谱特征的自然3D数据立方体，并执行光学模拟计算。通过结合光学卷积层（OCL）和可调光学网络层（ENLs），SCNN在具有有限计算能力的边缘设备上实现了高性能计算，使边缘设备具备混合多媒体交互（MMI）功能。在实际应用中，借助ENLs的高度通用性，特定的SCNN芯片可以轻松适配于多种高级视觉任务。OCL的设计目标是针对边缘设备中的光谱感知和计算进行推理，而非原位训练。对于某一特定应用，权重可以固定。若需在高性能下完成全新任务，则需要重新设计并制造芯片。

  针对不可调谐光学结构编码权重的光学神经网络，可以采用类似于文献21、22、24、29的策略，通过电子计算设计网络并为终端设备的边缘计算制造光学计算层。该芯片专为特定边缘计算任务定制。OCL的计算速度和功耗仅取决于曝光时间和CMOS图像传感器（CIS）的功率，从而实现了高能效的超高速光学计算。为实现高光谱成像和感知，可以采用传统高光谱相机扫描高光谱图像并在GPU上处理。然而，此类系统无法集成到边缘设备中，因为GPU体积大、能耗高且成本高，不符合边缘设备的需求。此外，传统高光谱相机体积庞大、价格昂贵且无法实现实时成像。

  我们的OCL通过传感器内计算减少了96%的数据吞吐量。其计算速度仅取决于CIS的成像速度。CIS捕捉速度越快，OCL计算速度越快。因此，OCL始终能够满足实际任务的计算需求。此外，SCNN使得边缘设备仅需添加少量数字神经网络层即可处理高光谱图像，从而实现多种实际复杂视觉任务的传感和计算能力。

  与现有片上工作相比（如图1和表1所示），我们的SCNN能够处理具有高空间分辨率/像素的自然高光谱图像。它不依赖于相干光源、光纤耦合或波导延迟。尽管CIS相比常用的高速光电探测器速度较慢，但其高集成度和空间分割复用优势使得我们在计算速度和密度上仍具显著竞争力。如果用高速光电探测器阵列替代CIS，计算速度仍有很大的提升潜力。关于计算速度的详细分析见补充说明2。

  实际上，CIS作为高度集成的光电设备，能够以极低成本实现数亿像素。SCNN通过CIS利用每个像素执行光学计算的策略实现了高计算密度，同时减少了光电转换次数。基于上述SCNN架构的优势，我们已在12英寸晶圆上实现了基于颜料的SCNN的批量生产。因此，所提出的SCNN为具有MMI功能的复杂视觉任务开辟了一个新的实际传感器内计算平台。

• 重要图片：

• 重要图片：

图1 | 提出的光谱卷积神经网络（SCNN）原理图
a 现有的光学神经网络（ONNs）基于相干光源进行计算，无法实现宽带光场感知和传感器内计算。
b 在我们的设计中，通过在CMOS图像传感器（CIS）上集成大规模光谱滤波器实现了SCNN。我们的SCNN能够接收非相干自然光并直接执行模拟二维卷积计算。
c 基于超表面的光学卷积层（OCL）将像素对齐的超表面单元集成到CIS上。
d 基于颜料的OCL通过光刻在12英寸晶圆上制造完成。
e OCL的工作原理。一块OCL包含一个H × W的相同OCU阵列，每个OCU具有K个卷积核，计算结果尺寸为H × W × K。xN：输入光谱信号；wKN：光谱滤波器的传输响应；IKN：CIS像素的光电流。

图2 | 基于超表面的光谱卷积神经网络（SCNN）芯片在与人脸识别相关的多种视觉任务中的应用
a 梯度优化的超表面拓扑优化（GMTO）算法通过找到设计损失函数的最小值实现。
b 光学卷积层（OCL）的光谱特征提取结果通过主成分分析（PCA）可视化。活体皮肤与三种欺诈材料被区分开。
c OCL具有9个1 × 1的卷积核。通过更改电网络层（ENLs），同一块SCNN芯片可以完成防欺诈人脸识别、人脸检测和人脸识别任务。
d 我们的SCNN芯片能够结合光谱特征和空间特征，执行可靠的防欺诈人脸识别。
e 像素级和图像级活体检测结果的混淆矩阵。

图3 | 基于超表面的SCNN在甲状腺组织切片诊断中的实验结果
a 我们利用SCNN通过显微镜感知甲状腺组织切片的原始数据立方体。数据经过光学卷积层（OCL）和电网络层（ENLs）处理后，通过图像级预测自动确定甲状腺疾病。进一步处理后，通过像素级预测用不同颜色标记潜在的病理区域。
b 无OCL时，基于相同单色传感器的分类准确性在图像级和像素级预测中显著降低。
c OCL的光谱特征通过主成分分析（PCA）可视化。正常组织和病理组织被区分开。
d SCNN芯片在测试集上的图像级甲状腺病理分类结果的混淆矩阵，芯片准确率为96.4%。
e 像素级结果的混淆矩阵，芯片准确率为82.0%。

图4 | 基于颜料的光谱卷积神经网络（SCNN）芯片通过光谱滤波器实现大规模生产，制造于12英寸晶圆上
a 通过光刻制造的12英寸晶圆上的SCNN芯片。
b 配备SCNN芯片的小型相机。它能够实现传感器内边缘计算和光谱感知。SCNN芯片的尺寸仅约为3 × 3.5 mm²，整个相机的尺寸约为6.5 × 7 mm²。
c 制造完成的SCNN芯片的显微镜图像，芯片具有9个1 × 1的卷积核，步幅为1 × 1。一个超像素包含9个图像传感器像素。
d SCNN芯片的聚焦离子束扫描电子显微镜（FIB-SEM）图像。一个图像传感器像素覆盖有基于颜料的光谱滤波器和微透镜。制造过程完全符合标准半导体光刻工艺。
e 我们将甲状腺病理切片直接放置在透镜上方，无需显微镜。
f 切片及其对应的由光学卷积层（OCL）输出的特征图。
g 基于颜料的SCNN的人脸防欺诈检测结果。ENL：电卷积层。

参考文献：

Cui, K., Rao, S., Xu, S. et al. Spectral convolutional neural network chip for in-sensor edge computing of incoherent natural light. Nat Commun 16, 81 (2025).
**DOI:**https://doi.org/10.1038/s41467-024-55558-3

免责声明：
本公众号专注于超表面领域的最新研究动态、学术成果和技术应用分享。所有发布的内容和图片，均已标明来源，且仅供个人学术学习和知识积累使用，不得用于商业目的。如您发现任何版权或相关问题，欢迎通过邮箱 metasurface@126.com 联系我们，我们将尽快处理并协调相关事宜。