点击蓝字 关注我们

研究背景
近年来,大量光计算架构已经被提出并在人工智能任务中得到验证,例如Mach-Zehnder干涉仪网络、用于波分复用处理的微环调制器阵列、以及基于相变材料的Crossbar等光子计算核架构。然而,由于光子计算核的计算规模通常较小,因此单个推理任务需要多次调用光子计算核,这导致频繁的光电转换和额外的能量消耗。此外,大多数用于深度学习的光子处理器由于缺乏足够的光域训练参数和在线训练能力,只能处理单一的数据模态。因此,可用于多模态深度学习的光学神经网络是一个非常有价值的研究课题。
研究亮点
针对多模态人工智能的需求,研究人员提出了训算一体的光计算新架构和“黑盒式”光域在线训练思想。基于上述基础,研究人员设计了可训练的衍射光学神经网络(TDONN)芯片,成功实现了三种不同模态(视觉、听觉和触觉)的四分类任务,突破了光计算的单一模态限制。图1a展示了用于多模态分类任务的光学神经网络模型,它由三部分组成:输入层、隐藏层和输出层。通过特征提取和特征融合,从视觉、听觉和触觉等不同模态的数据集中得到一个特征向量,作为光学神经网络的输入。在隐藏层中,神经元按多层布局排列,并在训练过程中调整各神经元之间的连接权重,以实现目标功能。在输出层中,每个输出端口的输出功率映射到各分类标签的概率。研究人员在硅基光电子平台上制作了相应的TDONN芯片用于概念验证,图1b展示了该芯片的结构。输入层由16个强度调制单元组成,用于加载输入数据,并通过片上调制将特征向量的元素值编码为光信号的强度。隐藏层由排列为五层的可调衍射单元组成,每层有16个可调衍射单元,这些衍射单元用于模拟隐藏层中的神经元。图2展示了“黑盒式”光域在线训练思想,将芯片内部视为黑盒子,根据目标功能定义代价函数,通过反馈算法调参迭代,完成网络的训练。与国际同行对比,该方法具有普适性、抗工艺误差和环境干扰的优势,而且不依赖耗时的数字计算机仿真。

图1. 训练计算一体的光计算新架构。a多模态分类的光学神经网络模型,b 概念验证芯片的结构



总结与展望
本研究提出了一种训算一体的光计算新架构,并通过一个多层衍射光学神经网络芯片演示了其在多模态推理中的应用。该芯片的训练和推理均在光域进行,具有高算力(217.6 TOPS)、高计算密度(447.7 TOPS/mm2)、高系统级能效(7.28 TOPS/W)、低光学延迟(30.2 ps)、可重构等优点,与单层光学神经网络相比,算力提升了一个数量级。该芯片成功实现了三种不同模态(视觉、听觉和触觉)的四分类任务,准确率与数字计算机相当。训练计算一体架构和“黑盒式”光域在线训练思想为多模态光学神经网络研究开辟了新的可能性,同时也为低功耗通用人工智能铺平了道路。
华中科技大学武汉光电国家研究中心的成骏伟博士为该论文的第一作者,董建绩教授为通讯作者。论文的合作作者还包括上海理工大学顾敏院士和张启明教授,香港中文大学黄超然助理教授,华中科技大学的张新亮教授和周海龙副教授等。该研究得到了国家重点研发计划和国家自然科学基金的支持。
文章链接:
https://www.nature.com/articles/s41467-024-50677-3
来源:两江科技评论
编辑:徐千棋
审核:陆梁军