首页 > 生活 > 正文

研究团队开发可重构光子计算架构以实现终身学习

来源:生活2024-04-10 16:24:04
导读 在大规模数据集的推动下,人工智能(AI)任务变得越来越丰富和复杂。随着摩尔定律的平稳期和登纳德缩放的结束,能源消耗成为当今重型电子深度...

在大规模数据集的推动下,人工智能(AI)任务变得越来越丰富和复杂。随着摩尔定律的平稳期和登纳德缩放的结束,能源消耗成为当今重型电子深度神经模型更广泛应用的主要障碍,特别是在终端/边缘系统中。

该社区正在寻求下一代计算模式,以突破基于电子的人工神经网络(ANN)实现的物理限制。

光子计算一直是克服电子学固有局限性并将能源效率、处理速度和计算吞吐量提高几个数量级的有前途的途径。

这种非凡的特性已被用来构建特定于应用的光学架构,以解决基本的数学和信号处理问题,其性能远远超出现有电子处理器的性能。

不幸的是,现有的ONN遭受“灾难性遗忘”,仍然在处理简单的单一任务。主要原因是它们继承了传统计算系统的普遍问题,即训练新模型时容易干扰以前学到的知识,当接受新事物训练时,会很快忘记从以前学到的任务中获得的专业知识。

这种方法无法充分利用波动光学的稀疏性和并行性的内在特性进行光子计算,最终导致多任务学习的网络容量和可扩展性较差。

在最近发表在《光:科学与应用》杂志上的一篇论文中,由中国北京清华大学电子工程系西格玛实验室陆方教授领导的科学家团队及其同事开发了L2ONN,一种可重构的网络用于终身学习的光子计算架构。

光、空间稀疏和多光谱并行的独特特性首次在光子计算架构中得到发展,赋予ONNs终身学习能力。与现有试图模仿人工神经网络结构的ONN不同,L2ONN的光子终身学习最初是根据光与物质相互作用的物理性质来设计的,以充分探索波动光学在光子计算中的功能和性能潜力。

受益于所提出的终身学习光学计算架构,对自由空间和片上架构的实验评估表明,L2ONN在视觉分类、语音识别和医疗诊断等数十个具有挑战性的任务中表现出非凡的学习能力,支持各种新环境。

L2ONN的容量比现有光学神经网络大14倍,能源效率比代表性的电子人工神经网络高一个数量级。

“人类拥有增量吸收、学习和记忆知识的独特能力。特别是,神经元和突触仅在有任务需要处理时才执行工作,其中有两个重要机制参与:稀疏神经元连接和并行任务驱动的神经认知。有助于终生的记忆巩固和检索。

“因此,在ONN中,基于光学算子的内在稀疏性和并行性特性,这些特征可以自然地从生物神经元提升到光子神经元。

“模仿人脑结构和功能的光学架构展示了其缓解上述问题的潜力,这在构建可行的终身学习计算系统方面比电子方法更具优势。

“我们已经证明,光子终身学习为大规模现实生活人工智能应用提供了交钥匙解决方案,具有前所未有的可扩展性和多功能性。我们预计,所提出的神经形态架构将加速更强大的光子计算的开发,作为现代先进机器的关键支持智能并开启人工智能新时代,”科学家们表示。

关键词:
版权声明:本文版权归原作者所有,转载文章仅为传播更多信息之目的,如作者信息标记有误,请第一时间联系我们修改或删除,多谢。

最新文章