Universality of physical neural networks with multivariate nonlinearity
Benjamin Savinson, David J. Norris, Siddhartha Mishra and Samuel Lanthaler
人工智能的巨大能源需求正在推动深度学习替代硬件的发展。 物理神经网络试图利用物理系统更有效地进行机器学习。 特别是,光学系统可以使用可忽略不计的能量用光计算。 虽然它们的计算能力长期受到光学材料的线性性的限制,但非线性计算最近通过修改的输入编码得到了证明。 尽管有这一突破,但我们无法确定物理神经网络是否可以学习数据之间的任意关系 - 这是深度学习的关键要求,称为普遍性 - 阻碍了进一步的进展。 在这里,我们提出了一个基本定理,为物理神经网络建立了普遍性条件。 它提供了一个强大的数学标准,规定了设备约束,详细说明了如何在物理系统的可调参数中编码输入。 基于这一结果,我们提出了一个使用自由空间光学的可扩展架构,该光学器件可证明具有普遍性,并在图像分类任务上实现了高精度。 此外,通过将定理与时间复用相结合,我们提出了一条在高度实用但可扩展性差的片上光子器件中潜在巨大有效系统尺寸的路线。 我们的定理和缩放方法适用于光学系统之外,并为设计一系列通用的节能物理神经网络提供信息,证明它们的发展需要进一步的努力。
The enormous energy demand of artificial intelligence is driving the development of alternative hardware for deep learning. Physical neural networks try to exploit physical systems to perform machine learning more efficiently. In particular, optical systems can calculate with light using negligible energy. While their computational capabilities were long limited by the linearity of optical materials, nonlinear computations have recently been demonstrated through modified input encoding. Despite ...
