Training nonlinear optical neural networks with Scattering Backpropagation
Nicola Dal Cin, Florian Marquardt, Clara C. Wanjura
随着深度学习应用继续部署越来越大的人工神经网络,相关的高能量需求正在创造对替代神经形态方法的需求。 光学和光子学是特别引人注目的平台,因为它们提供高速和能源效率。 基于非线性光学的神经形态系统能够以最少的参数提供高表达率。 然而,到目前为止,还没有一种高效和通用的基于物理的训练方法,使我们能够为最通用的非线性光学系统提取梯度。 在这项工作中,我们介绍了散射反向传播,这是一种用于实验测量非线性光学神经网络近似梯度的有效方法。 值得注意的是,我们的方法不需要物理非线性的数学模型,并且只涉及两个散射实验来提取所有梯度近似值。 估计精度取决于偏离互惠。 我们成功地将我们的方法应用于著名的基准,如XOR和MNIST。 散射反向传播广泛适用于现有的最先进的可扩展平台,如光学、微波,也扩展到其他物理平台,如电路。
As deep learning applications continue to deploy increasingly large artificial neural networks, the associated high energy demands are creating a need for alternative neuromorphic approaches. Optics and photonics are particularly compelling platforms as they offer high speeds and energy efficiency. Neuromorphic systems based on nonlinear optics promise high expressivity with a minimal number of parameters. However, so far, there is no efficient and generic physics-based training method allowing ...