ReLaX-Net: Reusing Layers for Parameter-Efficient Physical Neural Networks
Kohei Tsuchiyama, Andre Roehm, Takatomo Mihana, Ryoichi Horisaki
物理神经网络(PNN)是下一代计算系统的一个有前途的平台。 然而,数字神经网络性能的最新进展主要是由于可训练参数数量的快速增长,到目前为止,PNN在规模方面落后了几个数量级。 这反映了早期数字神经网络中的大小和性能限制。 在那段时间里,参数的高效重用有助于开发参数效率高的架构,如卷积神经网络。 在这项工作中,我们通过数字调查PNN的硬件友好型重量。 至关重要的是,使用许多PNN系统,前传的快速动态活动元素与实现权重和偏差的唯一缓慢可训练的元素之间存在时间尺度分离。 考虑到这一点,我们提出了用于eXpanding神经网络(ReLaX-Net)架构的层重用,它采用简单的逐层时间复用方案,以增加有效的网络深度并有效地使用参数数量。 我们只需要为现有的PNN添加快速开关。 我们通过图像分类和自然语言处理任务的数值实验来验证ReLaX-Nets。 我们的结果表明,ReLaX-Net仅对传统PNN进行少量修改即可提高计算性能。 我们观察到有利的缩放,其中ReLaX-Nets超过具有相同数量参数的等效传统RNN或DNN的性能。
Physical Neural Networks (PNN) are promising platforms for next-generation computing systems. However, recent advances in digital neural network performance are largely driven by the rapid growth in the number of trainable parameters and, so far, demonstrated PNNs are lagging behind by several orders of magnitude in terms of scale. This mirrors size and performance constraints found in early digital neural networks. In that period, efficient reuse of parameters contributed to the development of ...
