Assessing the Performance of Analog Training for Transfer Learning
Omobayode Fagbohungbe, Corey Lammie, Malte J. Rasch, Takashi Ando, Tayfun Gokmen, Vijay Narayanan
模拟内存计算是一种下一代计算范式,承诺快速,并行和节能的深度学习训练和迁移学习(TL)。 然而,由于缺乏合适的训练算法,实现这一承诺仍然难以实现。 模拟存储器设备除了设备到设备的变化外,还表现出不对称和非线性切换行为,这意味着大多数(如果不是全部)目前的现成训练算法无法取得良好的训练结果。 此外,最近推出的算法受到的关注有限,因为它们需要不切实际的高对称性和精度的双向切换设备,并且高度敏感。 引入了一种新的算法切碎TTv2(c-TTv2),该算法利用切碎技术解决上述许多挑战。 在本文中,我们使用CIFAR100数据集子集上的Swin-ViT模型评估模拟TL的c-TTv2算法的性能。 我们还研究我们算法在某些设备规格变化方面的稳健性,包括重量传递噪声、对称点偏斜和对称点可变性
Analog in-memory computing is a next-generation computing paradigm that promises fast, parallel, and energy-efficient deep learning training and transfer learning (TL). However, achieving this promise has remained elusive due to a lack of suitable training algorithms. Analog memory devices exhibit asymmetric and non-linear switching behavior in addition to device-to-device variation, meaning that most, if not all, of the current off-the-shelf training algorithms cannot achieve good training outc...