Toward a Physics of Deep Learning and Brains
Arsham Ghavasieh, Meritxell Vila-Minana, Akanksha Khurd, John Beggs, Gerardo Ortiz, Santo Fortunato
深度神经网络和大脑都具有学习能力，并表现出表面的相似性：处理节点类似于神经元，可调节权重类似于可修改的突触。但是否能找到统一的理论框架来支撑这两者？本文表明，用于描述活体大脑中神经元雪崩的方程同样适用于深度神经网络中的活动级联。这些方程源自非平衡统计物理学，表明深度神经网络在吸收相和活跃相之间的临界状态学习效果最佳。然而，由于这些网络受到输入的强烈驱动，它们并不在真正的临界点上运行，而是处于准临界状态——这种状态仍然近似满足爆裂噪声标度关系。通过训练具有不同初始化的网络，我们发现最大敏感性比接近临界点本身更能可靠地预测学习效果。这为改进网络性能的工程提供了蓝图。最后，利用有限尺寸标度，我们识别了不同的普适性类，包括巴克豪森噪声和定向渗流。这一理论框架表明，生物和人工神经网络共享着普遍特征。
Deep neural networks and brains both learn and share superficial similarities: processing nodes are likened to neurons and adjustable weights are likened to modifiable synapses. But can a unified theoretical framework be found to underlie them both? Here we show that the equations used to describe neuronal avalanches in living brains can also be applied to cascades of activity in deep neural networks. These equations are derived from non-equilibrium statistical physics and show that deep neural ...