SETOL: A Semi-Empirical Theory of (Deep) Learning
Charles H Martin and Christopher Hinrichs
我们提出了一个半经验学习理论(SETOL),解释了State-Of-The-Art(SOTA)神经网络(NNs)的显着表现。 我们正式解释了重尾自平化(HTSR)现象学理论中基本量的起源:重尾功率法层质量指标,阿尔法和阿尔法帽。 在之前的研究中,这些指标已被证明可以预测预训练的SOTA NN模型的测试精度的趋势,重要的是,无需访问测试或训练数据。 我们的SETOL使用来自统计力学的技术以及随机矩阵理论和量子化学的高级方法。 推导提出了理想的学习的新的数学先决条件,包括一个新的度量,ERG,它相当于应用威尔逊精确再规范化的小组的单个步骤。 我们在一个简单的3层多层感知器(MLP)上测试了SETOL的假设和预测,证明了与关键理论假设的良好一致性。 对于 SOTA NN 模型,我们展示了如何通过简单地计算层重量矩阵的经验光谱密度 (ESD) 并将这个 ESD 插入我们的 SETOL 公式来估计训练 NN 的单个层质量。 值得注意的是,我们研究了HTSR alpha和SETOL ERG层质量指标的性能,并发现它们在我们的MLP和SOTA NN上非常吻合。
We present a SemiEmpirical Theory of Learning (SETOL) that explains the remarkable performance of State-Of-The-Art (SOTA) Neural Networks (NNs). We provide a formal explanation of the origin of the fundamental quantities in the phenomenological theory of Heavy-Tailed Self-Regularization (HTSR): the heavy-tailed power-law layer quality metrics, alpha and alpha-hat. In prior work, these metrics have been shown to predict trends in the test accuracies of pretrained SOTA NN models, importantly, with...