Symmetry and Generalisation in Neural Approximations of Renormalisation Transformations
Cassidy Ashworth, Pietro Liò, Francesco Caso
深度学习模型在使用多层表示来学习结构化数据的相关功能方面已证明非常成功。 将物理对称性编码到这些模型中可以提高困难任务的性能,最近的工作激发了参数对称断裂和恢复的原理,作为其分层学习动力学背后的统一机制。 我们评估参数对称和网络表达在神经网络的泛化行为中的作用,当学习实空间再规范化组(RG)变换时,使用中心极限定理(CLT)作为测试用例图。 我们考虑简单的多层感知器(MLP)和图形神经网络(GNN),并改变跨体系结构的重量对称和激活函数。 我们的研究结果揭示了对称约束和表现力之间的竞争,过于复杂或过度紧张的模型推广得很差。 我们通过将 CLT 重铸为累积递归关系并利用既定框架通过 MLP 传播累积量,分析性地演示了某些受限的 MLP 架构的这种不良泛化行为。 我们还在经验上验证了该框架从MLP到GNN的扩展,阐明了这些更复杂的模型执行的内部信息处理。 这些发现为对称网络的学习动态及其在模拟结构化物理变换方面的局限性提供了新的见解。
Deep learning models have proven enormously successful at using multiple layers of representation to learn relevant features of structured data. Encoding physical symmetries into these models can improve performance on difficult tasks, and recent work has motivated the principle of parameter symmetry breaking and restoration as a unifying mechanism underlying their hierarchical learning dynamics. We evaluate the role of parameter symmetry and network expressivity in the generalisation behaviour ...
