Multi-step Predictive Coding Leads To Simplicity Bias
Aviv Ratzon and Omri Barak
预测编码是一个框架,用于理解反映环境潜在结构的低维内部表征的形成。 出现这种陈述的条件仍然不清楚。 在这项工作中,我们研究预测视界和网络深度如何塑造预测编码任务的解决方案。 使用受先前工作启发的最小抽象设置,我们在经验和理论上表明,经过多步预测视野训练的足够深的网络可以持续恢复潜在的潜在结构,这种现象通过普通最小二乘的估算器结构和学习动力学中的偏差来解释。 然后,我们将这些见解扩展到非线性网络和复杂的数据集,包括分段线性函数,MNIST,多个潜伏状态和更高维度状态几何。 我们的结果提供了对预测编码何时以及为什么诱导结构化表示的原理性理解,弥合了经验观察与理论基础之间的差距。
Predictive coding is a framework for understanding the formation of low-dimensional internal representations mirroring the environment's latent structure. The conditions under which such representations emerge remain unclear. In this work, we investigate how the prediction horizon and network depth shape the solutions of predictive coding tasks. Using a minimal abstract setting inspired by prior work, we show empirically and theoretically that sufficiently deep networks trained with multi-step p...
