Coordination Requires Simplification: Thermodynamic Bounds on Multi-Objective Compromise in Natural and Artificial Intelligence
Atma Anand
跨多个代理和目标协调的信息处理系统面临基本的热力学约束。 我们表明,作为协调焦点具有最大效用的解决方案具有更高的选择压力,可以在代理之间找到,而不是准确性。 我们得出,对于具有 d 潜在冲突目标和内部模型复杂性 K 的 N 代理,将协调协议的信息理论最小描述长度为 L(P)≥ NKlog_2 K+N^2d^2log (1/ε)。 这种扩展迫使逐步简化,协调动态改变了环境本身,并在分层级别上转移优化。 从既定的焦点移动需要重新协调,产生持续的转移状态和滞后,直到重大的环境变化通过自发的对称性断裂触发阶段过渡。 我们操作定义协调温度以预测关键现象并估计协调工作成本,从神经网络到餐厅账单到官僚机构,识别跨系统的可测量签名。 扩展了Arrow定理的拓扑版本,即不可能一致的偏好聚合,我们发现每当偏好组合时,它都会递归地绑定。 这有可能解释在多目标梯度下降和对齐伪造的大型语言模型中的无限期循环,这些模型通过强化学习与人类反馈进行强化学习。 我们称这个框架为热力学协调理论(TCT),它表明协调需要激进的信息丢失。
Information-processing systems that coordinate multiple agents and objectives face fundamental thermodynamic constraints. We show that solutions with maximum utility to act as coordination focal points have a much higher selection pressure for being findable across agents rather than accuracy. We derive that the information-theoretic minimum description length of coordination protocols to precision ε scales as L(P)≥ NKlog_2 K+N^2d^2log (1/ε) for N agents with d potentially conflicting objectives...
