Rethinking the Reliability of Multi-agent System: A Perspective from Byzantine Fault Tolerance
Lifan Zheng, Jiawei Chen, Qinghong Yin, Jingyuan Zhang, Xinyi Zeng, Yu Tian
确保代理架构的可靠性,并在发生故障时有效识别有问题的代理是多代理系统(MAS)中的关键挑战。 大型语言模型(LLM)的进步已经建立了基于LLM的代理作为MAS的主要分支,在复杂的问题解决和世界建模方面实现了重大突破。 然而,这种转变的可靠性影响在很大程度上仍未得到探索,即用基于LLM的代理取代传统剂是否可以有效地提高MAS的可靠性。 在这项工作中,我们从拜占庭容错的角度调查和量化基于LLM的代理的可靠性。 我们观察到,基于LLM的代理在处理错误的消息流时表现出更强的怀疑态度,这种特性使他们能够在不同的拓扑结构中超越传统代理。 在试点实验结果的激励下,我们设计了CP-WBFT,这是一种基于置信探针的加权拜占庭断层耐受性共识机制,以增强具有不同拓扑结构的MAS的稳定性。 它利用LLM的内在反射和辨别能力,采用基于探针的加权信息流传输方法,以提高基于LLM的代理的可靠性。 广泛的实验表明,CP-WBFT在极端拜占庭条件下(故障率为85.7%)在不同的网络拓扑中实现了卓越的性能。 值得注意的是,我们的方法超越了传统方法,在各种拓扑上获得了显着的准确性,并在数学推理和安全评估任务中保持了强大的可靠性。
Ensuring the reliability of agent architectures and effectively identifying problematic agents when failures occur are crucial challenges in multi-agent systems (MAS). Advances in large language models (LLMs) have established LLM-based agents as a major branch of MAS, enabling major breakthroughs in complex problem solving and world modeling. However, the reliability implications of this shift remain largely unexplored. i.e., whether substituting traditional agents with LLM-based agents can effe...
