42digest首页
AI开国元勋:多代理管道中GIS搜索的案例研究

AI Founding Fathers: A Case Study of GIS Search in Multi-Agent Pipelines

Alvin Chauhan

arXiv
2025年11月12日

虽然大型语言模型(LLM)表现出非凡的流畅性,但努力仍然难以从中提取更强的推理能力。 本文借鉴了基于搜索的LLM计算解释,为理解LLM推理和优化提出了系统框架。 也就是说,通过构建多代理管道来确保以渐进、渐进和顺序(GIS)的方式遍历搜索空间,最好实现增强推理。 简明扼要地说,高质量的推理是一种受控的增量搜索。 为了测试这个框架,我们研究了递归细化(RR)的有效性 - 一种自我批评,对抗性压力测试和整合关键反馈的迭代过程 - 作为实施GIS搜索的实用方法。 我们设计了一个实验,将一个简单、线性的管道与一个复杂的、明确结构化的管道进行比较,利用递归细化层。 多代理模型是为了反映三位美国开国元勋(汉密尔顿,杰斐逊和麦迪逊)使用RAG动力的军械库的历史人物,并被提示对三个当代政治问题做出反应。 使用双层方法对模型性能进行了评估:LLM仲裁者代理的定量评分和定性的人类判断。 我们的结果表明,复杂模型在所有9个测试用例中的表现一直优于简单模型,平均仲裁者输出得分为88.3对71.7。 复杂模型的论点在分析深度、结构细微差别和战略框架方面是优越的。 我们的结论是,递归改进是通过GIS搜索增强LLM推理的一个强大的架构功能。

Although Large Language Models (LLMs) show exceptional fluency, efforts persist to extract stronger reasoning capabilities from them. Drawing on search-based interpretations of LLM computation, this paper advances a systematic framework for understanding LLM reasoning and optimization. Namely, that enhancing reasoning is best achieved by structuring a multi-agent pipeline to ensure a traversal of the search space in a gradual, incremental, and sequential (GIS) manner. Stated succinctly, high-qua...