Procedural Knowledge Improves Agentic LLM Workflows
Vincent Hsiao, Mark Roberts, Leslie Smith
大型语言模型(LLM)在执行代理任务时经常遇到困难,没有实质性的工具支持,prom-pt工程或微调。 尽管研究表明,依赖于领域,程序知识可以大大提高规划效率,但很少有工作评估其提高可能需要隐式规划的代理任务的LLM性能的潜力。 我们正式化、实施和评估代理 LLM 工作流程,以分层任务网络 (HTN) 的形式利用程序知识。 我们实施的实证结果表明,手工编码的 HTN 可以在代理任务上显著提高 LLM 性能,使用 HTN 可以提高 20b 或 70b 参数 LLM ,以超越更大的 120b 参数 LLM 基线。 此外,LLM创建的HTN提高了整体性能,但效果较低。 结果表明,利用人类、文档或LLM的专业知识来策划程序知识将成为改进LLM工作流程的另一个重要工具。
Large language models (LLMs) often struggle when performing agentic tasks without substantial tool support, prom-pt engineering, or fine tuning. Despite research showing that domain-dependent, procedural knowledge can dramatically increase planning efficiency, little work evaluates its potential for improving LLM performance on agentic tasks that may require implicit planning. We formalize, implement, and evaluate an agentic LLM workflow that leverages procedural knowledge in the form of a hiera...
