42digest首页
使用许可 Oracle 语言模型中的 Steming 幻觉

Stemming Hallucination in Language Models Using a Licensing Oracle

Simeon Emanuilov and Richard Ackermann

arXiv
2025年11月8日

语言模型表现出非凡的自然语言生成能力,但仍然容易产生幻觉,尽管产生了语法上一致的反应,却产生了事实上不正确的信息。 本研究介绍了许可Oracle,这是一种架构解决方案,旨在通过对结构化知识图进行正式验证来强制实施真理约束来遏制LM中的幻觉。 与依赖数据扩展或微调的统计方法不同,许可 Oracle 在模型的生成过程中嵌入了确定性验证步骤,确保只提出事实准确的声明。 我们通过实验评估了许可Oracle的有效性,并将其与几种最先进的方法进行比较,包括基线语言模型生成,事实召回的微调,对弃权行为的微调和检索增强生成(RAG)。 我们的结果表明,虽然RAG和微调提高了性能,但它们未能消除幻觉。 相比之下,许可Oracle实现了完美的弃权精度(AP = 1.0)和零错误答案(FAR-NE = 0.0),确保仅生成有效的声明,在事实响应中准确率为89.1%。 这项工作表明,架构创新,如许可甲骨文,为具有结构化知识表示的域中的幻觉提供了必要和足够的解决方案,提供了统计方法无法匹配的保证。 尽管许可Oracle专门用于解决基于事实领域的幻觉,但其框架为未来AI系统中受真相限制的生成奠定了基础,为可靠的,基于认识的模型提供了新的途径。

Language models exhibit remarkable natural language generation capabilities but remain prone to hallucinations, generating factually incorrect information despite producing syntactically coherent responses. This study introduces the Licensing Oracle, an architectural solution designed to stem hallucinations in LMs by enforcing truth constraints through formal validation against structured knowledge graphs. Unlike statistical approaches that rely on data scaling or fine-tuning, the Licensing Orac...