使用许可 Oracle 语言模型中的 Steming 幻觉
语言模型表现出非凡的自然语言生成能力,但仍然容易产生幻觉,尽管产生了语法上一致的反应,却产生了事实上不正确的信息。 本研究介绍了许可Oracle,这是一种架构解决方案,旨在通过对结构化知识图进行正式验证来强制实施真理约束来遏制LM中的幻觉。 与依赖数据扩展或微调的统计方法不同,许可 Oracle 在模型的生成过程中嵌入了确定性验证步骤,确保只提出事实准确的声明。 我们通过实验评估了许可Oracle的有效性,并将其与几种最先进的方法进行比较,包括基线语言模型生成,事实召回的微调,对弃权行为的微调和检索增强生成(RAG)。 我们的结果表明,虽然RAG和微调提高了性能,但它们未能消除幻觉。 相比之下,许可Oracle实现了完美的弃权精度(AP = 1.0)和零错误答案(FAR-NE = 0.0),确保仅生成有效的声明,在事实响应中准确率为89.1%。 这项工作表明,架构创新,如许可甲骨文,为具有结构化知识表示的域中的幻觉提供了必要和足够的解决方案,提供了统计方法无法匹配的保证。 尽管许可Oracle专门用于解决基于事实领域的幻觉,但其框架为未来AI系统中受真相限制的生成奠定了基础,为可靠的,基于认识的模型提供了新的途径。
计算与语言人工智能机器学习计算机科学中的逻辑