GraphRAFT: Retrieval Augmented Fine-Tuning for Knowledge Graphs on Graph Databases
Alfred Clemedtson, Borun Shi
大型语言模型已经显示出显着的语言处理和推理能力,但在被问及私人数据时容易产生幻觉。 检索增强生成 (RAG) 检索适合 LLM 上下文窗口的相关数据,并提示 LLM 给出答案。 GraphRAG将这种方法扩展到结构化的知识图谱(KGs)和关于实体多次跳转的问题。 最近的GraphRAG方法大多忽略了检索步骤,或者具有抽象或低效的临时检索过程。 这可以防止当 KG 存储在支持图形查询语言的图形数据库中时被采用。 在这项工作中,我们介绍了GraphRAFT,这是一个检索和推理框架,可以微调LLM以生成可证明的正确Cypher查询,以检索高质量的子图上下文并产生准确的答案。 我们的方法是第一个可以现成的解决方案,并用于存储在本地图形DB中的KG。 基准表明,我们的方法具有样本效率,并且随着训练数据的可用性而扩展。 我们的方法在两个具有挑战性的Q As上,在两个具有挑战性的Q As上,在所有四个标准指标上取得了明显更好的结果。
Large language models have shown remarkable language processing and reasoning ability but are prone to hallucinate when asked about private data. Retrieval-augmented generation (RAG) retrieves relevant data that fit into an LLM's context window and prompts the LLM for an answer. GraphRAG extends this approach to structured Knowledge Graphs (KGs) and questions regarding entities multiple hops away. The majority of recent GraphRAG methods either overlook the retrieval step or have ad hoc retrieval...
