Efficacy of AI RAG Tools for Complex Information Extraction and Data Annotation Tasks: A Case Study Using Banks Public Disclosures
Nicholas Botti (Federal Reserve Board), Flora Haberkorn (Federal Reserve Board), Charlotte Hoopes (Federal Reserve Board), Shaun Khan (Federal Reserve Board)
我们使用具有随机任务的学科内设计来了解使用AI检索增强生成(RAG)工具的有效性,以帮助分析师完成信息提取和数据注释任务。 我们复制了一个现有的、具有挑战性的现实世界注释任务,在一组数千页的公开披露文件上,从具有异构和不完整的信息内容的全球系统重要性银行(GSIB)的一组数千页的公开披露文件。 我们测试两种治疗条件。 首先,一个“天真”的AI使用条件,其中注释者只使用工具,并且必须接受他们给出的第一个答案。 第二,一个“交互式”的AI治疗条件,注释者交互式地使用该工具,并在必要时使用他们的判断来跟进其他信息。 与仅限人类基线相比,AI工具的使用将任务执行速度提高了10倍,并提高了任务准确性,特别是在交互条件下。 我们发现,当推断到全部任务时,与仅限人类的方法相比,这些方法可以节省长达268小时。 此外,我们的研究结果表明,注释器技能,不仅与主题领域,而且与人工智能工具,是任务性能的准确性和速度的一个因素。
We utilize a within-subjects design with randomized task assignments to understand the effectiveness of using an AI retrieval augmented generation (RAG) tool to assist analysts with an information extraction and data annotation task. We replicate an existing, challenging real-world annotation task with complex multi-part criteria on a set of thousands of pages of public disclosure documents from global systemically important banks (GSIBs) with heterogeneous and incomplete information content. We...