Knowledge Graph Analysis of Legal Understanding and Violations in LLMs
Abha Jha, Abel Salinas, Fred Morstatter
大型语言模型(LLM)的兴起为解释复杂的法律框架提供了变革性潜力,例如管理生物武器的美国法典第18章第175节。 这些系统有望在敏感领域推进法律分析和合规监控。 然而,这种能力带来了一个令人不安的矛盾:虽然LLM可以分析和解释法律,但它们在产生不安全的输出方面也显示出惊人的脆弱性,例如尽管存在保障措施,但为制造生物武器采取了可操作的步骤。 为了应对这一挑战,我们提出了一种方法,将知识图谱构建与检索增强一代(RAG)相结合,系统地评估LLM对这项法律的理解,评估法律意图的能力(mens rea),以及其不安全应用的潜力。 通过结构化实验,我们评估他们在识别法律违规行为,生成违禁指令和检测生物武器相关场景中的非法意图的准确性。 我们的发现揭示了LLM的推理和安全机制存在重大局限性,但它们也指明了前进的方向。 通过将增强的安全协议与更强大的法律推理框架相结合,这项研究为开发能够在敏感法律领域提供道德和安全地协助的LLM奠定了基础 - 确保它们充当法律的保护者,而不是无意中的违规推动者。
The rise of Large Language Models (LLMs) offers transformative potential for interpreting complex legal frameworks, such as Title 18 Section 175 of the US Code, which governs biological weapons. These systems hold promise for advancing legal analysis and compliance monitoring in sensitive domains. However, this capability comes with a troubling contradiction: while LLMs can analyze and interpret laws, they also demonstrate alarming vulnerabilities in generating unsafe outputs, such as actionable...
