iSeal: Encrypted Fingerprinting for Reliable LLM Ownership Verification
Zixun Xiong, Gaoyi Wu, Qingyang Yu, Mingyu Derek Ma, Lingfeng Yao, Miao Pan, Xiaojiang Du, Hao Wang
鉴于大型语言模型(LLM)培训的成本很高,保护LLM知识产权(IP)变得越来越重要。 作为IP所有权验证的标准范式,LLM指纹识别在应对这一挑战方面起着至关重要的作用。 现有的LLM指纹识别方法通过提取或注入特定于模型的特征来验证所有权。 然而,他们在验证过程中忽略了潜在的攻击,当模型窃贼完全控制LLM的推理过程时,它们就会失效。 在这种情况下,攻击者可能会共享提示响应对,使指纹无法学习或操纵输出以逃避精确匹配验证。 我们提出了iSeal,这是第一个用于可靠验证的指纹识别方法,当模型窃贼以端到端的方式控制可疑的LLM时。 它为模型和外部模块注入了独特的功能,并通过纠错机制和基于相似性的验证策略来加强。 这些组件具有抵抗验证时间攻击的能力,包括基于串通的指纹取消学习和响应操作,同时具有理论分析和经验结果。iSeal在12个LLM上达到100%的指纹成功率(FSR),抵御10次以上的攻击,而基线在未学习和响应操作下失败。
Given the high cost of large language model (LLM) training from scratch, safeguarding LLM intellectual property (IP) has become increasingly crucial. As the standard paradigm for IP ownership verification, LLM fingerprinting thus plays a vital role in addressing this challenge. Existing LLM fingerprinting methods verify ownership by extracting or injecting model-specific features. However, they overlook potential attacks during the verification process, leaving them ineffective when the model th...