SPEAR-MM: Selective Parameter Evaluation and Restoration via Model Merging for Efficient Financial LLM Adaptation
Berkcan Kapusuzoglu, Supriyo Chakraborty, Renkun Ni, Stephen Rawls, Sambit Sahu
适应金融领域的大型语言模型(LLM)经常遭受客户互动和复杂财务分析所必需的一般推理能力的灾难性遗忘。 我们通过模型合并(SPEAR-MM)引入了选择性参数评估和恢复,这是一个实用的框架,可以保留关键功能,同时实现域适应。 我们的方法通过后效应分析近似于对外部基准的层-wise影响,然后通过球形插值合并选择性地冻结或恢复变压器层。 应用于LLaMA-3.1-8B的财务任务,SPEAR-MM实现了91.2%的一般能力保留,而标准持续预训练为69.7%,同时保持94%的域适应收益。 该方法提供了可解释的权衡控制,并将计算成本降低了90%,这对资源有限的金融机构至关重要。
Large language models (LLMs) adapted to financial domains often suffer from catastrophic forgetting of general reasoning capabilities essential for customer interactions and complex financial analysis. We introduce Selective Parameter Evaluation and Restoration via Model Merging (SPEAR-MM), a practical framework that preserves critical capabilities while enabling domain adaptation. Our method approximates layer-wise impact on external benchmarks through post-hoc analysis, then selectively freeze...