Exploring Sparsity for Parameter Efficient Fine Tuning Using Wavelets
Ahmet Bilican, M. Akın Yılmaz, A. Murat Tekalp, R. Gökberk Cinbiş
高效调整大型基础模型至关重要,特别是在计算和内存预算紧张的情况下。 参数效率微调(PEFT)方法,如LoRA,在低参数方案中提供有限的粒度和有效性。 我们提出了Wavelet Fine-Tuning(WaveFT),这是一种新颖的PEFT方法,可以在残余矩阵的小波域中学习高度稀疏的更新。 WaveFT允许精确控制可训练参数,提供细粒度的容量调整,并以极低的参数计数表现出色,可能远低于LoRA的最小值 - 非常适合极端参数效率的场景。 为了证明小波变换的效果,我们将WaveFT与一个名为SHiRA的特殊情况进行了比较,该特殊情况需要直接在权重域中应用稀疏更新。 WaveFT使用稳定扩散XL作为基线对图像的个性化文本到图像生成进行评估,显著优于LoRA和其他PEFT方法,特别是在低参数计数下;实现卓越的主体保真度,快速对齐和图像多样性。
Efficiently adapting large foundation models is critical, especially with tight compute and memory budgets. Parameter-Efficient Fine-Tuning (PEFT) methods such as LoRA offer limited granularity and effectiveness in few-parameter regimes. We propose Wavelet Fine-Tuning (WaveFT), a novel PEFT method that learns highly sparse updates in the wavelet domain of residual matrices. WaveFT allows precise control of trainable parameters, offering fine-grained capacity adjustment and excelling with remarka...