Residual Feature Integration is Sufficient to Prevent Negative Transfer
Yichen Xu, Ryumei Nakada, Linjun Zhang, Lexin Li
迁移学习通常利用从源域中学到的表示来改进目标任务的性能。 一种常见的方法是从预先训练的模型中提取特征,并将其直接应用于目标预测。 但是,在源表示无法与目标分布保持一致的情况下,这种策略容易出现负转移。 在这篇文章中,我们提出了剩余功能集成(REFINE),这是一种简单而有效的方法,旨在减轻负转移。 我们的方法将固定源端表示与可训练的目标侧编码器相结合,并在生成的联合表示上适合浅层神经网络,该神经网络适应目标域,同时保留源域的可转移知识。 从理论上讲,我们证明REFINE足以防止在温和条件下的负转移,并得出表明其理论益处的概括约束。 经验上,我们表明REFINE始终如一地提高各种应用和数据模式的性能,包括视觉,文本和表格数据,并优于众多替代解决方案。 我们的方法轻巧,与架构无关且健壮,使其成为现有迁移学习工具箱的宝贵补充。
Transfer learning typically leverages representations learned from a source domain to improve performance on a target task. A common approach is to extract features from a pre-trained model and directly apply them for target prediction. However, this strategy is prone to negative transfer where the source representation fails to align with the target distribution. In this article, we propose Residual Feature Integration (REFINE), a simple yet effective method designed to mitigate negative transf...