PANDA - Patch And Distribution-Aware Augmentation for Long-Tailed Exemplar-Free Continual Learning
Siddeshwar Raghavan, Jiangpeng He and Fengqing Zhu
无示例持续学习(EFCL)限制了先前任务数据的存储,并且极易发生灾难性遗忘。 虽然预训练模型(PTM)越来越多地用于EFCL,但现有方法往往忽略了现实世界数据分布的固不平衡。 我们发现,现实世界的数据流通常表现出双重水平不平衡,数据集级分布与单个任务中的极端或反向斜向相结合,从而产生任务内和任务间差异,阻碍了有效的学习和泛化。 为了应对这些挑战,我们提出了PANDA,这是一个Patch-and-Distribution-Aware Augmentation框架,可与现有的基于PTM的EFCL方法无缝集成。 PANDA通过使用CLIP编码器来识别代表性区域并将它们移植到每个任务中的频繁类样本中来放大低频类。 此外,PANDA还采用了自适应平衡策略,利用先前的任务分配来平滑任务间不平衡,减少跨任务的平均样本之间的总体差距,并通过冷冻PTM实现更公平的学习。 广泛的实验和消融研究证明了PANDA能够使用现有的基于PTM的CL方法,提高准确性并减少灾难性遗忘。
Exemplar-Free Continual Learning (EFCL) restricts the storage of previous task data and is highly susceptible to catastrophic forgetting. While pre-trained models (PTMs) are increasingly leveraged for EFCL, existing methods often overlook the inherent imbalance of real-world data distributions. We discovered that real-world data streams commonly exhibit dual-level imbalances, dataset-level distributions combined with extreme or reversed skews within individual tasks, creating both intra-task and...
