基础模型已成为深度学习领域的强大范式,利用其从大规模数据集中学习强大的表示能力,并有效地向分类等各种下游应用学习。 在本文中,我们介绍了Atromer 2一个专门用于提取光曲线嵌入的基础模型。 我们引入Atromer 2作为我们用于光曲线分析的自我监督模型的增强迭代。 本文强调了其预训练嵌入的优点,将其性能与其前身Atromer 1的性能进行了比较,并对其能力进行了详细的实证分析,提供了对模型表示的更深刻见解。 占星2在MACHO调查中的150万个单波段光曲线上预训练,使用自我监督的学习任务,预测序列中随机蒙面的观察。 在较小的标记数据集上进行微调,使我们能够评估其在分类任务中的性能。 嵌入的质量由在Astomer生成的嵌入上训练的MLP分类器的F1分数来衡量。 我们的结果表明,在所有评估的场景中,Atromer 2明显优于Atromer 1,包括每类20,100和500个样本的有限数据集。 使用加权每个样本嵌入,它集成了来自Atromer注意力块的中间表示,特别具有影响力。 值得注意的是,与之前的模型相比,Atromer 2在ATLAS数据集上的F1得分提高了15%,展示了对新数据集的稳健概括。 这种增强的性能,特别是标签数据最少,强调了Atromer 2在更高效和可扩展的光曲线分析方面的潜力。