GalaxAlign: Mimicking Citizen Scientists' Multimodal Guidance for Galaxy Morphology Analysis
Ruoqi Wang, Haitao Wang and Qiong Luo
星系形态分析涉及根据其形状和结构研究星系。 对于此类研究,基本任务包括识别和分类天文图像中的星系,以及通过相似性搜索检索视觉或结构相似的星系。 现有方法直接训练大型注释数据集上的特定领域基础模型,或者在较小的图像集上微调视觉基础模型。 前者有效但成本高,而后者资源效率更高,但往往具有较低的准确性。 为了应对这些挑战,我们引入了GalaxAlign,这是一种多模态方法,其灵感来自于公民科学家如何通过遵循文本描述和匹配原理图符号来识别天文图像中的星系。 具体来说,GalaxAlign使用三模态对齐框架,在微调过程中对齐三种类型的数据:(1)表示星系形状和结构的示意图符号,(2)这些符号的文本标签,(3)星系图像。 通过采用多式联运指令,GalaxAlign消除了对昂贵预训练的需求,并提高了微调的有效性。 关于星系分类和相似性搜索的实验表明,我们的方法通过结合特定领域的多模态知识,有效地微调了天文任务的一般预训练模型。 代码可在https://github.com/RapidsAtHKUST/GalaxAlign上查阅。
Galaxy morphology analysis involves studying galaxies based on their shapes and structures. For such studies, fundamental tasks include identifying and classifying galaxies in astronomical images, as well as retrieving visually or structurally similar galaxies through similarity search. Existing methods either directly train domain-specific foundation models on large, annotated datasets or fine-tune vision foundation models on a smaller set of images. The former is effective but costly, while th...
