AtomBench: A Benchmark for Generative Atomic Structure Models using GPT, Diffusion, and Flow Architectures
Charles Rhys Campbell, Aldo H. Romero, Kamal Choudhary
生成模型已成为勘探和鉴定新材料的重要资产,使候选晶体结构能够快速提出满足目标属性的要求。 尽管越来越多地采用不同的架构,但缺乏对其在材料数据集上的性能进行严格的比较评估。 在这项工作中,我们提出了三种代表性生成模型的系统基准 - AtomGPT(基于变压器的模型),Crystal Diffusion Variational Autoconeder(CDVAE)和FlowMM(黎曼流匹配模型)。 这些模型经过训练,从两个公开可用的超导数据集的子集重建晶体结构 - 来自Alexandria数据库的JARVIS Supercon 3D和DS A / B。 使用Kullback-Leibler(KL)在预测和引用的晶格参数之间的差值以及单个晶格常数的平均绝对误差(MAE)来评估性能。 对于计算过的KLD和MAE分数,CDVAE的表现最有利,其次是AtomGPT,然后是FlowMM。 所有基准代码和模型配置将在https://github.com/atomgptlab/atombench_inverse上公开。
Generative models have become significant assets in the exploration and identification of new materials, enabling the rapid proposal of candidate crystal structures that satisfy target properties. Despite the increasing adoption of diverse architectures, a rigorous comparative evaluation of their performance on materials datasets is lacking. In this work, we present a systematic benchmark of three representative generative models- AtomGPT (a transformer-based model), Crystal Diffusion Variationa...
