Towards Foundation Models for Experimental Readout Systems Combining Discrete and Continuous Data
James Giroux and Cristiano Fanelli
我们提出了一个(原型)核物理基础模型,能够在未来的电子离子对撞机成像切伦科夫探测器的低级探测器输入上运行。 为了解决现有下令牌预测方法的限制 - 即VQ-VAE令牌化和缺乏条件生成造成的分辨率损失 - 我们提出了三个关键创新:(i)离散空间特征和连续变量的独立词汇,通过因果多头交叉注意(CMHCA)组合,(ii)通过预处理上下文嵌入的连续动态调节,以及(iii)可扩展和简单,高分辨率的连续变量。 我们的模型为 Cherenkov 光子实现了快速、高保真生成像素和时间序列,并通过高性能 DIRC 中的闭包测试进行了验证。 我们还展示了我们的模型推广到重建任务,如pion和kaon识别,其中我们展示了其利用微调的能力。
We present a (proto) Foundation Model for Nuclear Physics, capable of operating on low-level detector inputs from Imaging Cherenkov Detectors at the future Electron Ion Collider. To address limitations in existing next-token prediction approaches-namely resolution loss from VQ-VAE tokenization and lack of conditional generation-we propose three key innovations: (i) separate vocabularies for discrete spatial features and continuous variates, combined via Causal Multi-Head Cross-Attention (CMHCA),...
