BiPETE: A Bi-Positional Embedding Transformer Encoder for Risk Assessment of Alcohol and Substance Use Disorder with Electronic Health Records
Daniel S. Lee, Mayra S. Haedo-Cruz, Chen Jiang, Oshin Miranda, and LiRong Wang
基于变压器的深度学习模型已经显示出使用电子健康记录(EHRs)进行疾病风险预测的前景,但由于访问间隔不规则且缺乏统一结构,建模时间依赖性仍然是一个关键挑战。 我们提出了用于单病预测的双正位置嵌入变压器编码器或BiPETE,它集成了旋转位置嵌入,以编码相对访问时间和正弦嵌入,以保持访问顺序。 在不依赖大规模预训练的情况下,BiPETE接受了来自两个心理健康队列抑郁障碍和创伤后应激障碍(PTSD)的EHR数据的培训,以预测酒精和物质使用障碍(ASUD)的风险。 BiPETE优于基线模型,在抑郁症和PTSD队列中,精确召回曲线(AUPRC)下的区域分别提高了34%和50%。 消融研究进一步证实了双重位置编码策略的有效性。 我们应用综合梯度方法来解释模型预测,确定与ASUD风险和保护相关的关键临床特征,如异常炎症,血液学和代谢标志物,以及特定的药物和合并症。 总体而言,归因方法确定的这些关键临床特征有助于更深入地了解风险评估过程,并为减轻潜在风险提供有价值的线索。 总之,我们的研究提出了使用EHR数据进行疾病风险预测的实用和可解释的框架,该框架可以实现强劲的性能。
Transformer-based deep learning models have shown promise for disease risk prediction using electronic health records(EHRs), but modeling temporal dependencies remains a key challenge due to irregular visit intervals and lack of uniform structure. We propose a Bi-Positional Embedding Transformer Encoder or BiPETE for single-disease prediction, which integrates rotary positional embeddings to encode relative visit timing and sinusoidal embeddings to preserve visit order. Without relying on large-...
