TomoGraphView: 3D Medical Image Classification with Omnidirectional Slice Representations and Graph Neural Networks
Johannes Kiechle, Stefan M. Fischer, Daniel M. Lang, Cosmin I. Bercea, Matthew J. Nyflot, Lina Felsner, Julia A. Schnabel, Jan C. Peeken
越来越多的医学断层扫描检查需要开发能够提取综合成像功能的自动化方法,以促进肿瘤表征等下游任务,同时帮助医生管理其不断增长的工作量。 然而,由于体积数据固有的复杂的空间关系和长距离依赖,3D医学图像分类仍然是一个具有挑战性的任务。 从头开始训练模型受到低数据机制的影响,缺乏3D大规模多模态数据集限制了3D医学成像基础模型的开发。 然而,最近的研究强调了2D视觉基础模型的潜力,该模型最初在自然图像上训练,作为医学图像分析的强大特征提取器。 尽管有这些进步,但通过基于切片的分解将2D模型应用于3D卷的现有方法仍然不理想。 传统的体积切片策略,依赖于公理,蔚蓝或日冕等规范平面,当这些与标准化的观看平面错位时,可能不足以捕捉目标结构的空间范围。 此外,现有的切片聚合策略很少考虑保留体积结构,导致切片空间一致性的丧失。 为了克服这些限制,我们提出了TomoGraphView,这是一个新颖的框架,它将全向卷切片与基于球形图形的特征聚合集成在一起。 我们在https : / /pypi.org/project/OmniSlicer上公开分享我们的可访问代码库,并在https : / /pypi.org/project/OmniSlicer上提供全向卷切片的用户友好库。
The growing number of medical tomography examinations has necessitated the development of automated methods capable of extracting comprehensive imaging features to facilitate downstream tasks such as tumor characterization, while assisting physicians in managing their growing workload. However, 3D medical image classification remains a challenging task due to the complex spatial relationships and long-range dependencies inherent in volumetric data. Training models from scratch suffers from low d...