组织病理学分析是癌症诊断的基石,Hematoxylin和Eosin(H E)染色通常为每个患者提供可视化细胞形态和组织结构。 另一方面,多路免疫荧光(mIF)通过蛋白质组学标记物实现更精确的细胞类型识别,但由于成本和后勤限制,尚未实现广泛的临床采用。 为了弥补这一差距,我们引入了MIPHEI(来自H E的多路免疫荧光预测),这是一种U-Net启发的架构,集成了最先进的ViT基础模型作为编码器,用于预测来自HE图像的mIF信号。 MIPHEI针对核含量,免疫谱系(T细胞,B细胞,髓鞘),上皮,基质,血管和增殖的综合标记面板。 我们使用来自结直肠癌组织的可重迹H E和mIF图像的公开可用的ORION数据集来训练我们的模型,并在两个独立的数据集上验证它。 MIPHEI仅从H E就实现了精确的细胞类型分类,Pan-CK的F1分数为0.88,CD3e为0.57,SMA为0.56,CD68为0.36,CD20为0.30,大大优于最先进的基线和大多数标记的随机分类器。 我们的结果表明,我们的模型有效地捕获了其组织环境中核形态之间的复杂关系,如在定义特定细胞类型的H E图像和分子标记中可见。 MIPHEI为大规模H E数据集进行细胞型感知分析提供了一个有希望的步骤,以揭示空间细胞组织和患者结果之间的关系。
使用深度学习(DL)模型进行前列腺癌(PCa)检测已经显示出在活检期间增强实时指导的潜力。 然而,前列腺超声图像缺乏像素级别的癌症注释,引入了标签噪声。 目前的方法通常侧重于有限的兴趣区域(ROI),忽略了准确诊断所必需的解剖学背景。 基础模型可以通过分析整个图像来捕获全球空间关系来克服这一限制;然而,它们仍然会遇到与超声波数据中粗病理注释相关的弱标签引起的挑战。 我们介绍了Cinepro,这是一个新颖的框架,可以增强基础模型在超声cineloops中定位PCa的能力。 Cinepro通过将病理学报告在活检核心中的癌症组织比例整合到其损失功能中以解决标签噪声来适应强大的训练,从而提供更细致的监督。 此外,它还利用跨多个帧的时间数据来应用强大的增强功能,增强模型学习稳定癌症相关功能的能力。 Cinepro在多中心前列腺超声数据集上表现出卓越的性能,实现了77.1的AUROC,均衡精度为83.8,强调了Cinepro在推进弱标记超声数据的基础模型方面的承诺。
手术场景分割在计算机辅助手术中至关重要,对于提高手术质量和患者结果至关重要。 最近,参考手术分割正在出现,因为它的优势是为外科医生提供互动体验,以细分目标对象。 然而,现有方法受到低效率和短期跟踪的限制,阻碍了其适用于复杂的现实世界的手术场景。 在本文中,我们介绍了ReSurgSAM2,这是一个两阶段的手术参考分割框架,利用Segment Anything Model 2来执行文本推荐的目标检测,然后通过可靠的初始帧识别和多样性驱动的长期记忆进行跟踪。 对于检测阶段,我们提出跨模态空间时空Mamba,以产生精确的检测和分割结果。 基于这些结果,我们可靠的初始框架选择策略确定了后续跟踪的可靠框架。 选择初始帧后,我们的方法过渡到跟踪阶段,其中它包含一个多样性驱动的记忆机制,该机制维护一个可信和多样化的内存库,确保一致的长期跟踪。 广泛的实验表明,与现有方法相比,ReSurgSAM2在精度和效率方面实现了实质性的改进,在61.2 FPS下实时运行。 我们的代码和数据集将在https://github.com/jinlab-imvr/ReSurgSAM2上提供。
我们设想“虚拟眼”作为一个下一代、AI驱动的平台，它使用互连的基础模型来模拟眼睛复杂结构和生物功能在所有尺度上的表现。AI、成像和多组学领域的进展为构建通用、高保真的人类眼睛数字复制品提供了沃土。本文追溯了从早期的机械和基于规则的模型到当代AI驱动方法的演变，将它们整合到一个统一的模型中，该模型具有多模态、多尺度、动态预测能力和嵌入式反馈机制。我们提出一个发展路线图，强调大规模多模态数据集、生成式AI、基础模型、基于Agent的架构和交互式界面所起的作用。尽管在可解释性、伦理、数据处理和评估方面存在挑战，但虚拟眼有可能彻底改变个性化的眼科护理，并加速对眼部健康和疾病的研究。
自监督学习(SSL)使Vision Transformers(ViTs)能够从大规模自然图像数据集中学习强大的表示,增强了它们跨领域的推广。 在视网膜成像中,对自然或眼科数据预先训练的基础模型显示出希望,但域预训练的好处仍然不确定。 为了研究这一点,我们在七个数字基数图像(DFI)数据集上对六个SSL预训练的ViT进行了基准测试,总计70,000个专家注释图像,用于中度至晚期与年龄相关的黄斑变性(AMD)识别。 我们的结果表明,在自然图像上预训练的iBOT实现了最高的域外分布化,AUROC为0.80-0.97,优于特定域模型,实现了0.78-0.96的AUROC和基线ViT-L,没有预训练,实现了0.68-0.91的AUROC。 这些发现强调了基础模型在改进AMD识别方面的价值,并挑战了域预训练是必要的假设。 此外,我们还发布了BRAMD,这是来自巴西的DFI的开放访问数据集(n=587)。
引导生物系统走向所需的状态,如形态遗传结果,仍然是一个基本挑战,对医学和合成生物学有深远的影响。 虽然大型语言模型(LLM)使自然语言成为人工智能系统中可解释控制的接口,但作为指导生物或细胞动力学的中介,它们在很大程度上仍未被探索。 在这项工作中,我们提出了一个功能管道,将自然语言提示转化为能够指导模拟细胞集体的空间向量场。 我们的方法将大型语言模型与可进化的神经控制器(提示到干预或P2I)相结合,通过进化策略进行优化,以在模拟2D环境中产生聚类或散射等行为。 我们证明,即使有受限的词汇和简化的细胞模型,进化的P2I网络也可以成功地使细胞动力学与用简单语言表达的用户定义的目标保持一致。 这项工作提供了一个完整的循环,从语言输入到模拟生物电干预到行为输出,为未来能够自然语言驱动的细胞控制系统提供了基础。
病理学家依靠千兆像素的全幻灯片图像(WSI)来诊断癌症等疾病,但目前的数字病理工具阻碍了诊断。 WSI的巨大规模,通常超过100,000 X 100,000像素,与传统显示器提供的有限视图相冲突。 这种不匹配迫使不断的平移和缩放,增加病理学家的认知负荷,导致诊断疲劳,并减缓病理学家采用数字方法。 我们面向 Apple Vision Pro 的混合现实可视化平台 PathVis 解决了这些挑战。 它改变了病理学家与数据的互动,用自然的手势、眼睛凝视和沉浸式工作空间中的语音命令,用直观的探索取代了繁琐的鼠标和监视器导航。 PathVis集成了AI以增强诊断。 人工智能驱动的搜索功能可以立即检索并显示前五名类似的患者病例,通过快速比较提高诊断精度和效率。 此外,多模态会话AI助手提供实时图像解释支持,并帮助多个苹果设备的病理学家之间的合作。 通过将传统病理学的直接性与先进的混合现实可视化和AI相结合,PathVis改善了诊断工作流程,减少了认知压力,并使病理学实践更有效和引人入胜。 PathVis源代码和演示视频可公开:https://github.com/jaiprakash1824/Path_Vis
数字病理学的基础模型使用海量数据集来学习复杂组织学图像的有用紧凑特征表示。 然而,推动数据集大小和性能之间相关性的透明度有限,这引发了一个问题,即是否仅仅添加更多数据以提高性能总是必要的。 在这项研究中,我们提出了一个原型引导扩散模型,以大规模生成高保真合成病理学数据,实现大规模自我监督学习,减少对真实患者样本的依赖,同时保留下游性能。 在采样过程中使用组织学原型的指导,我们的方法确保了生成数据的生物学和诊断上有意义的变化。 我们证明,在我们的合成数据集上训练的自我监督功能实现了竞争,尽管使用的数据比在大型现实世界数据集上训练的模型少60x-760x。 值得注意的是,使用我们的合成数据训练的模型显示了多个评估指标和任务的统计可比或更好的性能,即使与在数量级较大的数据集上训练的模型相比也是如此。 我们的混合方法,结合合成和真实数据,进一步提高性能,在多项评估中取得最高成果。 这些发现强调了生成式AI为数字病理学创建引人注目的训练数据的潜力,大大减少了对广泛临床数据集的依赖,并突出了我们方法的效率。
No more items to load.