Nature ｜Raman成像与深度学习模型相结合快速诊断脑肿瘤

1、FastGlioma能够在手术过程中快速、无创地对肿瘤边界进行高分辨率检测2、模型在不同人群和医疗环境中能适应各种分型、分子遗传特征的胶质瘤亚型3、模拟临床干预试验证明了FastGlioma作为手术辅助手段的可行性和安全性近日，密歇根大学Todd Hollon课题组在Nature上发表题为: Foundation models for fast, label-free detection of

程序猿李巡天

864人浏览 · 2024-12-08 10:45:00

程序猿李巡天 · 2024-12-08 10:45:00 发布

亮点：

1、FastGlioma能够在手术过程中快速、无创地对肿瘤边界进行高分辨率检测

2、模型在不同人群和医疗环境中能适应各种分型、分子遗传特征的胶质瘤亚型

3、模拟临床干预试验证明了FastGlioma作为手术辅助手段的可行性和安全性

近日，密歇根大学Todd Hollon课题组在Nature上发表题为: Foundation models for fast, label-free detection of glioma infiltration的研究性论文。作者提出了FastGlioma，一种快速(<10 s)和准确检测新鲜手术组织中胶质瘤浸润的视觉基础模型。

胶质瘤治疗的一个关键挑战是在手术中检测肿瘤浸润，以实现安全的最大切除。不幸的是，大多数胶质瘤患者术后仍存在可安全切除残余肿瘤，导致早期复发和生存率降低。

在这里，作者提出了FastGlioma，一种快速和准确检测手术组织中胶质瘤浸润的视觉基础模型。FastGlioma在快速、无标记的光学显微镜下使用大规模自我监督(约400万张图像)进行预训练，并进行微调以输出一个标准化的评分，该评分表明肿瘤浸润程度。

在一项前瞻性、多中心、国际弥漫性胶质瘤患者检测队列(n = 220)中，FastGlioma能够检测并量化肿瘤浸润程度。在一项前瞻性研究中，FastGlioma在手术期间检测肿瘤浸润方面的表现优于图像引导和荧光引导辅助手段。根据世界卫生组织的定义，FastGlioma在不同的患者人口统计、医疗中心和弥漫性胶质瘤分子亚型中表现仍然优异。

FastGlioma在其他成人和儿童脑肿瘤诊断中显示出通用性，表明该基础模型有可能被用作指导脑肿瘤手术的通用辅助工具。这些发现代表了医学基础模型的变革潜力，可以释放人工智能在癌症患者护理中的作用

1、FastGlioma工作流

图1. FastGlioma工作流

作者提出了一种名为FastGlioma的创新性大脑肿瘤诊断工作流程，将刺激Raman成像(SRH)技术与深度学习模型相结合。在手术切除过程中，通过采集肿瘤边缘组织并使用SRH进行快速光学成像，可实现无创、高分辨率的组织信息采集。研究者基于3000多名患者的大型SRH图像数据集，采用两阶段自监督学习方法训练出一个性能优异的视觉transformer模型，能够在全分辨率(90.2%准确率)或快速低分辨率(88.0%准确率)模式下，对包括低级别及恶性胶质瘤在内的多类大脑肿瘤进行快速诊断。

该工作流程可无缝集成到手术切除过程中，为临床提供术中肿瘤边界检测的重要支持，为精准的手术导航和术后辅助治疗决策提供依据。这种创新的融合了先进成像和人工智能技术的诊断方法，为提高大脑肿瘤手术的安全性和疗效开辟了新的可能。

2、前瞻性临床试验结果

图2. 前瞻性临床试验结果

作者在一个涵盖美国和欧洲三家三级医疗中心的多中心前瞻性队列中，对FastGlioma模型的泛化性进行了全面评估，共纳入220名弥漫性胶质瘤患者，获得1426个SRH图像样本。结果显示，FastGlioma在区分四级胶质瘤侵袭程度方面达到了92.1±0.9%的平均AUROC，且模型输出的侵袭评分与实际评分相关。重要的是，通过视觉预训练，该模型能够在10倍成像速度的低分辨率模式下保持出色的诊断性能。

模型性能在不同人群特征和医疗中心中保持稳定，且能适应不同WHO分型、分子遗传特征和治疗效应的胶质瘤亚型。相比基于细胞密度/分割的方法，FastGlioma在低细胞密度区域的表现更优。这一大规模多中心前瞻性验证充分证明了FastGlioma模型在临床应用中的出色泛化性和诊断能力。

3、可解释的快速胶质瘤预测结果

图3.可解释的快速胶质瘤预测结果

作者开发了一种称为"Few-shot Visualization"的可解释性可视化策略，用于直观地展示FastGlioma模型检测到的肿瘤侵袭区域。该方法利用模型的自监督训练特性，仅需少量临床医生选择的参考图像样本，就可以生成肿瘤侵袭热图，突出显示肿瘤浸润的区域。这种基于基础模型的可解释性框架具有良好的灵活性，可以随时调整参考样本，而无需重新训练模型。

在多中心临床验证中，Few-shot Visualization展现了出色的泛化性能，能够可靠地识别不同程度侵袭和分子亚型的胶质瘤样本中的肿瘤浸润区域。令人惊喜的是，FastGlioma还展现了"零样本泛化"的医学基础模型特性，能够准确检测非胶质瘤肿瘤，如转移性脑肿瘤、中枢神经系统淋巴瘤、胚胎瘤和脑膜瘤等。

这种融合先进可视化技术的人工智能诊断方法，不仅可以辅助临床医生更好地理解模型的预测依据，也有望推广到其他类型的人类肿瘤诊断，为医学人工智能应用的可靠性和可信度提供有力支撑。

4、模拟临床试验结果

图4. 细胞间相互作用和多克隆到单克隆的进化模型

作者最后评估了FastGlioma作为手术辅助手段的可行性和安全性，将其与目前标准临床手术辅助手段(MRI导航和5-ALA荧光导航)进行了前瞻性对比，共纳入129名弥漫性胶质瘤患者，624个手术标本。结果显示，FastGlioma在识别肿瘤浸润区域方面明显优于对照组，AUROC分别达到98.1%、76.3%(FLAIR)、71.8%(对比增强)和89.0%(5-ALA)。尤其是在FLAIR阳性区域，FastGlioma能够准确区分肿瘤浸润和脑水肿，AUROC高达98.7%。

更重要的是，在FastGlioma组，只有3.8%的患者存在高风险的肿瘤遗漏(即手术后残留可切除的肿瘤)，而在对照组则高达24.0%。这意味着若仅依赖当前标准手术辅助手段，患者存在6.3倍的风险出现这种高危情况。

FastGlioma结合SRH实时无标记光学成像，克服了现有辅助手段如荧光不足、放射学特征非特异性、脑位移等固有局限性，能够为弥漫性胶质瘤手术提供更精准和有效的支持。这一模拟干预试验充分证明了FastGlioma作为手术辅助手段的可行性和安全性。FastGlioma优于标准图像引导和荧光引导术中肿瘤浸润检测的方法。FastGlioma可以推广到其他儿科和成人脑肿瘤诊断，显示其作为指导脑肿瘤手术的通用医学基础模型的潜力。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述