医学图像分割迈入智能化精准时代!大模型赋能的通用分割框架,通过海量多器官影像预训练,可快速适配新的分割任务,大幅缩短模型研发周期。针对儿童、罕见病患者的小样本数据,小样本学习策略实现 “少量标注,高效建模”。在手术导航场景,实时分割模型能动态追踪病灶位置,为微创手术提供精准指引。我们整理了20篇前沿研究成果,快来解锁医学影像分析新技能!

1.Nnwnet: Rethinking the Use of Transformers in Biomedical Image Segmentation and Calling for a Unified Evaluation Benchmark

图片

本文提出了一种新的神经网络结构WNet,该网络结合了Transformer和卷积的特点,有效解决了生物医学图像分割中全局特征与局部特征不能持续传递的矛盾,并在统一基准上取得了最佳性能。

创新点:

  • 针对目前混合Transformer和CNN架构中特征传输不连续的问题,提出了一种改进的架构WNet,实现了局部特征和全局特征在网络中的持续稳定传输。

  • 将WNet集成到著名的nnU-Net框架中(命名为nnWNet),建立了一个严格、可复现的生物医学图像分割统一评估基准,解决了该领域评估标准不统一的痛点。

  • 在8个2D和3D数据集上取得了SOTA性能。

2.Swin-UMamba†: Adapting Mamba-based Vision Foundation Models for Medical Image Segmentation

图片

本文提出了Swin-UMamba†,一种基于Mamba的医学图像分割模型,通过自监督模型适应方案有效桥接自然和医学数据间的差异,实现了计算效率的提升并优于现有方法。

创新点:

  • 将Mamba(状态空间模型)引入医学图像分割,提出了Swin-UMamba模型。

  • 利用ImageNet预训练的优势,解决了Mamba模型通常需要从头训练的问题,大幅提升了数据效率。

  • 在腹部MRI、内窥镜和显微镜数据集上,性能优于CNN、ViT以及现有的Mamba基线模型。

3.Stitching, Fine-tuning, Re-training: A SAM-enabled Framework for Semi-supervised 3D Medical Image Segmentation

图片

本文提出了一种基于Segment Anything Model (SAM)的三阶段半监督3D医疗图像分割框架(Concatenate, Fine-tuning, Re-training,简称CFR),以降低标注成本并提高分割性能。

创新点:

  • 提出了一个基于Segment Anything Model (SAM) 的半监督3D分割框架。

  • 创新性地设计了"拼接-微调-重训练"的流程,利用SAM强大的零样本能力生成伪标签,并结合3D空间一致性进行优化,大幅降低了对3D医学影像标注的依赖。

4.MedCLIP-SAM: Bridging Text and Image Towards Universal Medical Image Segmentation

图片

本文提出了一种新的框架MedCLIP-SAM,它结合了CLIP和SAM模型,使用文本提示在零样本和弱监督设置中生成临床扫描的分割。

创新点:

  • 结合了CLIP的文本-图像对齐能力和SAM的分割能力。

  • 设计了特定的适配器,使得模型可以通过医学文本描述来指导图像分割,实现了"通用"的医学图像分割能力,无需针对每个器官单独训练模型。

Logo

腾讯云面向开发者汇聚海量精品云计算使用和开发经验,营造开放的云计算技术生态圈。

更多推荐