Medical SAM Adapter高级技巧：自定义数据集接入与多类分割实现

【免费下载链接】Medical-SAM-Adapter Adapting Segment Anything Model for Medical Image Segmentation 项目地址: https://gitcode.com/gh_mirrors/me/Medical-SAM-Adapter

Medical SAM Adapter是一款专为医学影像分割设计的强大工具，它能够将Segment Anything Model (SAM) 高效适配到各种医学图像分割任务中。本文将分享如何自定义数据集接入以及实现多类分割的高级技巧，帮助您充分发挥Medical SAM Adapter的潜力。

一、Medical SAM Adapter简介

Medical SAM Adapter通过引入适配器模块，能够在不改变原始SAM模型结构的前提下，使其适应医学影像的特点。其核心架构包括针对2D和3D医学图像的适配模块，以及带有提示的解码器适配，如图所示：

从图中可以看到，Medical SAM Adapter在SAM的基础上增加了可学习的适配器模块，能够有效捕捉医学影像的特征，提高分割精度。

二、自定义数据集接入步骤

2.1 数据集类结构

要接入自定义数据集，首先需要创建一个数据集类，继承自PyTorch的Dataset类。在项目中，已经为多个医学数据集实现了数据集类，例如ISIC2016和REFUGE等。这些数据集类通常包含以下几个关键部分：

• __init__方法：初始化数据集，包括数据路径、变换方式、提示类型等
• __len__方法：返回数据集大小
• __getitem__方法：获取单个样本数据

以下是ISIC2016数据集类的示例：

class ISIC2016(Dataset):
    def __init__(self, args, data_path , transform = None, transform_msk = None, mode = 'Training',prompt = 'click', plane = False):
        # 初始化代码...
        
    def __len__(self):
        return len(self.name_list)
        
    def __getitem__(self, index):
        # 获取样本数据的代码...

2.2 实现自定义数据集类

要实现自定义数据集类，您需要根据自己的数据格式，实现上述三个方法。以下是实现自定义数据集类的步骤：

1. 在dataset目录下创建一个新的Python文件，例如my_dataset.py
2. 定义数据集类，继承自torch.utils.data.Dataset
3. 实现__init__方法，读取数据列表和标签
4. 实现__len__方法，返回数据总数
5. 实现__getitem__方法，读取图像和掩码，应用变换，并返回样本数据

关键是要确保返回的数据格式与模型期望的输入格式一致，通常包括图像、标签、提示点等信息。

2.3 配置数据集路径

在配置文件cfg.py中，您可以设置数据集路径：

parser.add_argument(
    '-data_path',
    type=str,
    default='../data',
    help='The path of segmentation data'
)

您可以通过命令行参数--data_path来指定您的自定义数据集路径。

2.4 在训练中使用自定义数据集

要在训练中使用自定义数据集，需要在train.py中修改数据加载部分。项目中已经实现了get_dataloader函数来加载数据集：

nice_train_loader, nice_test_loader = get_dataloader(args)

您需要确保get_dataloader函数能够识别您的自定义数据集。可以参考现有数据集的实现方式，在dataset/__init__.py中导入您的自定义数据集类，并在get_dataloader函数中添加相应的条件判断。

三、多类分割实现方法

3.1 多类分割数据准备

多类分割需要每个像素属于一个类别，因此掩码应该是一个包含类别信息的矩阵。例如，REFUGE数据集包含杯盘分割，需要同时分割出视杯和视盘两个类别。

在REFUGE数据集的__getitem__方法中，返回的掩码是一个包含两个通道的张量，分别对应杯和盘：

mask = torch.concat([mask_cup, mask_disc], dim=0)

3.2 配置多类分割参数

在配置文件cfg.py中，有一个参数multimask_output用于设置多类分割的输出数量：

parser.add_argument('-multimask_output', type=int, default=1 , help='the number of masks output for multi-class segmentation, set 2 for REFUGE dataset.')

对于多类分割，需要将该参数设置为类别数量。例如，对于REFUGE数据集，应设置为2。

3.3 多类分割训练与评估

在训练过程中，模型会输出多个掩码，每个掩码对应一个类别。损失函数会计算每个类别的损失并求和。在function.py中，损失函数使用了DiceCELoss，它能够处理多类分割任务：

loss_function = DiceCELoss(to_onehot_y=True, softmax=True)

评估时，会分别计算每个类别的IOU和DICE指标。例如，在train.py中：

tol, (eiou_cup, eiou_disc, edice_cup, edice_disc) = function.validation_sam(args, nice_test_loader, epoch, net, writer)
logger.info(f'Total score: {tol}, IOU_CUP: {eiou_cup}, IOU_DISC: {eiou_disc}, DICE_CUP: {edice_cup}, DICE_DISC: {edice_disc} || @ epoch {epoch}.')

3.4 多类分割性能展示

使用Adapter模块进行多类分割可以获得良好的性能。下图展示了MobileSAM-Ti使用Adapter模块在医学影像分割任务上的IOU和DICE指标变化：

MobileSAM-Ti (Adapter)性能曲线_performance.png)

从图中可以看出，随着训练轮次的增加，IOU和DICE指标逐渐提高并趋于稳定，表明模型能够有效学习多类分割任务。

四、高效分割模型选择

Medical SAM Adapter支持多种高效分割模型，包括EfficientSAM和MobileSAM等。这些模型在保持高精度的同时，具有更快的推理速度，适合在资源有限的环境中使用。

EfficientSAM的架构如图所示：

EfficientSAM通过轻量级编码器和提示引导的掩码解码器，实现了高效的图像分割。您可以根据具体任务需求，选择合适的模型进行训练和推理。

五、总结

通过本文介绍的方法，您可以轻松地将自定义数据集接入Medical SAM Adapter，并实现多类医学影像分割。关键步骤包括：

1. 创建自定义数据集类，实现数据加载和预处理
2. 配置数据集路径和多类分割参数
3. 使用适当的损失函数进行模型训练
4. 评估每个类别的分割性能

Medical SAM Adapter提供了灵活的接口和高效的模型，能够帮助您在各种医学影像分割任务中取得优异的结果。无论是2D还是3D医学图像，都可以通过Adapter模块快速适配，实现精准分割。

希望本文介绍的高级技巧能够帮助您更好地使用Medical SAM Adapter，推动医学影像分割研究和应用的发展。

要开始使用Medical SAM Adapter，请克隆仓库：git clone https://gitcode.com/gh_mirrors/me/Medical-SAM-Adapter，然后按照文档进行安装和配置。祝您在医学影像分割任务中取得成功！

【免费下载链接】Medical-SAM-Adapter Adapting Segment Anything Model for Medical Image Segmentation 项目地址: https://gitcode.com/gh_mirrors/me/Medical-SAM-Adapter