01

文献学习

今天分享的文献是由上海同济大学、上海交通大学医学院等团队于2026年3月在《Advanced Science》（中科院1区top。IF=14.1）上发表的研究”HiST: Histological Images Reconstruct Tumor Spatial Transcriptomics via MultiScale Fusion Deep Learning“即HiST：通过多尺度融合深度学习利用组织学图像重建肿瘤空间转录组，该研究提出一个名为 HiST 的多尺度融合深度学习框架，旨在利用常规HE染色组织学图像重建肿瘤的空间转录组（spatial transcriptomics, ST）。HiST通过提取组织图像中的形态学特征，预测肿瘤区域和空间基因表达谱（GEPs），并在多个癌种中实现了高精度预测。该模型在肿瘤区域识别、空间基因表达重建、患者预后分层、免疫治疗反应预测等方面均表现出优越性能，显著优于现有方法。

创新点：①提出多尺度融合卷积框架HiST，通过改进U-Net与ConvMixer模块，高效捕捉全局空间上下文与局部形态特征。②预测精度显著超越现有模型，平均Pearson相关系数达0.74，较第二名提升约两倍，实现高保真空间转录组重建。③首次实现从组织学图像预测免疫治疗疗效，并整合预后分析与肿瘤异质性评估，拓展了HE图像的分子信息挖掘能力。

临床价值：①规避空间转录组高昂成本，仅用常规HE染色图像即可推断高精度基因表达谱，降低临床应用门槛。②支持患者预后分层与免疫治疗反应预测，为个性化治疗决策提供可解释的分子依据。③从组织图像中识别肿瘤异质性与关键通路，辅助病理诊断与精准肿瘤学分析，提升诊疗一体化能力。

图 1：HiST框架示意图

a：预处理模块（Preprocess Module）

HE组织学全切片→按空间转录组斑点位置切分为5120个图像块→经预训练Swin Transformer（CTranspath）提取特征→重构为768×80×64空间特征图

b：预测模块（Prediction Module）

基于改进U-Net架构，编码器5层卷积+下采样，解码器对称上采样，加入多尺度注意力门跳跃连接与ConvMixer模块；双输出：

肿瘤区域识别（二分类掩码）

空间基因表达谱（逐基因空间表达矩阵）

c：应用模块（Application Module）

基于ConvNeXt-V2，输入HiST预测的空间转录组特征+临床数据；输出：

患者预后风险分层

免疫检查点阻断（ICB）治疗响应预测

02

研究背景和目的

研究背景

随着肿瘤精准医疗的发展，传统病理诊断仅依赖苏木精-伊红（H&E）染色图像，虽能揭示组织结构与细胞形态，却难以全面反映肿瘤微环境中复杂的分子调控异质性，且诊断结果易受病理医师经验与主观性影响。空间转录组学（ST）技术通过将基因表达与组织空间坐标相结合，为解析肿瘤异质性、免疫微环境及疾病机制提供了关键分子视角，但其高昂成本与长周期限制了其作为临床常规工具的应用。近年来，人工智能（AI）方法尝试从H&E图像中直接预测空间基因表达谱（GEPs），以替代昂贵的ST检测。然而，现有模型如ST‑Net、HisToGene、Hist2ST及IGI‑DL等存在明显局限：一方面，基于Vision Transformer（ViT）或图神经网络（GNN）的架构参数量大、易过拟合，尤其在小规模ST数据集上表现不佳；另一方面，它们对全局空间上下文与局部形态特征的融合不足，导致基因表达预测精度较低（平均皮尔逊相关系数仅约0.34）。此外，现有方法普遍未充分验证预测结果在下游临床任务（如预后分层、免疫治疗响应评估）中的可靠性，限制了其临床转化潜力。

研究目的

针对上述挑战，本研究旨在开发一个名为HiST（Histological Images reconstructs Tumor Spatial Transcriptomics）的新型深度学习框架，其核心目标是从H&E染色组织学图像中高精度重建肿瘤空间转录组谱，并系统验证其在肿瘤区域识别、异质性分析及临床预后预测中的实用性。HiST通过多尺度融合卷积架构，创新性地整合了三个模块：预处理模块利用Swin Transformer提取图像斑块特征并重构空间特征图，以保留全局空间关系与局部形态信息；预测模块基于改进的U‑Net与ConvMixer，实现肿瘤斑点分割和空间基因表达回归；应用模块采用ConvNeXt‑V2，将预测的GEPs用于患者生存分析和免疫治疗响应预测。研究在五种癌症类型（乳腺癌、结直肠癌、肝癌、肾癌、卵巢癌）的102张ST切片上开展，通过留一法交叉验证与多个公开模型对比，旨在证明HiST在基因表达预测精度（预期平均皮尔逊相关系数超0.70）、计算效率及临床任务表现（预后C-index达0.78，免疫响应预测准确率近0.80）上均显著优于现有方法，从而为将常规病理图像转化为可解释的分子图谱、推动空间信息辅助的精准肿瘤诊疗提供技术支撑。

03

数据和方法

研究数据

训练与验证数据：102张ST切片，涵盖5种癌种：

乳腺癌（BRCA，42例）

结直肠癌（CRC，25例）

肝细胞癌（HCC，13例）

肾透明细胞癌（KIRC，14例）

卵巢癌（OV，8例）

外部验证：TCGA数据库中的HE图像与RNA-seq数据；

免疫治疗数据：131例HCC患者（29例响应者，102例非响应者）的HE图像与临床数据。

技术方法

HiST框架结构：

预处理模块：提取HE图像中的补丁，使用Swin Transformer提取特征，构建空间特征图；

预测模块：基于改进的U-Net结构，引入多尺度注意力门控和ConvMixer模块，用于肿瘤区域分割和空间基因表达回归；

应用模块：基于ConvNeXt-V2结构，用于预后预测和免疫治疗反应预测。

模型训练策略：

小数据集：留一法交叉验证（LOOCV）；

大数据集：5折交叉验证；

使用MSE损失（基因表达）和二元交叉熵损失（肿瘤区域）。

评估指标：

Pearson相关系数、Spearman相关系数；

AUC、IOU、Dice、F1、精度、召回率等；

C-index用于生存分析。

04

实验结果

肿瘤区域识别：

AUC最高达0.96（BRCA），各癌种平均准确率 > 0.80；

预测结果与病理学家注释高度一致。

空间基因表达预测：

平均Pearson相关系数为0.74，优于现有模型（如EGNv2仅为0.28）；

在ACTB、FTL、UBC等关键基因上预测精度高达0.96以上；

在HER2和cSCC等非Visium平台上也表现优异。

肿瘤异质性分析：

HiST预测的GEPs可区分不同肿瘤亚克隆，与真实ST的CNV模式高度一致。

预后预测：

HiST预测的GEPs在TCGA五个癌种中均能显著分层高风险与低风险患者；

C-index最高达0.78（BRCA），优于Swin Transformer和ResNet50。

免疫治疗反应预测：

预测免疫治疗响应者的准确率为0.79，F1为0.81；

识别的差异基因与真实ST数据高度一致（重叠率44%-46%）。

图 2：多癌种肿瘤区域预测结果

图 3：空间转录组基因表达谱重构性能

图 4：五癌种预后预测性能

图 5：肝癌免疫治疗疗效预测

05

研究结论

该研究提出的HiST框架通过多尺度融合深度学习，成功从H&E染色组织学图像中高精度重建肿瘤空间转录组。其核心结论包括：①在肿瘤区域识别上，HiST在多种癌症类型中表现优异（如乳腺癌AUC达0.96），与病理学家注释高度一致；②在空间基因表达预测方面，HiST的平均皮尔逊相关系数达0.74，较现有模型提升约两倍，且计算效率更高；③预测的空间转录组谱能有效揭示肿瘤异质性（如区分不同CNV亚克隆），并在预后分层（如乳腺癌C-index达0.78）和免疫治疗响应预测（准确率0.79）中展现出显著临床应用价值；④HiST在多种独立数据集和平台上的泛化能力强，其预测表达与真实RNA-seq高度一致，为缺乏空间转录组数据的临床场景提供了低成本、可解释的分子替代方案。总体而言，HiST实现了从形态学到空间分子信息的跨尺度建模，为精准肿瘤学的临床转化提供了新工具。

---

参考文献：Li W, Zhang D, Peng E, Shen S, Alinejad-Rokny H, Liu Y, Zheng J, Jiang C, Ye Y. HiST: Histological Images Reconstruct Tumor Spatial Transcriptomics via MultiScale Fusion Deep Learning. Adv Sci (Weinh). 2026 Mar;13(13):e14351. doi: 10.1002/advs.202514351.