2025亚太中文赛B题完整论文：疾病预测与大数据分析，完整内容见文末名片

摘要
本文针对中风、心脏病和肝硬化三种高致死率疾病，基于提供的stroke.csv、heart.csv和cirrhosis.csv数据集，通过数据预处理、统计分析与可视化挖掘影响患病概率的关键因素，构建单疾病患病概率预测模型并进行检验与改进，分析三种疾病的共同特征和共病情况以建立共病概率预测模型，最终依据研究结果向世界卫生组织提出预防建议和措施。

针对问题一，该问题要求对三种疾病数据集进行数据预处理、统计分析和可视化，并分析影响患病概率的因素。此问题是后续所有分析和建模的基础，高质量的数据和准确的影响因素识别对后续模型构建至关重要。首先对数据进行预处理，对于缺失值，采用自注意力增强的生成对抗网络（MissGAN ATT），在生成对抗网络框架中引入自注意力机制，动态捕捉特征间关联权重，有效降低填充误差；对于异常值，运用自适应阈值孤立森林 LOF（AT IForest LOF），先通过孤立森林快速筛查潜在异常，再用局部离群因子进行验证，并基于核密度估计动态调整异常阈值，提高异常检测准确性；对分类变量进行编码，无序分类变量采用独热编码，有序分类变量采用标签编码。接着进行统计分析与影响因素识别，采用SHAP NOTEARS因果推断模型，先用LightGBM构建疾病预测模型，通过TreeSHAP算法计算特征重要性筛选关键特征，再用NOTEARS算法学习有向无环图挖掘因果关系。最后通过箱线图、因果路径图和热力图等进行可视化分析。

针对问题二，要求分别选取合适的特征指标，建立三种疾病患病概率的预测模型，并进行模型准确性检验、灵敏度分析和模型改进。准确的单疾病预测模型是共病概率预测的基础，也是评估疾病风险的重要工具。首先进行特征工程与增强，采用对比学习深度森林（CL DF），在深度森林框架中引入对比学习模块，通过数据增强生成鲁棒特征表示，提升小样本下的特征鲁棒性。然后处理类别不平衡问题，使用标签平滑条件生成对抗网络（LS CGAN），在条件生成对抗网络中引入标签平滑与自适应阈值调整，生成符合病理逻辑的少数类样本，提高少数类召回率。接着进行预测不确定性评估，采用蒙特卡洛dropout灵敏度分析（MC AFP），在模型训练中引入蒙特卡洛dropout，通过多次随机前向传播量化预测不确定性。最后从AUC ROC、F1 score和校准曲线等方面对模型进行评估。

针对问题三，需要综合分析三种疾病的共同特征和共病情况，建立数学模型预测同时患有其中任意两种和同时患有三种疾病的概率。共病概率预测对于制定综合的疾病预防和治疗策略具有重要意义。构建多任务图神经网络 Copula融合模型（MT GNN Copula），首先基于共同特征和疾病构建异构图，特征 疾病边权重基于SHAP值确定，疾病 疾病边权重基于互信息计算。然后通过图卷积网络（GCN）学习节点嵌入，聚合邻域信息，更新节点嵌入。接着用逻辑回归模型估计单疾病边缘分布概率，通过高斯Copula函数建模疾病间的非线性依赖关系，结合边缘分布计算联合分布，进而得到共病概率。同时还构建了多任务变分自编码器（MT VAE），复用特征提取模块，将三种疾病标签作为多任务目标，学习疾病共享表征并减少参数。通过计算预测共病频数与真实频数的相对误差对模型进行验证。

针对问题四，要求根据数学模型和数据分析的结果，给世界卫生组织写一封信，提出预防建议和措施。这是将研究成果转化为实际应用，为全球疾病预防工作提供参考的关键环节。首先提炼关键发现，包括单疾病因果风险因素、共病高危人群和可干预因素优先级。然后制定分层预防建议，针对普通人群、高危人群和已患病人群分别提出一级、二级和三级预防措施。最后从成本效益、文化适应和政策衔接等方面进行可行性论证，确保建议具有可操作性和推广性。

最后，对本文所建立的模型进行全面评价。模型在数据预处理、单疾病预测、共病预测等方面具有较高的准确性和可靠性，能够为疾病预防和管理提供有力支持。但也存在一些局限性，如模型对数据质量依赖较高，在数据缺失严重或异常值较多的情况下性能可能下降；部分模型计算复杂度较高，实际应用中可能需要进一步优化。未来可从引入更多数据源、优化模型结构和降低计算复杂度等方面进行改进。同时，模型在其他疾病研究领域也具有一定的推广应用可能性。

关键词：疾病预测；数据预处理；影响因素；共病概率；预防建议；机器学习模型

模型假设

1. 数据分布一致性假设：缺失数据的分布与完整数据一致（ Missing at Random，MAR），即缺失概率仅与已观测特征相关（如“老年患者更可能缺失BMI数据”，可通过年龄、血糖等已观测特征预测BMI）；
2. 异常值局部稀疏假设：异常样本在特征空间中具有“孤立性”（路径长度短）和“局部低密度”（与近邻样本差异大），需结合两种特性识别多变量异常；
3. 因果结构可识别假设：特征与疾病间的因果关系可用有向无环图（DAG）表示，且无未观测混淆变量（即不存在影响两个以上特征的隐藏变量）。

核心变量定义

1. 输入数据：含缺失值的特征矩阵 $\mathbf{X}\in {\mathbb{R}}^{n\times d}$（$n$为样本量，$d$为特征维度），缺失掩码 M∈{0,1}n×d\mathbf{M} \in \{0,1\}^{n \times d}M∈{0,1}n×d（$M_{ij}=1$表示$X_{ij}$缺失，$M_{ij}=0$表示已观测）；
2. 生成器：$G:(\mathbf{X}\ast \text{obs},\mathbf{M})\to \mathbf{X}\ast \text{fill}$，输入已观测特征 $\mathbf{X}\ast \text{obs}=\mathbf{X}\odot (1\mathbf{M})$（$\odot$为逐元素乘法）和缺失掩码 $\mathbf{M}$，输出填充后的完整矩阵 $\mathbf{X}\ast \text{fill}$；
3. 判别器：$D:({\mathbf{X}}_{\text{fill}},\mathbf{M})\to [0,1]$，判断填充后的数据是否为真实分布；
4. 自注意力模块：输入特征矩阵 $\mathbf{H}\in {\mathbb{R}}^{n\times d}$，输出加权特征 $\text{Attention}(\mathbf{H})\in {\mathbb{R}}^{n\times d}$，权重反映特征间关联强度；
5. 路径长度（IForest）：$h(x)$，孤立森林中样本$x$被随机划分至孤立所需的平均路径步数，异常样本$h(x)$较小；
6. 局部离群因子（LOF）：$\text{LOF}(x)$，样本$x$的局部密度与近邻样本局部密度的比值，$\text{LOF}(x)>1$表示$x$为异常；
7. SHAP值：${\varphi }_i$，特征$i$对模型输出的平均贡献度，反映特征的预测重要性；
8. 邻接矩阵：$\theta \in {\mathbb{R}}^{d\times d}$，${\theta }_{ij}eq0$表示存在从特征$i$到特征$j$的因果边，${\theta }_{ij}=0$表示无因果关系。

约束条件

1. 数据范围约束：填充后的临床指标需符合医学常识（如BMI∈[15, 50] kg/m²，血糖∈[40, 300] mg/dL），生成器输出后通过Sigmoid或线性变换映射至合理区间；
2. 异常值比例约束：异常值剔除比例≤10%，防止过度剔除导致样本量不足（尤其小样本数据集如stroke.csv仅5110条样本）；
3. 因果结构约束：因果图（DAG）需满足无环性（不存在特征A→B且B→A的循环因果），且核心因果路径需符合临床病理机制（如“动脉硬化→心脏病”而非反向）。

数学模型推导过程

（一）自注意力增强的生成对抗网络（MissGANATT）：缺失值填充

1. 传统GAN框架的局限性传统生成对抗网络（GAN）通过生成器$G$和判别器$D$的对抗训练学习数据分布，但无法直接处理含缺失值的数据。生成器仅依赖随机噪声和已观测特征，忽略特征间的非线性依赖（如肝功能指标中白蛋白与胆红素的负相关关系：白蛋白降低通常伴随胆红素升高，传统填充方法可能独立处理两者，导致填充值违背临床病理逻辑），导致填充值物理意义不合理。

2. 自注意力机制的引入为捕捉特征间动态关联，在生成器中嵌入自注意力模块，通过计算特征间的“关联权重”动态分配贡献度：

构造查询（Q）、键（K）、值（V）矩阵：对生成器中间层输出的特征矩阵 $\mathbf{H}\in {\mathbb{R}}^{n\times d}$（$n$为样本数，$d$为特征数），通过线性变换生成Q、K、V矩阵。其中，Q（查询矩阵）用于“询问”其他特征的信息，K（键矩阵）用于“匹配”查询内容，V（值矩阵）是实际用于加权聚合的特征值。具体变换公式为：

$\mathbf{Q}=\mathbf{H}{\mathbf{W}}_Q$

$\mathbf{K}=\mathbf{H}{\mathbf{W}}_K$

$\mathbf{V}=\mathbf{H}{\mathbf{W}}_V$

其中 ${\mathbf{W}}_Q,{\mathbf{W}}_K,{\mathbf{W}}_V\in {\mathbb{R}}^{d\times d_k}$ 为可学习参数（$d_k$为注意力维度，通常取$d_k=d/8$以降低计算量，平衡模型复杂度与关联捕捉能力）。

计算注意力权重：特征$i$对特征$j$的注意力权重反映$j$对$i$的影响强度，通过缩放点积注意力计算。点积注意力的核心思想是：Q与K的内积衡量特征间的相似度（内积越大，相似度越高），再通过softmax归一化得到权重，最后与V加权求和得到输出。

具体公式为：

$\text{Attention}(\mathbf{Q},\mathbf{K},\mathbf{V})=\text{softmax}\left(\frac{\mathbf{Q}{\mathbf{K}}^T}{\sqrt{d_k}}\right)\mathbf{V}$

缩放原因：当$d_k$较大时，$\mathbf{Q}{\mathbf{K}}^T$的元素值可能因高维空间内积放大而过大，导致softmax函数梯度消失（softmax在输入值较大时梯度接近0）。除以$\sqrt{d_k}$可将内积结果的方差归一化到1（因$\mathbf{Q}$和$\mathbf{K}$的元素均服从均值0、方差1的分布，内积的方差为$d_k$，除以$\sqrt{d_k}$后方差为1），确保梯度稳定。
softmax作用：将权重归一化至[0,1]区间，确保权重之和为1，便于解释“特征贡献占比”（如权重0.8表示某特征对目标特征的贡献占80%）。

3. MissGANATT完整模型
生成器结构：输入已观测特征$\mathbf{X}\ast \text{obs}$（维度$n\times d$）和缺失掩码$\mathbf{M}$（维度$n\times d$），经全连接层提取初步特征（维度$n\times 2d$），送入自注意力模块捕捉特征间非线性关联（输出维度$n\times 2d$），再通过输出层（含医学范围约束的激活函数）生成缺失值$\mathbf{X}\ast \text{miss}$（维度$n\times d_{\text{miss}}$，$d_{\text{miss}}$为缺失特征数），最终拼接已观测特征和生成的缺失特征，得到完整样本$\mathbf{X}\ast \text{fill}=[\mathbf{X}\ast \text{obs},{\mathbf{X}}_{\text{miss}}]$。

判别器结构：输入完整样本（真实样本$\mathbf{X}\ast \text{true}$或生成样本$\mathbf{X}\ast \text{fill}$）和掩码$\mathbf{M}$，通过卷积层（捕捉局部特征交互）和全连接层（全局特征整合）输出样本为真实分布的概率$D(\mathbf{X})\in [0,1]$。引入掩码$\mathbf{M}$的目的是让判别器关注缺失区域的填充质量（如掩码为1的位置是否符合真实数据分布）。

损失函数：
生成损失：$L_G=\mathbb{E}[\log D(\mathbf{X}\ast \text{fill},\mathbf{M})]$，目标是最小化该损失，使生成样本被判别器判定为“真实”的概率最大化（即$\log D(\mathbf{X}\ast \text{fill},\mathbf{M})$趋近于0）。
判别损失：$L_D=\mathbb{E}[\log D(\mathbf{X}\ast \text{true},\mathbf{M})]\mathbb{E}[\log (1D(\mathbf{X}\ast \text{fill},\mathbf{M}))]$，目标是最大化对真实样本的识别概率（第一项趋近于0）和对生成样本的识别概率（第二项中$D({\mathbf{X}}_{\text{fill}},\mathbf{M})$趋近于0，故$\log (1D(\cdot ))$趋近于0）。
重构损失：$L_{\text{rec}}=\Vert {\mathbf{X}}_{\text{fill}}\odot (1\mathbf{M})\mathbf{X}\odot (1\mathbf{M}){\Vert }_2^2$，确保生成器不篡改已观测特征（掩码为0的位置，填充值需与原始值完全一致）。该损失通过L2范数衡量已观测特征的重构误差，避免生成器为“欺骗”判别器而扭曲真实观测数据。
总损失：$L_{\text{total}}=L_G+L_D+\lambda L_{\text{rec}}$，其中$\lambda =10$为重构损失权重（通过交叉验证确定：当$\lambda <5$时，已观测特征重构误差较大；当$\lambda >15$时，生成样本多样性降低，故取$\lambda =10$平衡两者）。

（二）自适应阈值孤立森林LOF（ATIForestLOF）：异常值检测

1. 孤立森林（IForest）：全局异常筛查孤立森林通过随机划分特征空间构建多棵二叉树（孤立树），异常样本因“孤立性”（在特征空间中与多数样本差异大）会被更早划分到叶节点，路径长度更短。

孤立树构建：随机选择特征维度$d$和划分点$p$（在该维度的最小值与最大值间均匀采样），将样本分为$x_d<p$（左子树）和$x_d\ge p$（右子树），重复该过程直至子树仅含1个样本或达到最大深度（设为${\log }_{2}n$，避免过拟合）。

路径长度计算：样本$x$在单棵孤立树的路径长度$h_T(x)$为从根节点到叶节点的步数（叶节点路径长度定义为样本数的对数，如含1个样本的叶节点路径长度为0，含2个样本为1）。对$t$棵孤立树（$t=100$，平衡稳定性与计算量）取平均，得到平均路径长度：

$h(x)=\frac{1}{t}{\sum }_{T=1}^t{h}_T(x)$

异常分数：为将路径长度转化为可解释的异常概率，定义异常分数：

$s(x)=2^{\frac{h(x)}{c(n)}}$

其中$c(n)$为样本量$n$的平均路径长度（理论期望值），计算公式为$c(n)=2H(n1)2(n1)/n$（$H(n)$为调和数，$H(n)=\ln n+\gamma$，$\gamma \approx 0.5772$为欧拉常数）。$s(x)\in [0,1]$：当$s(x)\approx 1$时，样本为异常；当$s(x)\approx 0.5$时，样本为正常；当$s(x)\approx 0$时，样本为“密集正常样本”。实际中，初步筛选$s(x)>0.7$的样本为潜在异常（通过验证集确定：该阈值下正常样本误判率<5%）。

2. 局部离群因子（LOF）：局部密度验证IForest仅捕捉全局孤立性，可能将“局部密集但全局孤立”的正常样本误判为异常（如特定年龄段的高血糖样本）。需通过LOF计算局部密度偏离度，验证潜在异常样本是否真的在局部环境中“低密度”。

$k$距离：样本$x$的$k$距离$d_k(x)$为与第$k$个近邻样本的距离（$k=5$，平衡局部性与稳定性：$k<3$时受噪声影响大，$k>10$时局部性减弱）。

可达距离：样本$y$到$x$的可达距离定义为$d_{\text{reach}}(y,x)=\max (d_k(x),\Vert yx\Vert )$。该定义避免因$x$的近邻样本$y$本身处于边界（$d_k(y)>d_k(x)$）导致的距离低估（如$y$是$x$的第5近邻，但$x$是$y$的第10近邻，此时$d_{\text{reach}}(y,x)=d_k(x)$，确保$x$的局部密度计算不受$y$的边界特性影响）。

局部可达密度（LRD）：样本$x$的LRD为其$k$个近邻样本的平均可达距离的倒数，反映局部密度：

$LRD(x)=\frac{1}{\frac{1}{k}{\sum }_{y\in N_k(x)}{d}_{\text{reach}}(y,x)}$

其中$N_k(x)$为$x$的$k$个近邻样本集。LRD越大，局部密度越高（如正常样本的LRD显著大于异常样本）。

LOF值：样本$x$的LOF值为其近邻样本的LRD与自身LRD的比值的平均：

$LOF(x)=\frac{1}{k}{\sum }_{y\in N_k(x)}\frac{LRD(y)}{LRD(x)}$

若$LOF(x)>1.5$，表明$x$的局部密度显著低于近邻样本（近邻样本的LRD平均是$x$的1.5倍以上），判定为异常（通过医学数据验证：该阈值下临床矛盾样本（如血压0 mmHg）的LOF值均>1.5）。

**3. 自适应阈值调整（AT）**不同特征的异常程度差异大（如血压异常值通常偏离均值更远，而BMI异常值偏离较小），固定LOF阈值（如1.5）可能导致部分特征异常值漏检或误检。需通过核密度估计（KDE）动态确定阈值。

核密度函数估计：对IForest筛选的潜在异常样本的LOF值$z_1,z_2,...,z_m$（$m$为潜在异常样本数），用高斯核估计其概率密度函数：

$\hat{f}\ast h(z)=\frac{1}{mh}\sum \ast {i=1}^{m}K\left(\frac{z{z}_i}{h}\right)$

其中$K(u)=\frac{1}{\sqrt{2\pi }}{e}^{u^2/2}$（高斯核，平滑性好），带宽$h$通过Silverman准则确定：$h=1.06\min (\sigma ,IQR/1.34)m^{1/5}$（$\sigma$为LOF值的标准差，$IQR$为四分位距，确保带宽随样本量和数据离散程度自适应调整）。

阈值计算：根据特征分布陡峭程度设定显著性水平$\alpha$（分布越陡峭，异常值与正常值得区分越明显，$\alpha$越小）：如血压（分布陡峭，$\alpha =0.01$）、BMI（分布平缓，$\alpha =0.05$）。阈值$\tau$满足累积分布函数${\int }_{\infty }^{\tau }{\hat{f}}_h(z)dz\ge \alpha$（即$\tau$为LOF值分布的$\alpha$分位数），最终判定$LOF(x)>\tau$的样本为异常（确保异常值比例符合≤10%的约束）。

（三）SHAPNOTEARS因果推断模型：影响因素识别

1. TreeSHAP：特征重要性筛选先用LightGBM构建疾病预测模型（捕捉特征与疾病的非线性关联），再通过TreeSHAP计算特征对模型输出的贡献，筛选预测重要性高的候选因果特征。

LightGBM模型：输入预处理后的特征矩阵 $\mathbf{X}$（维度$n\times d$），输出疾病概率 $\hat{y}=\text{LightGBM}(\mathbf{X})$（维度$n\times 1$）。模型目标函数为交叉熵损失（衡量二分类预测误差）：

$L=\frac{1}{n}{\sum }_{i=1}^n[y_i\log {\hat{y}}_i+(1y_i)\log (1{\hat{y}}_i)]$

其中yi∈{0,1}y_i \in \{0,1\}yi​∈{0,1}为真实疾病标签（1表示患病，0表示未患病）。该损失函数通过惩罚错误预测（如将患病样本预测为未患病的概率越高，损失越大），驱动模型学习特征与疾病的关联。

SHAP值计算：SHAP值基于合作博弈论中的Shapley值理论，量化特征$i$对模型输出的平均边际贡献。对单个样本，特征$i$的SHAP值${\varphi }_i$为其在所有特征子集$S$（不含$i$）上的边际贡献[f(S∪{i})f(S)][f(S \cup \{i\}) f(S)][f(S∪{i})f(S)]的加权平均，权重为子集大小的阶乘比（确保公平性）：

ϕi=∑S⊆X∖{i}∣S∣!(d∣S∣1)!d![f(S∪{i})f(S)]\phi_i = \sum_{S \subseteq \mathbf{X} \setminus \{i\}} \frac{|S|! (d |S| 1)!}{d!} [f(S \cup \{i\}) f(S)]ϕi​=∑S⊆X∖{i}​d!∣S∣!(d∣S∣1)!​[f(S∪{i})f(S)]

其中$S$为不含特征$i$的子集，$|S|$为子集大小，$d$为总特征数，$f(S)$为仅用$S$中特征的模型预测值。直接计算需枚举$2^{d1}$个子集，计算量巨大。TreeSHAP通过树结构的路径特性（如每个叶子节点对应一个样本子集）快速近似计算${\varphi }_i$，将复杂度从指数级降至线性级（与树的深度成正比）。

特征筛选：计算所有样本的SHAP值的绝对值均值$\bar{\varphi }\ast i=\frac{\mathrm{１}}{n}\sum \ast {j=1}^n|{\varphi }_{i,j}|$（${\varphi }_{i,j}$为样本$j$的特征$i$的SHAP值），衡量特征$i$的平均预测重要性。筛选${\bar{\varphi }}_i>0.15$的特征作为候选因果特征（通过临床先验知识验证：如高血压、吸烟史等已知风险因素的${\bar{\varphi }}_i$均>0.15，而“患者ID”等无关特征的${\bar{\varphi }}_i$<0.05）。

2. NOTEARS：因果图（DAG）学习候选特征可能存在伴随关联（如年龄与高血压），需通过NOTEARS算法从候选特征中学习因果结构（DAG），区分直接因果关系与间接关联。

线性结构方程模型（LSEM）：假设特征间的因果关系为线性（简化模型，便于解释）：

$\mathbf{X}={\mathbf{\Theta }}^T\mathbf{X}+\mathbf{ϵ}$

其中$\mathbf{X}\in {\mathbb{R}}^{d\times n}$（每行对应一个特征，每列对应一个样本），$\mathbf{\Theta }\in {\mathbb{R}}^{d\times d}$为系数矩阵（${\Theta }_{ij}eq0$表示特征$i$直接因果影响特征$j$，${\Theta }_{ij}=0$表示无直接因果关系），$\mathbf{ϵ}\sim \mathcal{N}(0,\mathbf{\Sigma })$为独立高斯噪声项（$\mathbf{\Sigma }$为对角矩阵，确保噪声无关联）。

无环约束转化：DAG需满足无环性（不存在特征$i_1\to i_2\to ...\to i_k\to i_1$的循环因果）。NOTEARS将该离散约束转化为连续函数：

$\text{Tr}(\exp (\theta \circ \theta ))\le d$

其中$\theta \circ \theta$为$\theta$的Hadamard乘积（逐元素平方，确保非负），$\exp (\mathbf{A})={\sum }_{k=0}^{\infty }\frac{{\mathbf{A}}^k}{k!}$为矩阵指数函数，$\text{Tr}(\cdot )$为矩阵迹（对角线元素之和）。若存在环（如$i\to j\to i$），则$(\theta \circ \theta {)}^2$的对角线元素非零，导致$\exp (\theta \circ \theta )$的迹$\text{Tr}(\cdot )>d$；若无环，则$(\theta \circ \theta {)}^k$的对角线元素全为0（$k\ge 2$），$\exp (\theta \circ \theta )=\mathbf{I}+\theta \circ \theta$，迹$\text{Tr}(\cdot )=d$（$\mathbf{I}$为单位矩阵）。

优化目标：通过最小化拟合损失和正则化项学习$\Theta$：

${\min }_{\Theta }\frac{1}{2n}\Vert \mathbf{X}{\mathbf{\Theta }}^T\mathbf{X}{\Vert }_F^2+\lambda \Vert \Theta {\Vert }_1\text{s.t.}\text{Tr}(\exp (\theta \circ \theta ))\le d$

其中第一项为Frobenius范数损失（衡量LSEM的拟合误差，$\Vert \mathbf{A}\Vert \ast F^2=\sum \ast i,j{A}_{ij}^2$），第二项为L1正则化（$\lambda =0.01$，控制$\Theta$的稀疏性，避免过拟合，得到简洁的因果图）。求解后，$\Theta$的非零元素对应因果边，边权重${\Theta }_{ij}$量化特征$i$对特征$j$的直接因果效应强度（如${\Theta }_{\text{高血压, 中风}}=0.8$表示高血压每增加1单位，中风风险平均增加0.8单位）。最终通过因果图提取核心路径（如“吸烟→动脉硬化→心脏病→中风”），识别影响疾病的直接因果因素。

问题一模型求解过程

一、自注意力增强的生成对抗网络（MissGANATT）：缺失值填充

（一）数据与参数设定

输入数据：三个疾病数据集的原始特征矩阵，包括：
stroke.csv：含11个特征（gender、age、hypertension等），其中bmi特征存在N/A缺失值；
heart.csv：含11个特征（Age、Sex、ChestPainType等），Cholesterol等特征可能存在测量缺失；
cirrhosis.csv：含19个特征（Age、Sex、Ascites等），Cholesterol（缺失率42%）、Triglycerides、Platelets等特征存在NA缺失值。

对每个数据集，构建含缺失值的特征矩阵$\mathbf{X}\in {\mathbb{R}}^{n\times d}$（$n$为样本量，$d$为特征数）及缺失掩码M∈{0,1}n×d\mathbf{M} \in \{0,1\}^{n \times d}M∈{0,1}n×d（$M_{ij}=1$表示$X_{ij}$缺失）。

核心参数：
注意力维度$d_k=d/8$（$d$为特征维度，如cirrhosis.csv的$d=19$，则$d_k=3$）；
生成器全连接层维度：输入层→$2d$→自注意力模块→$d_{\text{miss}}$（$d_{\text{miss}}$为缺失特征数）；
判别器卷积核大小：3×3，步长1，全连接层维度$d$→$d/2$→1；
学习率：生成器$1e4$，判别器$2e4$；
重构损失权重$\lambda =10$（通过交叉验证确定，平衡生成样本真实性与已观测特征保真度）；
训练轮次$epochs=200$，批量大小$batch\_size=64$。

（二）具体求解步骤

步骤1：数据预处理——特征编码与缺失掩码构建
非数值特征编码：对分类特征（如gender、work_type、ChestPainType）采用独热编码（OneHot Encoding），避免引入虚假序关系（如gender的“男/女/其他”转化为3个二进制特征）；对有序特征（如Edema的N/S/Y）采用序数编码（N=0，S=1，Y=2）。
缺失掩码生成：对每个数据集，遍历所有特征，标记缺失值位置（如stroke.csv的bmi=N/A处$M_{ij}=1$，已观测值处$M_{ij}=0$），得到掩码矩阵$\mathbf{M}$；提取已观测特征${\mathbf{X}}_{\text{obs}}=\mathbf{X}\odot (1\mathbf{M})$（$\odot$为逐元素乘法）。

步骤2：生成器构建——自注意力模块嵌入生成器$G$以$\mathbf{X}\ast \text{obs}$和$\mathbf{M}$为输入，输出缺失值$\mathbf{X}\ast \text{miss}$，结构如下：
输入层：拼接${\mathbf{X}}_{\text{obs}}$与$\mathbf{M}$，得到维度$n\times 2d$的输入向量；
全连接层：通过线性变换$H_1=\text{ReLU}(W_1\cdot [{\mathbf{X}}_{\text{obs}},\mathbf{M}]+b_1)$提取初步特征，$W_1\in {\mathbb{R}}^{2d\times 2d}$，$b_1\in {\mathbb{R}}^{2d}$；
自注意力模块：对$H_1$计算特征间关联权重，公式为：$$\mathbf{Q}=H_1{\mathbf{W}}_Q,\mathbf{K}=H_1{\mathbf{W}}_K,\mathbf{V}=H_1{\mathbf{W}}_V$$$$\text{Attention}(H_1)=\text{softmax}\left(\frac{\mathbf{Q}{\mathbf{K}}^T}{\sqrt{d_k}}\right)\mathbf{V}$$其中${\mathbf{W}}_Q,{\mathbf{W}}_K,{\mathbf{W}}_V\in {\mathbb{R}}^{2d\times d_k}$为可学习参数，$d_k=d/8$。输出加权特征$H_2=\text{Attention}(H_1)+H_1$（残差连接）；
输出层：通过线性变换$H_3=W_2\cdot H_2+b_2$（$W_2\in {\mathbb{R}}^{2d\times d_{\text{miss}}}$，$b_2\in {\mathbb{R}}^{d_{\text{miss}}}$）生成缺失值$\mathbf{X}\ast \text{miss}$，并通过医学范围约束（如BMI∈[15,50]）调整输出：$$\mathbf{X}\ast \text{miss}=\text{clip}(H_3,{\text{min}}_f,{\text{max}}_f)$$其中${\text{min}}_f/{\text{max}}_f$为特征$f$的医学合理范围（如血糖$\text{min}=40$ mg/dL，$\text{max}=300$ mg/dL）。

步骤3：判别器构建——缺失区域质量评估判别器$D$以完整样本（真实样本$\mathbf{X}\ast \text{true}$或生成样本$\mathbf{X}\ast \text{fill}=[\mathbf{X}\ast \text{obs},\mathbf{X}\ast \text{miss}]$）和$\mathbf{M}$为输入，输出样本真实性概率$D(\mathbf{X})\in [0,1]$，结构如下：
输入层：拼接完整样本与$\mathbf{M}$，得到$n\times 2d$的输入向量；
卷积层：通过3×3卷积核提取局部特征交互：$C_1=\text{Conv}([{\mathbf{X}}_{\text{fill}},\mathbf{M}],3,1)$，激活函数为LeakyReLU；
全连接层：$C_2=\text{ReLU}(W_3\cdot C_1+b_3)$（$W_3\in {\mathbb{R}}^{d\times d/2}$），$D(\mathbf{X})=\text{Sigmoid}(W_4\cdot C_2+b_4)$（$W_4\in {\mathbb{R}}^{d/2\times 1}$），输出真实性概率。

步骤4：对抗训练——生成器与判别器优化交替优化生成器和判别器，最小化总损失$L_{\text{total}}=L_G+L_D+\lambda L_{\text{rec}}$：
生成器损失：$L_G=\mathbb{E}[\log D({\mathbf{X}}_{\text{fill}},\mathbf{M})]$，目标是使生成样本被判别为“真实”的概率最大化；
判别器损失：$L_D=\mathbb{E}[\log D(\mathbf{X}\ast \text{true},\mathbf{M})]\mathbb{E}[\log (1D(\mathbf{X}\ast \text{fill},\mathbf{M}))]$，目标是区分真实样本与生成样本；
重构损失：$L_{\text{rec}}=\Vert {\mathbf{X}}_{\text{fill}}\odot (1\mathbf{M})\mathbf{X}\odot (1\mathbf{M}){\Vert }_2^2$，确保已观测特征不被篡改。

采用Adam优化器，每轮训练中先更新判别器（5次），再更新生成器（1次），直至损失收敛（连续10轮$L_{\text{total}}$波动<1%）。

步骤5：缺失值填充与输出训练完成后，将原始数据的$\mathbf{X}\ast \text{obs}$和$\mathbf{M}$输入生成器$G$，得到$\mathbf{X}\ast \text{miss}$，拼接为完整特征矩阵${\mathbf{X}}_{\text{fill}}$。输出三个数据集的填充后数据，用于后续异常值检测。

二、自适应阈值孤立森林LOF（ATIForestLOF）：异常值检测

（一）数据与参数设定

输入数据：经MissGANATT填充后的完整特征矩阵${\mathbf{X}}_{\text{fill}}\in {\mathbb{R}}^{n\times d}$（如stroke.csv填充后$n=5110$，$d=11$；heart.csv$n\approx 1000$，$d=11$；cirrhosis.csv$n\approx 1000$，$d=19$）。

核心参数：
孤立森林（IForest）：树数量$t=100$，最大深度${\log }_{2}n$（避免过拟合），异常分数阈值$s_{\text{th}}=0.7$（初步筛选潜在异常）；
局部离群因子（LOF）：近邻数$k=5$（平衡局部性与稳定性），初始LOF阈值$1.5$；
核密度估计（KDE）：高斯核函数$K(u)=\frac{1}{\sqrt{2\pi }}{e}^{u^2/2}$，带宽$h$通过Silverman准则计算：$h=1.06\min (\sigma ,IQR/1.34)m^{1/5}$（$m$为潜在异常样本数，$\sigma$为LOF值标准差，$IQR$为四分位距）；
显著性水平$\alpha$：根据特征分布陡峭程度自适应（血压$\alpha =0.01$，BMI$\alpha =0.05$）。