数据挖掘中的“脏数据”处理：基础清洗方法与注意事项

在数据挖掘过程中，“脏数据”（Dirty Data）指存在质量问题的原始数据，包括缺失值、异常值、重复记录、格式错误等。有效的数据清洗是保证分析结果可靠性的关键步骤。

一、基础清洗方法

1. 缺失值处理

• 删除法：直接删除缺失率高的记录（适用于缺失比例<5%）
• 填充法：
  • 数值型：均值/中位数填充（$x_{\text{fill}} = \bar{x}$）
  • 分类型：众数填充
  • 高级方法：回归插补、KNN插补

2. 异常值处理

• 统计检测法：
  • $3\sigma$ 原则：剔除超出 $\mu \pm 3\sigma$ 的数据
  • IQR 法：剔除小于 $Q1 - 1.5 \times IQR$ 或大于 $Q3 + 1.5 \times IQR$ 的值
• 业务规则法：根据领域知识设定阈值（如年龄>150无效）

3. 重复数据处理

# Python示例：使用pandas去重
import pandas as pd
df = pd.read_csv("data.csv")
df_clean = df.drop_duplicates(subset=['user_id', 'timestamp'])  # 按关键字段去重

4. 格式标准化

• 日期统一：YYYY-MM-DD → 2023-08-01
• 文本清洗：全角转半角、大小写统一
• 数值转换：去除货币符号 $100 → 100

二、关键注意事项

1. 数据备份
   清洗前必须备份原始数据，避免不可逆操作。

2. 业务逻辑优先
   异常值是否删除需结合业务场景（如金融风控中极高交易额可能有效）。

3. 缺失原因分析
   区分：

   • MCAR（完全随机缺失）：可直接删除
   • MAR（随机缺失）：需建模处理
   • MNAR（非随机缺失）：需因果推断

4. 清洗过程可追溯
   记录所有操作步骤，例如：

   | 步骤 | 操作                | 影响记录数 |
   |------|---------------------|-----------|
   | 1    | 删除重复值          | -120      |
   | 2    | 年龄异常值填充为Null | -35       |
   

5. 自动化与人工结合
   复杂场景（如文本情感歧义）需人工复核。

三、清洗效果验证

• 分布对比：清洗前后数据分布直方图对比
• 相关性检验：关键变量相关性变化监测
• 模型性能提升：比较清洗前后模型的AUC/F1值

示例：某电商用户数据集清洗后，购买预测模型准确率从72%提升至89%。

核心原则：清洗不是追求“完美数据”，而是构建适合分析目标的可用数据集。始终在数据质量、时间成本和业务需求间寻求平衡。