Python缺失值处理技巧：均值填补实战教程

本文深入解析了Python中使用SimpleImputer进行缺失值处理的关键实战要点：明确指出默认策略'mean'仅适用于数值列，类别列必须显式指定'most_frequent'，否则将报错；强调fit只能在训练集上执行以防止数据泄露，测试集必须复用同一imputer的transform；提醒用户注意空字符串、'nan'等非标准缺失标识需预先清洗为np.nan；并厘清均值填补与标准化的严格先后顺序——必须先填补再标准化，且在Pipeline中确保预处理器顺序正确，避免模型评估失真和结果不可复现。

SimpleImputer 默认策略是 mean 吗？

不是。SimpleImputer 的 strategy 参数默认值是 'mean' ——但仅限于数值型列；如果数据中混有字符串或类别型列，直接用默认参数会报错 ValueError: Cannot use mean strategy with non-numeric data。这意味着你得先确认列类型，或显式指定策略。

实操建议：

• 对数值列用 strategy='mean' 或 'median'（后者对异常值更鲁棒）
• 对类别列必须用 strategy='most_frequent'，不能依赖默认值
• 若不确定列类型，先用 df.dtypes 检查，再分组处理，别一股脑传整个 DataFrame 给一个 SimpleImputer

fit 和 transform 为什么不能合并成一步？

因为 fit 是从训练数据中“学”出填补值（比如均值），而 transform 是用这个值去填训练/测试数据。如果在测试集上单独 fit_transform，就等于用测试集自己的均值去填补——这会造成数据泄露，模型评估会过于乐观。

常见错误现象：

• 在测试集上调用 imputer.fit_transform(X_test) → 均值来自测试集，评估失真
• 用 pd.DataFrame.fillna(X_train.mean()) 手动填，但没对测试集用同一套均值 → 测试时列名顺序变化或新增列会导致错位

正确做法：只对训练集 fit，再对训练集和测试集都用同一个 transform。

SimpleImputer 处理空字符串或 'nan' 字符串怎么办？

SimpleImputer 只识别 Python 的 np.nan、None 和 pandas 的 pd.NA，不识别字符串 'nan'、'NULL' 或空字符串 ''。这些会被当作有效类别值保留，导致后续 strategy='most_frequent' 出错，或 mean 计算失败。

使用场景：从 CSV 读入时未指定 na_values，导致本该是缺失的字段变成了字符串。

解决步骤：

• 读取时加参数：pd.read_csv(..., na_values=['', 'NULL', 'nan', 'N/A'])
• 或清洗阶段统一转：df.replace({'': np.nan, 'nan': np.nan, 'NULL': np.nan}, inplace=True)
• 再检查：df.isna().sum() 确认是否真变成 NaN

均值填补后还要做标准化吗？

要，而且顺序不能错。均值填补本身不改变量纲，但填补后的数据分布已含人为引入的集中趋势；如果先标准化再填补，均值就不是原始分布的均值了——StandardScaler 会把填补值也拉到均值为 0、标准差为 1，破坏填补逻辑。

正确流程：

• 先用 SimpleImputer(strategy='mean') 填补缺失值
• 再用 StandardScaler().fit_transform() 对填补后的训练数据拟合并转换
• 测试数据同样先 transform（不重新 fit），再标准化

容易被忽略的一点：如果你用 ColumnTransformer 组合多个预处理器，务必确认 SimpleImputer 在 StandardScaler 之前执行——顺序写错会导致结果不可复现。

文中关于的知识介绍，希望对你的学习有所帮助！若是受益匪浅，那就动动鼠标收藏这篇《Python缺失值处理技巧：均值填补实战教程》文章吧，也可关注golang学习网公众号了解相关技术文章。