LGBMClassifier概率列设置教程详解

在使用LGBMClassifier处理多分类问题时，`predict_proba`方法的默认输出列顺序可能并非我们期望的。本文详细介绍了如何定制LGBMClassifier的`predict_proba`方法输出列顺序，解决其默认按字典序排列类别概率的问题。传统的修改`classes_`属性或后处理输出的方法存在局限性，因此我们提供了一种有效的解决方案：通过预先配置`sklearn.preprocessing.LabelEncoder`来映射目标标签，从而确保`predict_proba`按指定顺序返回类别概率。同时，需要注意该方法对`predict`方法输出的影响，并提供相应的反向转换方法。通过本文，您可以更灵活地控制LGBMClassifier的输出，提升模型使用的便捷性和可控性。

本教程详细阐述了如何定制LGBMClassifier predict_proba 方法的输出列顺序。针对LGBMClassifier默认按字典序排列类别概率的问题，文章解释了直接修改classes_属性或后处理输出的局限性，并提供了一种通过预先配置sklearn.preprocessing.LabelEncoder来映射目标标签的有效解决方案，确保predict_proba按指定顺序返回类别概率，同时指出该方法对predict方法输出的影响。

理解LGBMClassifier的默认行为

在使用LGBMClassifier处理多分类问题时，其predict_proba方法返回的概率数组的列顺序通常是根据模型在训练阶段识别到的类别标签进行字典序（lexicographical）排序的。这种行为是Scikit-learn框架的惯例，LGBMClassifier作为其兼容库也遵循此规则。例如，如果你的目标类别是'a', 'b', 'c'，无论它们在训练数据中出现的原始顺序如何，predict_proba的输出列通常会按'a', 'b', 'c'的顺序排列。这是因为在内部，模型会使用类似numpy.unique()的方法来识别并对类别进行排序，然后将它们映射到从0开始的整数标签。这种默认的排序机制通常不易通过模型参数直接修改。

常见尝试与局限

为了改变predict_proba的输出列顺序，用户可能会尝试以下两种常见方法，但它们都存在一定的局限性：

尝试一：直接修改model.classes_属性

许多用户可能会尝试在模型训练完成后，直接修改LGBMClassifier实例的classes_属性，例如将其设置为期望的顺序：model.classes_ = ['b', 'a', 'c']。 然而，classes_是LGBMClassifier（以及Scikit-learn中大多数分类器）的一个只读属性。它在模型调用fit方法进行训练时，根据训练数据中的目标标签自动确定并固定下来。尝试修改这个属性会导致AttributeError，因为它并非设计为可由用户直接设置。

尝试二：对predict_proba输出进行后处理

另一种常见的做法是，在每次调用predict_proba方法后，根据模型实际的classes_顺序和用户期望的顺序，手动对输出的概率列进行重新排列。 例如，如果模型实际输出顺序是['a', 'b', 'c']，但你期望['b', 'a', 'c']，你可以先确定正确的索引映射，然后对predict_proba的输出进行切片和重排：

# 假设 model.classes_ 实际为 ['a', 'b', 'c']
# 期望的顺序为 ['b', 'a', 'c']
desired_order = ['b', 'a', 'c']
# 获取模型实际类别到期望顺序的索引映射
correct_idx = [list(model.classes_).index(val) for val in desired_order]

# 进行预测并重新排列
probabilities = model.predict_proba(test_data[features])[:, correct_idx]

这种方法确实能够达到目的，但它引入了额外的后处理步骤。在每次调用predict_proba时都需要执行此操作，不仅增加了代码的复杂性，也可能在频繁预测时带来轻微的性能开销，不够优雅和高效。

解决方案：通过LabelEncoder控制类别顺序

为了在模型训练阶段就控制predict_proba的输出顺序，我们可以利用sklearn.preprocessing.LabelEncoder在训练前对目标标签进行预处理。关键在于，LabelEncoder允许我们显式地定义其内部类别映射的顺序，而不是让它自动从数据中推断。

实现步骤：

1. 定义期望的类别顺序： 明确你希望predict_proba输出的列顺序，例如['b', 'a', 'c']。
2. 初始化并配置LabelEncoder： 创建一个LabelEncoder实例，并通过直接设置其classes_属性来指定类别顺序。这一步至关重要，它告诉编码器如何将你的字符串标签映射到整数。
3. 转换目标标签： 使用配置好的LabelEncoder将原始的字符串目标标签转换为整数标签。
4. 训练LGBMClassifier： 使用转换后的整数标签来训练LGBMClassifier。此时，模型会根据这些整数标签的顺序来学习，并确保predict_proba的输出列与LabelEncoder的映射顺序一致。

示例代码：

import pandas as pd
from lightgbm import LGBMClassifier
import numpy as np
from sklearn.preprocessing import LabelEncoder

# 1. 准备示例数据
features = ['feat_1']
TARGET = 'target'
df = pd.DataFrame({
    'feat_1': np.random.uniform(size=100),
    'target': np.random.choice(a=['b', 'c', 'a'], size=100)
})

print("原始数据中的类别:", df[TARGET].unique())

# 2. 定义期望的类别顺序
desired_class_order = ['b', 'a', 'c']
print("期望的 predict_proba 输出顺序:", desired_class_order)

# 3. 初始化并配置 LabelEncoder
le = LabelEncoder()
# 关键一步：手动设置 LabelEncoder 的 classes_ 属性
# 确保传入的是一个NumPy数组，与LabelEncoder内部期望的类型一致
le.classes_ = np.asarray(desired_class_order)

# 4. 转换目标标签
# 创建一个副本以避免修改原始DataFrame，确保原始数据不受影响
df_transformed = df.copy()
df_transformed[TARGET] = le.transform(df_transformed[TARGET])

print("\nLabelEncoder 映射关系:")
for i, cls in enumerate(le.classes_):
    print(f"  '{cls}' -> {i}")

# 5. 训练 LGBMClassifier
model = LGBMClassifier()
model.fit(df_transformed[features], df_transformed[TARGET])

# 验证模型内部识别的类别顺序（此时为整数）
# model.classes_ 将反映 LabelEncoder 设定的整数顺序
print("\nLGBMClassifier 内部识别的类别顺序 (整数):", model.classes_)

# 6. 进行预测并验证 predict_proba 输出
# 创建一个测试集
test_df = pd.DataFrame({
    'feat_1': np.random.uniform(size=10)
})
probabilities = model.predict_proba(test_df[features])

print("\npredict_proba 输出示例 (前5行):")
print(probabilities[:5])
print(f"其列顺序对应于: {desired_class_order[0]} (索引0), {desired_class_order[1]} (索引1), {desired_class_order[2]} (索引2)")

# 验证：例如，如果 desired_class_order 是 ['b', 'a', 'c']
# 那么 probabilities[:, 0] 对应 'b' 的概率
# probabilities[:, 1] 对应 'a' 的概率
# probabilities[:, 2] 对应 'c' 的概率

注意事项与局限

• predict方法输出的变化： 使用此方法后，LGBMClassifier的predict方法将返回整数形式的类别标签（例如0, 1, 2），而不是原始的字符串标签（'b', 'a', 'c'）。
• 反向转换： 如果你需要获取原始的字符串标签作为predict方法的输出，你需要对predict的输出结果使用LabelEncoder的inverse_transform方法进行反向转换。

  predicted_labels_int = model.predict(test_df[features])
  predicted_labels_str = le.inverse_transform(predicted_labels_int)
  print("\npredict 方法输出 (整数):", predicted_labels_int[:5])
  print("反向转换为字符串标签:", predicted_labels_str[:5])

• 一致性： 确保用于训练和预测的数据都经过了相同LabelEncoder实例的转换，以保证类别映射的一致性。

总结

通过在训练前利用sklearn.preprocessing.LabelEncoder来显式控制目标标签的整数映射顺序，我们可以有效地定制LGBMClassifier predict_proba方法的输出列顺序。这种方法比在每次预测后手动进行后处理更为集成和简洁，是处理此类需求的首选方案。然而，开发者需要注意predict方法输出标签形式的变化，并在必要时进行反向转换以获取原始的字符串标签。

理论要掌握，实操不能落！以上关于《LGBMClassifier概率列设置教程详解》的详细介绍，大家都掌握了吧！如果想要继续提升自己的能力，那么就来关注golang学习网公众号吧！