PandasGroupBy筛选子字符串分组方法

本文揭秘了一种高效、优雅且高度可扩展的Pandas分组筛选技巧：通过向量化布尔条件构建、`groupby().any()`聚合判断各子串是否在组内至少出现一次，再用`all(axis=1)`实现多条件“与”逻辑，精准识别同时满足多个文本子串匹配规则的分组（如员工必须完成“onboarding part 1”和任意“corporate compliance”培训）；该方法彻底规避了低效冗长的`apply`循环和字符串列表操作，兼顾性能、可读性与鲁棒性，轻松应对培训合规校验、订单标签分类、日志行为聚类等真实业务场景。

本文介绍一种简洁、高效且可扩展的 Pandas 方法：通过布尔条件组合 + groupby().any() + all(axis=1)，精准识别满足多个子字符串匹配条件的分组（如员工是否完成“onboarding part 1”和任一“corporate compliance”培训）。

本文介绍一种简洁、高效且可扩展的 Pandas 方法：通过布尔条件组合 + `groupby().any()` + `all(axis=1)`，精准识别满足多个子字符串匹配条件的分组（如员工是否完成“onboarding part 1”和任一“corporate compliance”培训）。

在实际数据分析中，我们常需基于文本子串（如课程名称关键词）对分组数据进行逻辑判断——例如判定某员工是否“完成入职培训”，其业务规则可能是：必须完成至少一门含 "onboarding part 1" 的课程，且同时完成至少一门含 "corporate compliance" 的课程。这类需求看似简单，但若直接在 groupby().apply() 中嵌套字符串操作并转为 list 再用 True in ... 判断，不仅可读性差、性能低，还难以维护和扩展。

更“Pandanic”的做法是将条件向量化、延迟分组聚合、最后统一逻辑合并。以下是推荐的三步范式：

✅ 步骤一：构建向量化布尔条件

避免在 apply 中逐组处理，而是先为整列生成布尔 Series，充分利用 Pandas 底层优化：

import pandas as pd

data = [
    {"EmployeeID": 1, "CompletedCourseName ": "onboarding part 1"},
    {"EmployeeID": 1, "CompletedCourseName ": "onboarding part 2"},
    {"EmployeeID": 1, "CompletedCourseName ": "corporate compliance training A"},
    {"EmployeeID": 2, "CompletedCourseName ": "corporate compliance training B"},
    {"EmployeeID": 2, "CompletedCourseName ": "Random other Training"}
]
df = pd.DataFrame(data)

# 向量化条件（忽略大小写，提升鲁棒性）
c1 = df['CompletedCourseName '].str.contains('onboarding part 1', case=False, na=False)
c2 = df['CompletedCourseName '].str.contains('corporate compliance', case=False, na=False)  # 更通用：匹配任意合规培训

⚠️ 注意：务必添加 na=False 参数，防止缺失值引发 NaN 导致后续 any() 返回 NaN，破坏布尔逻辑。

✅ 步骤二：按分组聚合条件（.groupby().any()）

将多个条件拼接为 DataFrame，再按 EmployeeID 分组，对每列独立执行 any() —— 即“该员工是否至少满足该条件一次”：

# 拼接条件列，并按 EmployeeID 分组检查各条件是否被满足
condition_df = pd.concat([c1, c2], axis=1, keys=['has_onboarding_p1', 'has_compliance'])
grouped_any = condition_df.groupby(df['EmployeeID']).any()

print(grouped_any)

输出：

            has_onboarding_p1  has_compliance
EmployeeID                                   
1                        True            True
2                       False            True

✅ 步骤三：跨条件逻辑合并（.all(axis=1)）

对每个员工（行），检查所有条件列是否全部为 True，最终得到布尔型结果 Series：

result = grouped_any.all(axis=1)
print(result)

输出：

EmployeeID
1     True
2    False
dtype: bool

? 优势总结与扩展提示

• 性能优越：全程向量化运算，避免 Python 层循环与 apply 开销；
• 逻辑清晰：条件分离、聚合解耦、合并明确，便于调试与协作；
• 高度可扩展：新增条件只需追加 c3, c4 等布尔变量，修改 concat 和 keys 即可；
• 健壮性强：case=False + na=False 覆盖常见数据噪声；
• 结果即用：返回 Series 可直接用于布尔索引（如 df.groupby('EmployeeID').filter(lambda g: result[g.name])）或合并回原表。

? 小技巧：若需返回完整员工记录而非仅布尔结果，可用 result[result].index 获取达标 EmployeeID 列表，再通过 df[df['EmployeeID'].isin(...)] 筛选原始数据。

掌握这一模式，你将能优雅应对各类“多条件子串匹配+分组判定”场景——从培训完成度校验，到订单标签分类，再到日志行为聚类，皆可举一反三。

好了，本文到此结束，带大家了解了《PandasGroupBy筛选子字符串分组方法》，希望本文对你有所帮助！关注golang学习网公众号，给大家分享更多文章知识！