Pandas字典映射聚合列技巧

本文深入解析了如何运用 Pandas 库，结合字典映射，高效聚合 DataFrame 数据列，助力数据分析提速。针对需要按规则合并多列生成新列的需求，文章提出了两种巧妙的解决方案。一是通过创建反向映射字典，利用 `rename` 和 `groupby.sum` 函数，将指定列映射到新的分组键，实现快速求和。二是针对较新版本 Pandas，推荐使用转置 `.T` 的策略，同样达到聚合目的。这两种方法均避免了传统循环的低效，充分展现了 Pandas 向量化操作的优势，提升代码简洁性与执行效率，是数据处理中不可或缺的实用技巧。掌握这些技巧，能显著提高数据处理效率和代码可维护性。

本文详细介绍了如何利用 Pandas 库高效地根据一个字典来聚合 DataFrame 中的列。通过将原始列名映射到新的分组键，并结合 `rename` 和 `groupby.sum` 方法，或者在较新版本 Pandas 中采用转置 (`.T`) 的策略，我们可以实现将多个指定列按行求和并创建新列的需求，避免了传统循环的低效，提升了代码的简洁性和执行效率。

在数据处理中，我们经常会遇到需要将 DataFrame 中的多列按照某种规则进行聚合，生成新的列。例如，给定一个 DataFrame 和一个字典，该字典的键代表新的列名，值则是一个包含现有列名的列表，表示这些现有列需要按行求和以构成新的列。传统上，这可能通过循环实现，但在 Pandas 中，有更“Pythonic”且高效的向量化方法。

场景描述与初始数据准备

假设我们有一个 Pandas DataFrame，其中包含多列数值数据。同时，我们还有一个字典，它定义了如何将这些列进行分组和求和。

示例数据：

import pandas as pd

df = pd.DataFrame([[4,8,52,7,54],[0,20,2,21,35],[2,33,12,1,87]], columns = ['A', 'B', 'C', 'D', 'E'])
dic = {'x':['A','D'], 'y' : ['E'], 'z':['B','C']}

print("原始 DataFrame:")
print(df)
print("\n聚合字典:")
print(dic)

输出：

原始 DataFrame:
   A   B   C   D   E
0  4   8  52   7  54
1  0  20   2  21  35
2  2  33  12   1  87

聚合字典:
{'x': ['A', 'D'], 'y': ['E'], 'z': ['B', 'C']}

我们的目标是创建一个新的 DataFrame，其中包含 'x', 'y', 'z' 三列。列 'x' 的值是原始 DataFrame 中 'A' 和 'D' 列的按行和；列 'y' 是 'E' 列的值；列 'z' 是 'B' 和 'C' 列的按行和。

解决方案一：利用 rename 和 groupby.sum

这种方法的核心思想是：首先创建一个反向映射字典，将原始列名映射到它们所属的新分组名。然后，利用 df.rename(columns=d2) 临时“重命名”列，使得属于同一分组的列拥有相同的名称。最后，使用 groupby(level=0, axis=1).sum() 对这些具有相同名称的列进行按行求和。

1. 创建反向映射字典 d2： 这个字典将原始 DataFrame 的每个列名（如 'A', 'D'）映射到其在结果 DataFrame 中对应的列名（如 'x'）。

   d2 = {v:k for k,l in dic.items() for v in l}
   print("\n反向映射字典:")
   print(d2)

   输出：

   反向映射字典:
   {'A': 'x', 'D': 'x', 'E': 'y', 'B': 'z', 'C': 'z'}

2. 重命名列并进行分组求和：df.rename(columns=d2) 会将 DataFrame 的列名根据 d2 进行转换。例如，'A' 和 'D' 都会被临时命名为 'x'。 groupby(level=0, axis=1).sum() 的作用是：

   • axis=1 表示按列进行分组操作。
   • level=0 在这里指的是列名本身。由于重命名后，属于同一分组的列现在具有相同的名称，groupby 会将它们视为一个组。
   • .sum() 则对每个组内的列进行求和，由于 axis=1，这实际上是按行求和。

   out = df.rename(columns=d2).groupby(level=0, axis=1).sum()
   print("\n解决方案一结果:")
   print(out)

   输出：

   解决方案一结果:
       x   y   z
   0  11  54  60
   1  21  35  22
   2   3  87  45

解决方案二：利用转置 (.T) 处理（适用于较新 Pandas 版本）

在某些较新的 Pandas 版本中，直接在 groupby 中使用 axis=1 可能会被弃用或推荐使用其他方法。一个等效且兼容性更好的方法是先转置 DataFrame，然后在行上（即原列）进行分组操作，最后再转置回来。

1. 创建反向映射字典 d2： 与解决方案一相同，首先创建这个字典。

   d2 = {v:k for k,l in dic.items() for v in l}

2. 转置、重命名、分组求和并再次转置：

   • df.T：将 DataFrame 转置，此时原来的列名变成了索引。
   • .rename(d2)：此时 d2 会作用于转置后的索引（即原来的列名）。
   • .groupby(level=0).sum()：在转置后的 DataFrame 上，level=0 指的是当前的行索引。具有相同索引值的行（即原 DataFrame中属于同一分组的列）会被聚合求和。
   • .T：最后再次转置，将结果恢复到我们期望的列式结构。

   out_transposed = df.T.rename(d2).groupby(level=0).sum().T
   print("\n解决方案二（转置）结果:")
   print(out_transposed)

   输出：

   解决方案二（转置）结果:
       x   y   z
   0  11  54  60
   1  21  35  22
   2   3  87  45

总结与注意事项

• Pythonic 与效率： 这两种方法都充分利用了 Pandas 的向量化操作，避免了显式的 Python 循环，因此在处理大规模数据时具有显著的性能优势。它们比手动迭代 DataFrame 的行和列要高效得多。
• 灵活性： 这种方法非常灵活，只要能够构建出正确的映射字典，就可以根据任意复杂的列分组规则进行聚合。
• groupby(level=0, axis=1) 的理解： level=0 在这里指的是 DataFrame 的列索引的第一个（也是唯一一个）级别。当列名被 rename 映射后，具有相同映射值的列在 groupby 时会被视为一个组。
• 转置方法的适用性： 当遇到 groupby 在 axis=1 上的使用被提示弃用时，转置方法是一个很好的替代方案，它在功能上完全等价。
• 错误处理： 在实际应用中，需要确保 dic 中引用的所有列名都存在于 df 中，否则 rename 操作可能会导致错误或意外行为。

通过掌握这些 Pandas 技巧，您可以更高效、更简洁地完成 DataFrame 列的聚合任务，从而提升数据处理的效率和代码的可维护性。

今天关于《Pandas字典映射聚合列技巧》的内容介绍就到此结束，如果有什么疑问或者建议，可以在golang学习网公众号下多多回复交流；文中若有不正之处，也希望回复留言以告知！