Pandas添加子串分类列技巧

各位小伙伴们，大家好呀！看看今天我又给各位带来了什么文章？本文标题是《利用字典为Pandas添加子串分类列方法》，很明显是关于文章的文章哈哈哈，其中内容主要会涉及到等等，如果能帮到你，觉得很不错的话，欢迎各位多多点评和分享！

本文详细介绍了如何使用Python的Pandas库，结合字典对DataFrame中的文本列进行分类。当字典的键是DataFrame列中字符串的子集时，传统的map方法无法直接应用。本教程通过apply方法与自定义的lambda函数，演示了如何高效地识别并分配类别，确保即使面对部分匹配的复杂情况也能准确地为数据框添加分类信息。

在数据分析和处理中，为数据集中的记录添加分类信息是一项常见的任务。当分类依据可以从现有文本列中提取，并且这种提取涉及到子字符串匹配时，传统的映射方法可能不再适用。本教程将指导您如何利用Python的Pandas库，结合一个预定义的分类字典，为DataFrame动态地创建并填充一个类别列。

场景概述

假设我们有一个包含商品名称和成本的DataFrame，以及一个将关键词映射到类别的字典。我们的目标是根据商品名称中是否包含字典中的关键词，为其分配相应的类别。

示例数据：

一个包含商品名称的DataFrame： | Item | Cost | | :------------------------- | :--- | | apple from happy orchard | 15 | | grape from random vineyard | 20 | | chickpea and black bean mix | 10 | | coffee cup with dog decal | 14 |

一个分类字典：

category_dict = {'apple':'fruit', 'grape':'fruit', 'chickpea':'beans','coffee cup':'tableware'}

我们期望的结果是： | Item | Cost | Category | | :------------------------- | :--- | :--------- | | apple from happy orchard | 15 | fruit | | grape from random vineyard | 20 | fruit | | chickpea and black bean mix | 10 | beans | | coffee cup with dog decal | 14 | tableware |

挑战分析

直接使用 df['Item'].map(category_dict) 的方法在这里是无效的，因为map函数要求Item列中的值与category_dict的键完全匹配。然而，在我们的场景中，Item列的值是更长的描述性字符串，而category_dict的键只是这些描述中的子字符串（例如，"apple from happy orchard" 包含 "apple"）。因此，我们需要一种更灵活的匹配机制。

解决方案：使用 apply 方法与 Lambda 函数

Pandas DataFrame的apply方法允许我们对DataFrame的行或列应用一个函数。结合Python的lambda函数，我们可以定义一个自定义的匹配逻辑，遍历字典的键，检查它们是否作为子字符串存在于DataFrame的每个Item中。

以下是实现这一功能的代码示例：

import pandas as pd

# 1. 定义分类字典
category_dict = {'apple': 'fruit', 'grape': 'fruit', 'chickpea': 'beans', 'coffee cup': 'tableware'}

# 2. 创建示例 DataFrame
data = {
    'Item': ['apple from happy orchard', 'grape from random vineyard', 'chickpea and black bean mix', 'coffee cup with dog decal'],
    'Cost': [15, 20, 10, 14]
}
df = pd.DataFrame(data)

print("原始 DataFrame:")
print(df)
print("-" * 30)

# 3. 使用 apply 和 lambda 函数添加 'Category' 列
# 对于 'Item' 列中的每一个字符串 x：
# 遍历 category_dict 中的每一个键值对 (key, value)
# 如果 key 是 x 的子字符串，则返回对应的 value
# next() 函数会返回第一个匹配到的值
# 如果没有找到任何匹配，则返回 None
df['Category'] = df['Item'].apply(lambda x: next((value for key, value in category_dict.items() if key in x), None))

print("\n添加 'Category' 列后的 DataFrame:")
print(df)

代码解释：

• df['Item'].apply(...): 这会将括号内的lambda函数应用于df['Item']列中的每一个元素。
• lambda x: ...: x代表Item列中的当前字符串（例如 "apple from happy orchard"）。
• next((value for key, value in category_dict.items() if key in x), None):
  • 这是一个生成器表达式，它遍历category_dict中的所有键值对。
  • if key in x: 这是一个条件判断，检查字典的key是否是当前Item字符串x的子字符串。
  • 如果条件为真，生成器会产出对应的value。
  • next(...): 这个内置函数从生成器中获取下一个（即第一个）值。
  • next(..., None): 如果生成器没有产生任何值（即Item字符串中没有匹配到任何字典键），next函数将返回None，而不是抛出StopIteration错误。

注意事项

1. 匹配顺序： category_dict.items() 的迭代顺序会影响匹配结果。如果一个Item字符串可能匹配多个字典键（例如，"apple pie" 既包含 "apple" 也可能包含 "pie"），next函数将返回字典中第一个被迭代到的匹配项的类别。如果匹配顺序很重要，您可能需要对字典进行排序，或者调整category_dict.items()的迭代方式。
2. 无匹配项处理： 当前的解决方案在没有找到匹配项时会填充None。您可以根据需要将其替换为其他默认值，例如 'Other' 或 np.nan。

   # 示例：将未匹配项填充为 'Other'
   df['Category'] = df['Item'].apply(lambda x: next((value for key, value in category_dict.items() if key in x), 'Other'))

3. 性能考量： 对于非常大的DataFrame和/或包含大量键的字典，apply方法在Python循环中执行，可能不如Pandas内置的矢量化操作高效。然而，对于大多数常见场景，这种方法的性能是完全可以接受的。如果性能成为瓶颈，可以考虑使用正则表达式匹配或更高级的文本处理库（如fuzzywuzzy进行模糊匹配）来优化。
4. 键的精确性： 确保字典中的键足够精确，以避免意外的匹配。例如，如果有一个键是“apple”，另一个是“pineapple”，那么包含“pineapple”的项可能会意外地匹配到“apple”，这取决于匹配顺序。

总结

通过结合Pandas的apply方法和自定义的lambda函数，我们可以灵活地利用字典为DataFrame添加分类列，即使分类依据是文本列中的子字符串匹配。这种方法提供了一个强大且易于理解的解决方案，适用于处理各种复杂的文本分类需求。理解其背后的匹配逻辑和潜在的注意事项，将帮助您更有效地管理和分析数据。

本篇关于《Pandas添加子串分类列技巧》的介绍就到此结束啦，但是学无止境，想要了解学习更多关于文章的相关知识，请关注golang学习网公众号！