Python处理千万数据慢？Pandas向量化提速技巧

Python中用Pandas处理千万级数据时，传统循环（如iterrows、loc逐行赋值或列表推导式）会因反复触发Python解释器开销、类型检查和索引查找而严重拖慢速度，性能差距可达数十倍；真正高效的解法是彻底转向向量化操作——用df['col'] = df['other_col'] * 2、np.where、np.select、str.方法、category类型转换和.values直接访问底层NumPy数组，不仅能将内存占用大幅压缩、分组聚合提速数倍，更能把原本需数秒甚至卡死的操作压缩至几十毫秒，因为Pandas的本质是构建在NumPy之上的向量化引擎，而非“可逐行编辑的Excel”。

直接用 df['col'] = df['other_col'] * 2 这类向量化操作，别写 for i in range(len(df)): —— 否则性能差距不是几倍，而是几十倍起步。

为什么 Pandas 循环慢得离谱

Pandas 的 df.iterrows()、df.loc[i, 'x'] 或纯 Python for 遍历 DataFrame，本质是逐行触发 Python 解释器开销 + 类型检查 + 索引查找。每行都像重新启动一次小型解释器。

• 底层没走 NumPy 向量化路径，完全绕开了 C 实现的优化
• 每次 df.loc[i, 'x'] 都要查索引表、做类型转换、返回新对象
• 千万行 ≈ 千万次 Python 函数调用开销，不是计算本身拖慢，是“调度”拖垮

哪些操作必须改写成向量化

以下常见写法必须立刻替换，哪怕逻辑看起来“只能循环”：

• df['score'] = [f(x) for x in df['raw']] → 改用 df['score'] = df['raw'].apply(f)（仅当 f 无法向量化时）或更好：用 np.where / np.select / str. 方法
• for i in df.index: df.loc[i, 'flag'] = 'high' if df.loc[i, 'val'] > 100 else 'low' → 改用 df['flag'] = np.where(df['val'] > 100, 'high', 'low')
• 字符串处理如 df['name'].str.upper()、df['email'].str.contains('@') 全部原生支持，别自己 for + .upper()

category 类型和 .values 能省多少时间

对高重复度字符串列（如省份、状态码、产品分类），不转 category 是最大内存浪费点；而对数值列，直接取 .values 可跳过 Pandas 的索引层封装：

• df['province'] = df['province'].astype('category')：内存从 120MB → 8MB，分组聚合快 3–5 倍
• arr = df['price'].values 后再算 np.log(arr + 1)，比 np.log(df['price'] + 1) 快 10%–20%，因为避开了 Series 的元数据开销
• 但注意：.values 返回的是 NumPy 数组，丢失了 index 对齐能力，后续需手动对齐

实在绕不开逻辑分支？用 np.select 别硬写循环

多条件判断（比如按分数段打等级、按金额区间定费率）写 if/elif/else 循环是灾难。用 np.select 是最贴近原意又最快的替代：

conditions = [
    df['score'] >= 90,
    df['score'] >= 80,
    df['score'] >= 70
]
choices = ['A', 'B', 'C']
df['grade'] = np.select(conditions, choices, default='F')

它底层是 C 实现的布尔掩码批量赋值，千万行耗时通常在 20–50ms；等价的 apply + lambda 要 2–3 秒，纯循环可能卡死。

真正卡住性能的往往不是算法本身，而是你下意识把 Pandas 当成 Excel 来“一行行填”。向量化不是技巧，是 Pandas 的运行前提——它根本没设计成支持逐行修改的引擎。

理论要掌握，实操不能落！以上关于《Python处理千万数据慢？Pandas向量化提速技巧》的详细介绍，大家都掌握了吧！如果想要继续提升自己的能力，那么就来关注golang学习网公众号吧！