Pandas合并多个CSV文件技巧

本文深入讲解了使用Pandas高效、稳健地连接多个CSV文件的实战技巧，强调用pathlib.rglob替代传统os.listdir实现跨平台、大小写不敏感的递归文件查找；指出必须统一dtype、禁用low_memory以避免类型推断冲突导致的合并失败；提醒严格校验并强制列顺序一致，防范数据错位；针对大文件场景推荐chunksize流式读取+磁盘暂存策略，并给出列名标准化（去空格、转小写）等易被忽视却至关重要的细节——这些经验能帮你绕开90%的合并陷阱，让批量处理既稳定又省心。

用 pathlib 找 CSV 文件，别再写 os.listdir + 字符串拼接

手动列文件名或用 os.listdir 再过滤后缀，容易漏掉子目录、忽略大小写（比如 .csv 和 .CSV），还可能混入隐藏文件。用 pathlib 的 glob 或 rglob 更稳：

• Path("data").glob("*.csv") 只查当前目录
• Path("data").rglob("*.csv") 递归查所有子目录（推荐）
• 注意：Windows 不区分大小写，但 Linux/macOS 区分，统一用 **/*.csv 配合 str.lower() 过滤更保险

读取时加 dtype 和 low_memory=False，否则合并中途报错

多个 CSV 列名一致但某几个文件里某列偶尔是字符串（比如空值被读成 "N/A"），Pandas 默认 low_memory=True 会分块推断类型，导致同名列类型不一致，pd.concat 直接抛 TypeError: cannot concatenate object。

• 提前用一个样本文件跑 pd.read_csv(sample, nrows=1000).dtypes 看出各列真实类型
• 把结果转成字典传给后续所有 read_csv 的 dtype 参数
• 一定加上 low_memory=False，禁用分块推断
• 如果真有混合类型列（比如数字+字符串），宁可统一设为 str，后面再用 pd.to_numeric(..., errors="coerce") 清洗

pd.concat 前检查列顺序和列名是否完全一致

不同 CSV 可能列顺序不同（比如 A 文件是 ["id", "name", "age"]，B 文件是 ["name", "id", "age"]），直接 concat 会导致数据错位，且默认不报错。

• 读每个文件后立刻用 df.columns.tolist() 打印看一眼，或加断言：assert list(df.columns) == expected_cols
• 更稳妥的做法：读完就用 df[expected_cols] 强制重排并筛选列，缺失列补 pd.NA
• 如果某些文件缺列，别依赖 concat(..., join="outer") 自动对齐——它按列名对齐，但顺序仍由第一个 DataFrame 决定，容易误判

内存扛不住时，别硬拼，改用 chunksize 流式处理

单个 CSV 就几百 MB，十几个合起来内存直接爆，pd.concat([pd.read_csv(f) for f in files]) 是典型雷区。

• 用 pd.read_csv(f, chunksize=50000) 分批读，每批 concat 进一个中间结果，再 to_parquet 存磁盘，最后只读 parquet 合并
• 或者更省事：跳过 Pandas，用命令行工具预处理，比如 cat *.csv > all.csv（确保无表头）再用 read_csv(..., skiprows=1 if not first else 0) 控制头行
• pd.concat 本身不释放旧对象内存，大列表建议边读边删：del df; gc.collect()

最麻烦的其实是列名隐式不一致——比如空格、不可见字符、大小写混用，肉眼根本看不出。每次加新文件前，先跑一遍 [c.strip().lower() for c in df.columns] 标准化，比后期调试强十倍。

理论要掌握，实操不能落！以上关于《Pandas合并多个CSV文件技巧》的详细介绍，大家都掌握了吧！如果想要继续提升自己的能力，那么就来关注golang学习网公众号吧！