Pandas数据导入方法与乱码解决技巧

本文深入解析了使用Pandas导入数据时最易踩坑的四大核心问题——编码乱码、类型误判、结构异常与大文件处理，手把手教你精准匹配CSV真实编码（如GBK或utf-8-sig）、合理运用dtype强制指定字符串和可空整型、灵活组合skiprows/header/usecols应对复杂Excel表头与空行，并巧妙区分chunksize（流式分块处理）与nrows（快速采样）以高效驾驭海量数据；强调所有参数配置都必须回归原始文件验证，因为静默读取成功≠正确读取——真正实用的技巧，永远建立在对数据源头的敬畏与细察之上。

读 CSV 时中文乱码，encoding 参数到底该填啥

乱码不是编码错了，是没对上源文件真实编码。Windows 记事本默认存为 GBK，但 Python 默认按 utf-8 解，一读就崩。

• 先用编辑器（如 VS Code、Notepad++）打开 CSV 文件，看右下角显示的编码，常见有 GBK、GB2312、utf-8-sig（带 BOM 的 UTF-8）
• utf-8 读不了就试试 utf-8-sig，尤其 Excel 另存为 CSV 后经常带 BOM
• 真不确定就用 chardet 库探测：

  import chardet
  with open("data.csv", "rb") as f:
      print(chardet.detect(f.read(10000)))

• 别硬套 latin-1 —— 它能“不报错”，但中文全变 ，后续清洗更麻烦

read_csv 和 read_excel 的 dtype 参数怎么用才不翻车

dtype 不是锦上添花，是防止自动类型推断出错的核心防线。比如手机号被读成 int64，开头 0 就没了；日期列被当成字符串，后续 pd.to_datetime 失败率高。

• 强制指定列类型：dtype={"phone": str, "id": str, "score": float}，注意字符串列必须写 str，不是 "string" 或 "object"
• 整数列含空值？不能用 int，得用可空整型：dtype={"age": "Int64"}（注意首字母大写，这是 pandas 的 nullable int 类型）
• read_excel 对 dtype 支持有限，某些版本会忽略；稳妥做法是先读再用 astype 转，或加 converters 参数：converters={"code": str}

Excel 表格有合并单元格、空行、多表头？skiprows、header、usecols 怎么配

Excel 原始格式往往不是“干净表格”，直接 read_excel 会把合并单元格读成 NaN，把说明文字当数据，把空行列进 DataFrame。

• header 不只是行号，可以是列表，比如表头跨两行：header=[0, 1]，生成 MultiIndex
• 跳过前 N 行说明文字：skiprows=3；但若第 3 行才是真实表头，要写 skiprows=2, header=0
• 只读特定列最省内存：usecols="A:C" 或 usecols=[0, 1, 3]，比读完再 drop 快得多
• 合并单元格无法自动还原，pandas 一律填 NaN；如果必须保留逻辑结构，得靠 openpyxl 手动解析，read_excel 本身不处理这个

读大文件卡死、爆内存？chunksize 和 nrows 是什么关系

chunksize 不是“分块读取”，是返回一个可迭代对象，每次 yield 一个 DataFrame；nrows 是硬截断，只读前 N 行——两者目的不同，别混用。

• 查数据概览、试跑逻辑：用 nrows=1000 快速加载样本
• 逐块处理日志类大 CSV：for chunk in pd.read_csv("big.csv", chunksize=5000): process(chunk)，每块独立内存，不会累积
• chunksize 下不能直接用 df.shape，得手动累加；也别在循环里反复 pd.concat，容易内存翻倍——该存中间结果就存文件
• Excel 不支持 chunksize，大 Excel 必须转 CSV 再处理，或改用 openpyxl 流式读单元格

编码、类型、结构、规模——这四个点任何一个没对齐，read_csv 和 read_excel 就可能静默出错。特别是 encoding 和 dtype，不报错不代表读对了，得拿原始文件肉眼比对几行。

文中关于的知识介绍，希望对你的学习有所帮助！若是受益匪浅，那就动动鼠标收藏这篇《Pandas数据导入方法与乱码解决技巧》文章吧，也可关注golang学习网公众号了解相关技术文章。