Python用pandas加载数据及格式转换教程

本文深入解析了使用pandas加载CSV数据集时极易被忽视却至关重要的实战细节：从本地文件的编码适配（如中文路径需指定gbk或utf-8-sig）、缺失值灵活识别（na_values自定义）、大文件分块处理，到URL直读的坑点规避（GitHub raw链接、Google Sheets导出、UA伪装防403）；更强调读入后的关键校验——用df.dtypes和isna().sum()第一时间揪出类型错配、时间列未解析、分类变量未声明等隐患，并给出pd.to_numeric强转、parse_dates预解析、astype('category')显式声明等精准修复方案；最后点破多表合并失败的元凶——join键表面一致实则dtype不同，揭示前导零ID必须存为字符串等反直觉但致命的经验。真正拖慢数据分析的，从来不是代码写不对，而是DataFrame的底层类型与你“想当然”的认知悄悄背道而驰。

用 pandas.read_csv() 读取本地 CSV 文件最稳妥

绝大多数外部数据集是 CSV 格式，pandas.read_csv() 是默认首选。它自动推断列类型，但容易在数字含逗号、空值标记不统一、编码乱码时失败。

• 中文路径或文件名含中文时，Windows 下必须显式加 encoding='gbk' 或 encoding='utf-8-sig'，否则报 UnicodeDecodeError
• 数值列里混着 "N/A"、"--"、空格，得用 na_values 参数声明：read_csv(..., na_values=['N/A', '--', ' '])
• 大文件（>500MB）别直接全读，加 nrows=10000 先探结构，或用 chunksize 分批处理
• 列名含空格或特殊符号？加 skipinitialspace=True，避免解析错位

从 URL 直接加载数据集要防重定向和权限问题

pandas.read_csv() 支持传 URL，但不是所有链接都“开箱即用”——GitHub 原始链接要换 raw.githubusercontent.com，Google Drive 链接根本不能直读。

• GitHub 上的数据集，点 “Raw” 后复制地址，确保域名是 https://raw.githubusercontent.com/...，否则返回 HTML 页面，read_csv() 会报 ParserError: Error tokenizing data
• 遇到 HTTP Error 403: Forbidden，大概率是服务器拒绝 Python 默认 UA，加 requests 中转并设 headers：pd.read_csv(io.StringIO(r.text))
• Google Sheets 公开表格可用导出链接：https://docs.google.com/spreadsheets/d/{id}/export?format=csv，但 ID 必须来自 URL 路径段，不是浏览器地址栏完整链接

读入后立刻检查 df.dtypes 和 df.isna().sum()

读完不检查类型和缺失值，后续 scikit-learn 拟合会直接报错，比如 ValueError: Input contains NaN 或把字符串当数值参与计算。

• df.dtypes 显示某列为 object，但本该是数值？用 pd.to_numeric(df['col'], errors='coerce') 强转，errors='coerce' 把非法值变 NaN 而非崩掉
• 时间列识别成字符串？优先用 parse_dates 参数在读取时解析：read_csv(..., parse_dates=['date_col'])，比读完再 pd.to_datetime() 更快且少出错
• 分类变量（如 'low'/'medium'/'high'）别留成 object，后续模型需要编码，先用 df['col'] = df['col'].astype('category') 显式声明

多表合并前先确认索引和 join 键的 dtype 一致

机器学习常需拼接特征表、标签表、用户表，pd.merge() 报 KeyError 或结果行数异常，90% 是因为 join 键表面相同、实际类型不同——比如一表是 int64，另一表是 object（存着带空格的字符串数字）。

• 合并前必查：df1['id'].dtype 和 df2['id'].dtype，不一致就统一转：df1['id'] = pd.to_numeric(df1['id'], errors='coerce')
• 有前导零的 ID（如订单号 '00123'）别用数字类型存，保留为 str，否则合并时 '00123' 变成 123，匹配全丢
• 左连接后发现右表字段全是 NaN？用 indicator=True 加个 _merge 列，一眼看出哪些 key 在右表不存在

到这里，我们也就讲完了《Python用pandas加载数据及格式转换教程》的内容了。个人认为，基础知识的学习和巩固，是为了更好的将其运用到项目中，欢迎关注golang学习网公众号，带你了解更多关于的知识点！