Go语言批量导入数据实战教程

本文深入解析了Go语言中高效批量导入数据的核心实践，重点揭示PostgreSQL下使用pgx的CopyFrom接口替代传统database/sql循环插入的巨大性能优势——万条数据仅需200ms，因其直连COPY协议、绕过SQL解析与事务开销；同时强调其严苛前提：字段顺序与类型必须严格匹配表结构，且仅限PostgreSQL；针对大文件内存爆炸问题，提出流式CSV读取+分批CopyFrom的生产级方案，并详解行号绑定与预校验技巧以精准定位导入错误；最后明确划清技术边界——MySQL用户切勿生搬CopyFrom，需转向LOAD DATA INFILE或安全拼接批INSERT语句，彻底打破“一套代码适配所有数据库”的误区。

Go 里用 database/sql 批量插入太慢？别硬扛，换 CopyFrom

PostgreSQL 用户最常踩的坑：用 Exec 循环插一万条，跑十分钟。不是 Go 慢，是没走对路——pgx 的 CopyFrom 能把同样操作压到 200ms 内。

适用场景很明确：数据已加载进内存（比如 CSV 解析完、API 响应解析完），且目标库是 PostgreSQL。MySQL 或 SQLite 没这接口，别硬套。

• CopyFrom 底层走的是 PostgreSQL 的 COPY 协议，绕过 SQL 解析和事务开销，单次网络往返传全部数据
• 必须用 pgx（不是 database/sql 标准驱动），导入前确保字段顺序、类型和表结构严格一致
• 别在 CopyFrom 前手动开事务——它自己会建隐式事务；出错时整个批次回滚，不支持部分成功
• 示例关键片段：

  _, err := conn.CopyFrom(ctx, pgx.Identifier{"users"}, []string{"id", "name", "email"}, dataRows)

  其中 dataRows 是 [][]interface{}，每行对应一行数据

CSV 文件读太快但内存爆了？用 csv.Reader 流式处理 + 分批 CopyFrom

直接 os.ReadFile 读几个 GB 的 CSV，Go 程序秒变内存杀手。真实生产环境没人这么干。

核心思路就一条：不全读，边读边转边送。重点不是“怎么读 CSV”，而是“怎么不让数据在内存里堆成山”。

• 用 csv.NewReader(file) 配合 Read() 逐行读，每读 1000 行就塞一次 CopyFrom，清空缓存切片
• 注意 csv.Reader 默认字段数量上限是 4096，超长行会报 record on line X: field larger than field limit，提前调 r.FieldsPerRecord = -1
• 别用 strings.Split 手动解析 CSV——引号、换行、转义全得自己啃；csv.Reader 已处理好这些
• 如果源 CSV 编码不是 UTF-8（比如 GBK），必须先用 golang.org/x/text/encoding 转码，否则 CopyFrom 会报 invalid byte sequence

导入中途出错，怎么定位哪一行坏了？

CopyFrom 报错时默认只给 “pq: COPY failed: …”，不告诉你第几行、哪个字段。靠日志肉眼扫？不可能。

真正能落地的方案只有两个：预校验 + 行号绑定。

• 在调 CopyFrom 前，遍历 dataRows，对每个字段做基础检查（非空、长度、数字格式），失败时记录当前索引（即原始 CSV 行号+1）
• 把原始 CSV 行号作为第一列塞进 dataRows，哪怕数据库表不需要；出错后从错误信息反推原始位置
• 别依赖 pgx.Batch——它本质是并发多条 Exec，错误堆栈混乱，且无法获得原始行上下文
• 常见错误如 ERROR: invalid input syntax for type integer: ""，说明某行某个 int 字段是空字符串，不是 NULL；要么前端补默认值，要么 DB 改字段为 INT NULL

MySQL 用户别抄 PostgreSQL 的作业

看到上面 CopyFrom 心动？先看自己连的是啥库。MySQL 原生不支持 COPY 协议，LOAD DATA INFILE 是唯一接近的方案，但限制极多。

• LOAD DATA INFILE 要求文件在 MySQL 服务端磁盘上，Go 进程本地的 CSV 传不过去；想用就得先 scp 或挂共享存储
• MySQL 驱动 go-sql-driver/mysql 不支持 LOAD DATA 的参数化，SQL 字符串拼接容易被注入，尤其字段含制表符或换行时
• 真要批量插 MySQL，老实用 INSERT INTO t VALUES (),(),()... 拼批语句，单次最多 1000 行（避免 max_allowed_packet 超限），配合 Exec 执行
• 别信“加事务就能提速”的说法——事务只减少 commit 开销，瓶颈在 SQL 解析和索引更新；该建的索引一个不能少，导入前可临时 DROP INDEX，导完再建

跨数据库的“批量导入”没有银弹。PostgreSQL 的 CopyFrom 和 MySQL 的批插逻辑、错误处理、资源控制，全是两套东西。混用只会让问题更模糊。

今天带大家了解了的相关知识，希望对你有所帮助；关于Golang的技术知识我们会一点点深入介绍，欢迎大家关注golang学习网公众号，一起学习编程~