Go语言Colly并发爬虫实战教程

本文深入剖析了Go语言中Colly框架实现高可用并发爬虫的关键实践，直击新手易踩的“默认配置陷阱”——如漏抓页面、被Nginx拦截、重定向失效等核心问题，并系统讲解如何通过显式设置User-Agent、启用重试与重定向、科学配置并发限流（含多域名差异化限速与随机延迟）、正确处理响应编码与HTML解析、以及安全集成MySQL连接池与channel工作队列等硬核技巧，帮你避开反爬风控、资源耗尽和空指针崩溃等真实生产环境中的高频雷区。

为什么直接用 colly.NewCollector() 会漏抓页面

默认配置下 colly.NewCollector() 不启用请求重试、不处理重定向跳转、也不自动管理 User-Agent，遇到 302 或 403 响应时直接放弃。真实网站多数会校验 User-Agent，没设的话大概率被 nginx 拦在第一层。

• 必须显式设置 c.UserAgent，比如 c.UserAgent = "Mozilla/5.0 (X11; Linux x86_64)..."
• 开启重定向支持：c.AllowURLRevisit = true（否则重复 URL 被跳过）和 c.MaxDepth = 3（防无限爬）
• 加错误回调看哪步挂了：c.OnError(func(r *colly.Response, e error) { log.Println("req failed:", r.StatusCode, e) })

并发控制不是调大 Async 就完事

c.Async = true 只是开启异步模式，真正限制并发数的是 c.Limit(&colly.LimitRule{DomainGlob: "*", Parallelism: 4})。不设这个，Colly 默认单协程串行发请求；设太大又容易触发目标站风控或本地文件描述符耗尽。

• Parallelism: 2~6 是较安全的起点，爬新闻站可设 4，爬电商详情页建议 ≤2
• 不同域名要分开限流：&colly.LimitRule{DomainGlob: "*.github.io", Parallelism: 1}
• 加点随机延迟比单纯限流更抗检测：c.WithTransport(&http.Transport{...}) 配 RoundTripper 插入 time.Sleep(100 * time.Millisecond)

OnHTML 提取不到内容？先检查响应编码和选择器语法

常见原因是网页返回的是 gzip 压缩内容但 Colly 没解压，或者 HTML 实际结构和你写的 "div.post-title" 对不上——浏览器渲染后的内容（比如 JS 注入的）OnHTML 根本看不到。

• 强制指定编码：c.OnResponse(func(r *colly.Response) { r.Collector.UnifyUTF8 = true })
• 打印原始响应确认结构：c.OnResponse(func(r *colly.Response) { fmt.Printf("body len: %d, first 200: %s\n", len(r.Body), string(r.Body[:min(200, len(r.Body))])) })
• 用 r.DOM.Find(...).Each(...) 替代链式调用，避免空指针 panic；Find 返回对象需用 Len() > 0 判断是否存在

如何安全地把结果存进 MySQL 而不崩掉连接池

每个 goroutine 直接开 sql.Open 会迅速打满数据库连接数，且 Colly 的回调函数本身就在 goroutine 里跑，不加控制就是并发插入。

• 全局复用一个 *sql.DB 实例，调 db.SetMaxOpenConns(10) 和 db.SetMaxIdleConns(5)
• 写入逻辑包一层 channel + worker 模式，比如用 chan Item 收集解析结果，另起 2~3 个 goroutine 消费并批量插入
• 避免在 OnHTML 里做阻塞操作（如直接 db.Exec），网络 IO + DB IO 叠加容易超时或死锁

事情说清了就结束。真正卡住你的往往不是并发模型，而是目标站反爬策略细节、HTTP 状态码语义理解、还有连接池和 channel 的边界条件。

到这里，我们也就讲完了《Go语言Colly并发爬虫实战教程》的内容了。个人认为，基础知识的学习和巩固，是为了更好的将其运用到项目中，欢迎关注golang学习网公众号，带你了解更多关于的知识点！