Golang爬虫开发教程全解析

本文深入浅出地讲解了如何用原生 Go（Golang）高效、稳健地开发网络爬虫，强调回归 HTTP 本质：摒弃过早依赖复杂框架，主张直接使用 net/http 标准库并显式配置超时、User-Agent 和自定义 Client 来应对反爬；推荐轻量可控的 golang.org/x/net/html 进行 HTML 解析，避免字符串暴力匹配和编码陷阱；同时重点警示并发风险，手把手演示基于 channel 限速与 WaitGroup 协作的优雅并发控制方案，并贯穿始终强调合规性——严格遵守 robots.txt 和页面 meta 规则。这是一份面向实战、注重细节、拒绝“黑盒”的 Go 爬虫开发指南。

用 net/http 发请求就够了，别一上来就上框架

Go 写爬虫，net/http 标准库完全够用，90% 的静态页面抓取不需要 colly 或 goquery。框架反而容易让你忽略 HTTP 本质问题：状态码、重定向、User-Agent、超时控制。

常见错误是直接 http.Get(url) 就开干，结果被反爬返回 403 或空响应。必须显式设置 http.Client 和请求头：

client := &http.Client{
    Timeout: 10 * time.Second,
}
req, _ := http.NewRequest("GET", url, nil)
req.Header.Set("User-Agent", "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36")
resp, err := client.Do(req)

• 不设 Timeout，遇到死链或慢站整个 goroutine 就卡住
• 不带 User-Agent，多数网站直接拒收（返回 403 或空 body）
• 别用 http.Get 简写——它用默认 client，没法控超时和重定向逻辑

golang.org/x/net/html 解析 HTML 更轻量，比 goquery 少一层抽象

要提取标签内容，golang.org/x/net/html 是标准推荐方案，比封装更厚的 goquery 更可控、内存更省。它不依赖 jQuery 式语法，而是用树遍历方式处理节点。

典型场景：取所有 链接：

doc, _ := html.Parse(resp.Body)
var f func(*html.Node)
f = func(n *html.Node) {
    if n.Type == html.ElementNode && n.Data == "a" {
        for _, a := range n.Attr {
            if a.Key == "href" {
                log.Println(a.Val)
            }
        }
    }
    for c := n.FirstChild; c != nil; c = c.NextSibling {
        f(c)
    }
}
f(doc)

• html.Parse 不会自动处理编码，如果页面是 GBK，得先用 golang.org/x/text/encoding 转 UTF-8
• 别用 strings.Contains 去字符串匹配 HTML——遇到换行、空格、注释就失效
• 遍历时注意判空：n == nil 或 n.FirstChild == nil 否则 panic

并发控制必须手动加，Go 不会替你管 goroutine 泄漏

写个 for range urls { go fetch(u) } 是最常见翻车点：瞬间起几百 goroutine，DNS 超时、连接池打满、目标站封 IP。

正确做法是用带缓冲的 channel 控制并发数，配合 WaitGroup 收尾：

sem := make(chan struct{}, 5) // 最多 5 个并发
var wg sync.WaitGroup
for _, u := range urls {
    wg.Add(1)
    go func(url string) {
        defer wg.Done()
        sem <- struct{}{} // 获取信号量
        defer func() { <-sem }() // 释放
        fetch(url)
    }(u)
}
wg.Wait()

• 别用 time.Sleep 模拟限速——它阻塞的是当前 goroutine，不是全局节奏
• http.DefaultClient 的 Transport 默认只有 100 个 idle 连接，高并发下要调大 MaxIdleConnsPerHost
• 如果目标站有反爬，光限并发不够，还得加随机 delay（比如 1–3 秒）

Robots.txt 和 robots meta 标签不是可选项，是法律和工程底线

很多新手直接忽略 /robots.txt，但它是爬虫协议事实标准。不遵守不仅可能被封，还可能违反《计算机信息网络国际联网安全保护管理办法》第十二条。

简单检查逻辑：

resp, _ := http.Get("https://example.com/robots.txt")
body, _ := io.ReadAll(resp.Body)
if strings.Contains(string(body), "Disallow: /admin") {
    // 跳过该路径
}

• 有些站会在 HTML 的 里声明禁止抓取，需解析后判断
• 即使允许爬，也要尊重 Crawl-delay 字段（单位秒），不是你想快就能快
• UA 匹配要小心：User-agent: * 是通用规则，User-agent: mybot 才是专有规则

真正难的从来不是怎么发请求或解析 HTML，而是搞清目标站点的响应行为模式、反爬水位、数据更新节奏——这些没法靠库解决，得靠日志、重试策略和人工观察。

今天关于《Golang爬虫开发教程全解析》的内容介绍就到此结束，如果有什么疑问或者建议，可以在golang学习网公众号下多多回复交流；文中若有不正之处，也希望回复留言以告知！