Golang爬虫项目实战教程

go mod init simple-spider
go get github.com/PuerkitoBio/goquery

package main

import (
    "fmt"
    "log"
    "net/http"

    "github.com/PuerkitoBio/goquery"
)

func crawl(url string) {
    // 发起 GET 请求
    resp, err := http.Get(url)
    if err != nil {
        log.Fatal("请求失败:", err)
    }
    defer resp.Body.Close()

    // 确保状态码是 200
    if resp.StatusCode != 200 {
        log.Fatalf("状态码错误: %d", resp.StatusCode)
    }

    // 使用 goquery 解析 HTML
    doc, err := goquery.NewDocumentFromReader(resp.Body)
    if err != nil {
        log.Fatal("解析 HTML 失败:", err)
    }

    // 查找文章标题和链接（根据实际网页结构调整选择器）
    doc.Find("a[href^='/pkg']").Each(func(i int, s *goquery.Selection) {
        title := s.Text()                   // 获取链接文本
        href, _ := s.Attr("href")           // 获取 href 属性
        link := "https://pkg.go.dev" + href // 拼接完整 URL

        fmt.Printf("文章 %d:\n", i+1)
        fmt.Printf("  标题: %s\n", title)
        fmt.Printf("  链接: %s\n", link)
    })
}

func main() {
    url := "https://pkg.go.dev"
    crawl(url)
}

文章 1:
  标题: bufio
  链接: https://pkg.go.dev/bufio
文章 2:
  标题:  bytes
  链接: https://pkg.go.dev/bytes
...