Golang多协程并发请求技巧

本文深入讲解了在 Go 语言中如何安全高效地实现多协程并发 HTTP 请求，重点剖析了利用 goroutine 与带缓冲 channel（如 `sem := make(chan struct{}, 10)`）构建轻量级信号量机制的核心技巧——将 channel 视为“令牌桶”，严格限制并发数以避免资源耗尽、连接拒绝、DNS 超时或服务端限流等常见陷阱，真正体现 Go 并发编程的简洁性与工程实用性。

用 Go 实现并发 HTTP 请求，核心是利用 goroutine + channel 控制并发量、收集结果、避免资源耗尽。不加限制地起成百上千 goroutine 发请求，容易触发连接拒绝、DNS 超时或被服务端限流。

控制并发数：用带缓冲 channel 做信号量

这是最轻量、Go 风格的限流方式——把 channel 当作“令牌桶”：

• 创建容量为 N 的空 channel（如 sem := make(chan struct{}, 10)），代表最多同时运行 10 个请求
• 每个 goroutine 启动前先写入一个空结构体 sem ，若已满则阻塞
• 请求结束后从 channel 读出一个值 <-sem，释放槽位

发起请求并收集结果：goroutine + channel 返回结构体

不要在 goroutine 内直接打印或写日志，而是统一返回结构体，由主 goroutine 收集：

• 定义结果类型：type Result struct { URL string; Status int; Err error; BodyLen int }
• 启动 goroutine 时传入 URL 和结果 channel：go doRequest(url, results, sem)
• 函数内部执行 http.Get，无论成功失败都发结果到 results channel

超时与错误处理：用 context.WithTimeout 包裹请求

单个请求卡住会拖慢整个并发流程，必须设超时：

• 在 doRequest 中创建带超时的 context：ctx, cancel := context.WithTimeout(context.Background(), 5*time.Second)
• 用 http.DefaultClient.Do(req.WithContext(ctx)) 发送请求
• 务必调用 cancel() 防止 context 泄漏（即使出错也要 defer cancel）
• 注意：http.Get 不支持 context，必须用 client.Do + 手动构建 request

完整可运行示例（含并发控制、超时、结果汇总）

以下代码发 20 个请求，最大并发 5，每请求 3 秒超时，最后打印成功/失败统计：

func main() {
    urls := []string{"https://httpbin.org/delay/1", "https://httpbin.org/status/404", /* ... */}
sem := make(chan struct{}, 5)
results := make(chan Result, len(urls))

for _, url := range urls {
    go func(u string) {
        sem <- struct{}{} // 获取令牌
        defer func() { <-sem }() // 释放令牌

        ctx, cancel := context.WithTimeout(context.Background(), 3*time.Second)
        defer cancel()

        req, _ := http.NewRequestWithContext(ctx, "GET", u, nil)
        resp, err := http.DefaultClient.Do(req)
        if err != nil {
            results <- Result{URL: u, Err: err}
            return
        }
        defer resp.Body.Close()

        results <- Result{URL: u, Status: resp.StatusCode, BodyLen: len(io.ReadAll(resp.Body))}
    }(url)
}

// 收集所有结果
for i := 0; i < len(urls); i++ {
    r := <-results
    if r.Err != nil {
        fmt.Printf("❌ %s → %v\n", r.URL, r.Err)
    } else {
        fmt.Printf("✅ %s → %d (%d bytes)\n", r.URL, r.Status, r.BodyLen)
    }
}
}

文中关于的知识介绍，希望对你的学习有所帮助！若是受益匪浅，那就动动鼠标收藏这篇《Golang多协程并发请求技巧》文章吧，也可关注golang学习网公众号了解相关技术文章。