Go语言实现任务队列教程详解

本文介绍了如何用Go语言最简方式实现一个轻量级任务队列——仅依赖带缓冲的channel，无需第三方库；通过定义任务类型、创建缓冲通道、启动固定数量worker goroutine，即可天然获得并发安全、阻塞控制与背压能力，同时规避了无缓冲channel导致生产者阻塞的常见陷阱，是符合Go语言哲学的高效实践方案。

用 channel 实现最简任务队列，别急着上第三方库

Go 里最轻量、最符合语言哲学的任务队列就是带缓冲的 chan。它天然支持并发安全、阻塞控制和背压，不需要额外依赖。常见误区是直接用无缓冲 chan 做任务分发，结果生产者一发就卡住——必须设缓冲或配 goroutine 中转。

实操建议：

• 定义任务类型：比如 type Task func() 或更结构化的 type Task struct { ID string; Fn func() }
• 初始化带缓冲通道：tasks := make(chan Task, 100)，缓冲大小按预期峰值并发量粗估（太小易丢任务，太大吃内存）
• 启动固定数量 worker：for i := 0; i
• 投递任务时直接 tasks ，通道满则阻塞（这是有意设计，不是 bug）

sync.WaitGroup 控制队列生命周期，避免 goroutine 泄漏

任务队列跑起来容易，但“什么时候停”常被忽略。没等所有任务执行完就退出，或忘记关闭通道，会导致 worker 永远阻塞在 上。核心是用 sync.WaitGroup 跟踪活跃任务数，并配合 close() 通知结束。

实操建议：

• 在投递前 wg.Add(1)，worker 执行完 wg.Done()
• 所有任务投递完毕后，close(tasks) —— 注意只能由生产者调用一次
• worker 写成 for task := range tasks { ... }，通道关闭后自动退出循环
• 主 goroutine 最后 wg.Wait() 确保全部完成

加锁还是用 atomic？计数类状态优先选 atomic

实际项目中常要统计已处理任务数、失败率、排队时长等。如果只用 mutex 保护一个整型计数器，会成为性能瓶颈。Go 标准库的 atomic 包专为这种场景设计，无锁且高效。

实操建议：

• 用 var processed int64 替代 processed int，保证原子操作对齐
• 递增用 atomic.AddInt64(&processed, 1)，读取用 atomic.LoadInt64(&processed)
• 避免混用：不要一边 atomic 一边 mu.Lock() 访问同一变量
• 注意 atomic 不提供复合操作（如“加1并判断是否超限”），这种逻辑仍需锁

错误任务怎么重试？别在 worker 里硬编码重试逻辑

真实任务常涉及网络请求、DB 写入等可能失败的操作。把重试写死在 worker 函数里，会导致失败任务无限占着 goroutine，且无法统一控制重试策略（次数、间隔、退避）。正确做法是让 worker 把失败任务“吐回”队列或专用重试通道。

实操建议：

• 定义重试通道：retries := make(chan Task, 10)，独立于主队列
• worker 中捕获错误后：if err != nil { retries
• 另起 goroutine 从 retries 消费，加延迟（time.AfterFunc 或 time.Sleep）再投回主队列
• 记录重试次数到 Task 结构体字段，超过阈值直接丢弃或进死信通道

真正麻烦的是任务幂等性——重试前得确认上次调用到底成功没。这没法靠队列本身解决，得在业务层加唯一 ID + 状态表或 Redis SETNX 去重。

终于介绍完啦！小伙伴们，这篇关于《Go语言实现任务队列教程详解》的介绍应该让你收获多多了吧！欢迎大家收藏或分享给更多需要学习的朋友吧~golang学习网公众号也会发布Golang相关知识，快来关注吧！