所有 goroutine 都无法继续执行，系统陷入死锁状态，我感到困惑

golang学习网今天将给大家带来《所有 goroutine 都无法继续执行，系统陷入死锁状态，我感到困惑》，感兴趣的朋友请继续看下去吧！以下内容将会涉及到等等知识点，如果你是正在学习Golang或者已经是大佬级别了，都非常欢迎也希望大家都能给我建议评论哈~希望能帮助到大家！

tl;dr:典型的all goroutine睡着了，死锁！却搞不出来

我正在解析维基词典 xml 转储以构建单词数据库。我将对每篇文章文本的解析推迟到 goroutine，希望它能加快该过程。

它有 7gb，在我的机器上串行执行时，处理时间不到 2 分钟，但如果我可以利用所有内核，为什么不呢。

我对线程总体来说是新手，我收到了 all goroutine are sleeped, deadlock! 错误。

这是怎么回事？

这可能根本没有性能，因为它使用无缓冲的通道，因此所有 goroutine 实际上最终都会串行执行，但我的想法是学习和理解线程，并衡量不同替代方案所需的时间：

• 无缓冲通道
• 不同大小的缓冲通道
• 一次仅调用与 runtime.numcpu() 一样多的 goroutine

我的伪代码代码摘要：

while tag := xml.getNextTag() {
    wg.Add(1)
    go parseTagText(chan, wg, tag.text)

    // consume a channel message if available
    select {
    case msg := <-chan:
        // do something with msg            
    default:
    }
}
// reading tags finished, wait for running goroutines, consume what's left on the channel
for msg := range chan {
    // do something with msg
}
// Sometimes this point is never reached, I get a deadlock
wg.Wait()

----

func parseTagText(chan, wg, tag.text) {
    defer wg.Done()
    // parse tag.text
    chan <- whatever // just inform that the text has been parsed
}

完整代码：

https://play.golang.org/p/0t2eqptjbxe

解决方案

在 go 演示的完整示例中，您：

• 创建一个通道（第 39 行，results := make(chan langs)）和一个等待组（第 40 行，var waitsync.waitgroup）。到目前为止一切顺利。

• 循环：在循环中，有时会衍生出一个任务：

  if ...various conditions... {
                  wait.add(1)
                  go parseterm(results, &wait, text)
              }

• 在循环中，有时会从通道进行非阻塞读取（如您的问题所示）。这里也没有问题。但是...

• 在循环结束时，使用：

  for res := range results {
      ...
  }

  无需在所有编写器完成后，在同一位置调用 close(results)。此循环使用从通道读取的阻塞。只要某个 writer goroutine 仍在运行，阻塞读取就可以阻塞，而不会导致整个系统停止，但是当最后一个 writer 完成写入并退出时，就没有剩余的 writer goroutine 了。任何其他剩余的 goroutine 可能会拯救你，但没有。

既然你正确使用了 var wait （在正确的位置添加 1，并在 writer 中的正确位置调用 done()），解决方案就是再添加一个 goroutine，这将是拯救你的 goroutine ：

go func() {
    wait.wait()
    close(results)
}()

您应该在进入 for res := range results 循环之前关闭此救援程序 goroutine。 （如果您更早地将其分离，它可能会看到 wait 变量计数太快为零，就在通过分离另一个 parseterm 再次计数之前。）

这个匿名函数将阻塞在 wait 变量的 wait() 函数中，直到最后一个 writer goroutine 调用了最终的 wait.done()，这将解锁此 goroutine。然后这个 goroutine 将调用 close(results)，这将安排 main goroutine 中的 for 循环完成，从而解锁该 goroutine。当这个 goroutine（救援者）返回并因此终止时，不再有救援者，但我们不再需要任何救援者。

（这个主代码不必要地调用了 wait.wait()：由于 for 直到 new goroutine 中的 wait.wait() 已经解除阻塞才终止，我们知道这个next wait.wait() 将立即返回。因此我们可以放弃第二个调用，尽管保留它是无害的。）

问题是没有任何东西关闭结果通道，而只是范围循环关闭时退出。我简化了您的代码来说明这一点并提出了一个解决方案 - 基本上使用 goroutine 中的数据：

// This is our producer
func foo(i int, ch chan int, wg *sync.WaitGroup) {
    defer wg.Done()
    ch <- i
    fmt.Println(i, "done")
}
// This is our consumer - it uses a different WG to signal it's done
func consumeData(ch chan int, wg *sync.WaitGroup) {
    defer wg.Done()
    for x := range ch {
        fmt.Println(x)
    }
    fmt.Println("ALL DONE")
}

func main() {
    ch := make(chan int)
    wg := sync.WaitGroup{}
    // create the producers
    for i := 0; i < 10; i++ {
        wg.Add(1)
        go foo(i, ch, &wg)
    }
    // create the consumer on a different goroutine, and sync using another WG
    consumeWg := sync.WaitGroup{}
    consumeWg.Add(1)
    go consumeData(ch,&consumeWg)

    wg.Wait()  // <<<< means that the producers are done
    close(ch) // << Signal the consumer to exit
    consumeWg.Wait() // << Wait for the consumer to exit
}

今天关于《所有 goroutine 都无法继续执行，系统陷入死锁状态，我感到困惑》的内容介绍就到此结束，如果有什么疑问或者建议，可以在golang学习网公众号下多多回复交流；文中若有不正之处，也希望回复留言以告知！