让 (io.Reader).Read 等待所有字节都出现

偷偷努力，悄无声息地变强，然后惊艳所有人！哈哈，小伙伴们又来学习啦~今天我将给大家介绍《让 (io.Reader).Read 等待所有字节都出现》，这篇文章主要会讲到等等知识点，不知道大家对其都有多少了解，下面我们就一起来看一吧！当然，非常希望大家能多多评论，给出合理的建议，我们一起学习，一起进步！

我正在尝试实现一个实时上传代理，它应该获取输入的原始二进制数据并将其转发到每个 250mb 的块到外部服务器

我目前使用 gin 作为 web 框架，并使用 go-resty 作为处理上传到外部服务器的 http 客户端

我现在拥有的是：

func chunker(rc io.ReadCloser, bytes int64) ([]byte, int64, error) {
    buf := make([]byte, bytes)
    n, err := rc.Read(buf)
    if err != nil {
        return []byte(""), 0, err
    }
    return buf[:n], int64(n), nil
}

func Upload(c *gin.Context) {
    w := c.Writer
    req := c.Request
    reqBody := req.Body
    reqBodySize := int64(req.ContentLength)
    bytesPerChunk := int64(262144000) // 250 MB

    for {
        var noOfBytes int64 = bytesPerChunk
        if reqBodySize < bytesPerChunk {
            noOfBytes = reqBodySize
        }
        noOfBytes -= 1 // (io.ReadCloser).Read always returns an EOF error if we don't subtract one byte of the total (which is the normal & expected behavior of file uploads by the way)
        if noOfBytes <= 0 {
            break
        }

        bytes, size, err := chunker(reqBody, noOfBytes)
        if err != nil {
            fmt.Println("body EOF")
            break
        }
        reqBodySize -= size

        upload, _, err := external.Upload(bytes)
        if err != nil {
            w.WriteString("an error has occured")
            return
        }
    }

    reqBody.Close()
    w.WriteString("upload complete")
}

现在的问题是，由于整个过程是实时发生的，rc.read(buf) 不会等到上传者完成发送第一个 250 mb 才跳转到下一个块

参考https://pkg.go.dev/io#reader后，我发现这是read的正常行为：

read 将最多 len(p) 个字节读取到 p 中。它返回读取的字节数 (0 <= n <= len(p)) 以及遇到的任何错误。即使 read 返回 n < len(p)，它也可能在调用期间使用所有 p 作为暂存空间。如果某些数据可用，但不是 len(p) 个字节，则 read 通常会返回可用数据，而不是等待更多数据。

有没有办法让 read 等待指定的字节数可用，而不是在 io.readcloser 实例中使用已发送的到目前为止？

正确答案

最终确定这个问题并得到答案（仍然可以有更好的方法，谁能与我们分享，我们将不胜感激）

正如 @jimb 在评论中所述，我应该使用 io.ReadFull 来等待指定的字节数准备好，然后再移动到下一段代码

所以 chunker 函数应该是这样的：

func chunker(rc io.ReadCloser, bytes int64) ([]byte, error) {
    buf := make([]byte, bytes)
    n, err := io.ReadFull(rc, buf)
    return buf[:n], err
}

以上就是本文的全部内容了，是否有顺利帮助你解决问题？若是能给你带来学习上的帮助，请大家多多支持golang学习网！更多关于Golang的相关知识，也可关注golang学习网公众号。