优化 S3 文件下载以节省资源

学习Golang要努力，但是不要急！今天的这篇文章《优化 S3 文件下载以节省资源》将会介绍到等等知识点，如果你想深入学习Golang，可以关注我！我会持续更新相关文章的，希望对大家都能有所帮助！

我有一个 go-gin 应用程序，它允许在 S3 中上传和下载多种文件类型。

上传到 s3 之前的所有文件均使用 AWS s3cryptoclient、AES GCM 和来自 KMS 的密钥进行加密。因此，就 s3 存储桶而言，一切都是二进制的。

我可以使用 getObject 的 SDK 命令将文件下载到服务器并解密，然后使用 io.write(tempfile) 将此文件提供给客户端进行下载。

此处的问题 S3 包含大小为 10GB 的文件，并且该服务器每天将有多个用户访问。正如我们所看到的，在具有 16GB RAM 的服务器上写入临时文件也会很快耗尽内存，同时我们还要注意运行此类服务器的成本。

瓶颈是文件在获得服务之前需要解密，在这种用例中，S3 预签名 url 就足够了，尽管解密不是由 s3 预签名 url 提供的，除非它是由客户完成的加密，在我们的案例 AWS 正在处理加密，因此该解决方案不可行。

有没有人有任何提示或可能的用例来解决这个问题，我们可以使用 go-gin/NGINX 将文件直接写入客户端。

当前用户对文件下载的处理

s3FileStream, _ := s3c.GetBucketItem(&utils.S3ObjectBucketInput{
    Bucket: "bucketName",
    Key:    "UserFileName"
})

fileBody, err := io.ReadAll(s3FileStream.Body)
if err != nil {
    panic(err.Error())
}

fileExtension := s3FileStream.Metadata["X-Amz-Meta-Type"]

err = ioutil.WriteFile("file" + *fileExtension, fileBody, 600) // temp file
if err != nil {
    panic(err.Error())
}
c.JSON(http.StatusCreated, string(fileBody))
c.Done()

}

正确答案

一种选择是将对象作为响应正文直接写入客户端：

s3FileStream, _ := s3c.GetBucketItem(&utils.S3ObjectBucketInput{
    Bucket: "bucketName",
    Key:    "UserFileName",
})
fileExtension := s3FileStream.Metadata["X-Amz-Meta-Type"]
c.DataFromReader(http.StatusCreated, 0, "application/data",
    s3FileStream.Body,
    map[string]string{"Content-Dispositon": "attachment; filename=" + "file" + *fileExtension})
c.Done()

好了，本文到此结束，带大家了解了《优化 S3 文件下载以节省资源》，希望本文对你有所帮助！关注golang学习网公众号，给大家分享更多Golang知识！