利用缓存流程上传图片网址到S3

本篇文章给大家分享《利用缓存流程上传图片网址到S3》，覆盖了Golang的常见基础知识，其实一个语言的全部知识点一篇文章是不可能说完的，但希望通过这些问题，让读者对自己的掌握程度有一定的认识(B 数)，从而弥补自己的不足，更好的掌握它。

我发现了很多与将图像上传到s3相关的问题，但我还没有找到可以完全帮助我的帖子。所以，我决定问我的问题。

我有从url上传图像到s3的情况，所以我所做的就是先从url下载图像，然后上传到s3。

// download image form url
resp, _ := http.get("https://sample-videos.com/img/sample-jpg-image-50kb.jpg")
byteimage, _ = ioutil.readall(resp.body)

// upload to s3 (using s3manager)
_, err = s3managerclient.upload(&s3manager.uploadinput{
    bucket: aws.string(awss3bucket),
    key:    aws.string(awss3destination),
    body:   bytes.newreader(byteimage), 
})

但是，我的代码有问题，上传过程必须等到下载过程完成。我的目标是在不等待下载过程完成的情况下将图像上传到 s3，这意味着下载和上传过程是同时发生的。

这是我的新代码（删除了处理错误以提高可读性）

resp, _ := http.Get("https://sample-videos.com/img/Sample-jpg-image-50kb.jpg")
    
// init s3
sess := session.Must(session.NewSession(&aws.Config{
    Region:      aws.String(awsRegion),
    Credentials: credentials.NewStaticCredentials(awsS3Key, awsS3Secret, ""),
}))
s3ManagerClient := s3manager.NewUploader(sess, func(u *s3manager.Uploader) {
    u.PartSize = int64(DefaultS3OptionPartSizeInMB)
    u.Concurrency = DefaultS3OptionConcurrency
})

buf := make([]byte, 1024) // per kb
for {
    n, _ := resp.Body.Read(buf)
    if n == 0 {
        break
    }
    _, err = s3ManagerClient.Upload(&s3manager.UploadInput{
        Bucket: aws.String(awsS3Bucket),
        Key:    aws.String(awsS3Destination),
        Body:   bytes.NewReader(buf[:n]), // upload image per part
    })
}

此代码成功将图像上传到s3，但文件已损坏，我怀疑图像未完全上传（过程有问题）。

正确答案

您的问题是 for 循环会将图像以字节块的形式上传到 awss3destination 上。您真正要做的是用单独的字节块替换图像的内容，一次一个。

您可以尝试将响应正文传递到 s3 上传器：

resp, err := http.Get("https://sample-videos.com/img/Sample-jpg-image-50kb.jpg")
if err != nil {
    // handle error
}

_, err = s3ManagerClient.Upload(&s3manager.UploadInput{
    Bucket: aws.String(awsS3Bucket),
    Key:    aws.String(awsS3Destination),
    Body:   resp.Body, // upload image 
})

理论要掌握，实操不能落！以上关于《利用缓存流程上传图片网址到S3》的详细介绍，大家都掌握了吧！如果想要继续提升自己的能力，那么就来关注golang学习网公众号吧！