当前位置：首页 > 文章列表 > Golang > Go教程 > 如何在Golang中实现并发文件上传

如何在Golang中实现并发文件上传

2025-10-17 14:06:07 0浏览收藏

对于一个Golang开发者来说，牢固扎实的基础是十分重要的，golang学习网就来带大家一点点的掌握基础知识点。今天本篇文章带大家了解《如何在Golang中实现并发文件上传》，主要介绍了，希望对大家的知识积累有所帮助，快点收藏起来吧，否则需要时就找不到了！

使用goroutine和channel实现并发文件上传，通过限制并发数控制资源消耗。1. 将文件路径发送到任务channel；2. 启动固定数量worker执行uploadFile；3. 用WaitGroup等待所有任务完成；4. 设置HTTP超时与错误重试机制，确保稳定性。

如何在Golang中实现并发文件上传

在Golang中实现并发文件上传，关键在于合理使用goroutine、channel和HTTP客户端，同时控制资源消耗。下面是一个实用且安全的实现方式，适用于批量上传多个文件到远程服务器。

使用Goroutine并发上传文件

每个文件上传任务可以交给独立的goroutine处理，这样能显著提升整体上传速度，尤其是网络延迟较高的场景。

核心思路是：

将待上传的文件路径放入一个通道（channel）
启动固定数量的工作goroutine从通道中读取任务并执行上传
通过WaitGroup等待所有任务完成

示例代码片段：

func uploadFile(client *http.Client, filePath, serverURL string) error {
    file, err := os.Open(filePath)
    if err != nil {
        return err
    }
    defer file.Close()
body := &bytes.Buffer{}
writer := multipart.NewWriter(body)
part, _ := writer.CreateFormFile("file", filepath.Base(filePath))
io.Copy(part, file)
writer.Close()

req, _ := http.NewRequest("POST", serverURL, body)
req.Header.Set("Content-Type", writer.FormDataContentType())

resp, err := client.Do(req)
if err != nil {
    return err
}
defer resp.Body.Close()

if resp.StatusCode != http.StatusOK {
    return fmt.Errorf("upload failed: %s", resp.Status)
}
return nil
}

控制并发数避免资源耗尽

直接为每个文件起一个goroutine可能导致系统打开太多连接，造成内存暴涨或被服务器限流。应使用带缓冲的channel或工作池限制并发数量。

推荐做法：

定义一个大小固定的goroutine池
用channel作为任务队列分发文件路径
使用sync.WaitGroup同步主协程等待

控制并发的主逻辑：

func uploadFilesConcurrent(filePaths []string, serverURL string, concurrency int) {
    var wg sync.WaitGroup
    taskCh := make(chan string, len(filePaths))
// 填充任务
for _, fp := range filePaths {
    taskCh <- fp
}
close(taskCh)

// 启动worker
client := &http.Client{Timeout: 30 * time.Second}
for i := 0; i < concurrency; i++ {
    wg.Add(1)
    go func() {
        defer wg.Done()
        for filePath := range taskCh {
            if err := uploadFile(client, filePath, serverURL); err != nil {
                log.Printf("Failed to upload %s: %v", filePath, err)
            } else {
                log.Printf("Uploaded %s successfully", filePath)
            }
        }
    }()
}

wg.Wait()
}