如何在 Golang 中更快地调用 api？

珍惜时间，勤奋学习！今天给大家带来《如何在 Golang 中更快地调用 api？》，正文内容主要涉及到等等，如果你正在学习Golang，或者是对Golang有疑问，欢迎大家关注我！后面我会持续更新相关内容的，希望都能帮到正在学习的大家！

我正在尝试使用公司的 api 将一堆文件上传到他们提供的存储服务。 （基本上是到我的帐户）。我有很多文件，比如 40-50 之类的。 我获得了文件的完整路径并利用 os.open，这样我就可以传递 io.reader。我确实尝试使用 client.files.upload() 而不使用 goroutines 但花了很多时间来上传它们并决定使用 goroutines 。这是我尝试过的实现。当我运行该程序时，它只上传一个文件，该文件是大小最小的文件或等待很长时间的文件。这有什么问题吗？是不是每次 for 循环运行时都会创建一个 goroutine 继续其循环并为每个 file 创建？如何使用 goroutines 使其尽可能快？

var filePaths []string
var wg sync.WaitGroup

// fills the string of slice with fullpath of files.
func fill() {
    filepath.Walk(rootpath, func(path string, info os.FileInfo, err error) error {
        if !info.IsDir() {
            filePaths = append(filePaths, path)
        }
        if err != nil {
            fmt.Println("ERROR:", err)
        }
        return nil
    })
}

func main() {
    fill()

    tokenSource := oauth2.StaticTokenSource(&oauth2.Token{AccessToken: token})
    oauthClient := oauth2.NewClient(context.TODO(), tokenSource)
    client := putio.NewClient(oauthClient)

    for _, path := range filePaths {
        wg.Add(1)

        go func() {
            defer wg.Done()

            f, err := os.Open(path)
            if err != nil {
                log.Println("err:OPEN", err)
            }

            upload, err := client.Files.Upload(context.TODO(), f, path, 0)
            if err != nil {
                log.Println("error uploading file:", err)
            }
            fmt.Println(upload)
        }()
    }
    wg.Wait()
}

正确答案

考虑这样的工作池模式：https://go.dev/play/p/p6SErj3L6Yc

在此示例应用程序中，我删除了 api 调用并仅列出文件名。这使得它可以在演示中发挥作用。

• 启动固定数量的工作协程。我们将使用一个渠道来分发他们的工作，我们将关闭该渠道来传达工作的结束。该数量可以是 1 个或 1000 个例程，或者更多。应根据 putio api 合理预期支持的并发 api 操作数量来选择数量。
• paths 是我们将用于此目的的 chan 字符串 。
• 工作人员 range 通过 paths 通道接收要上传的新文件路径

package main

import (
    "fmt"
    "os"
    "path/filepath"
    "sync"
)

func main() {
    paths := make(chan string)
    var wg = new(sync.waitgroup)
    for i := 0; i < 10; i++ {
        wg.add(1)
        go worker(paths, wg)
    }
    if err := filepath.walk("/usr", func(path string, info os.fileinfo, err error) error {
        if err != nil {
            return fmt.errorf("failed to walk directory: %t %w", err, err)
        }
        if info.isdir() {
            return nil
        }
        paths <- path
        return nil
    }); err != nil {
        panic(fmt.errorf("failed walk: %w", err))
    }
    close(paths)
    wg.wait()
}

func worker(paths <-chan string, wg *sync.waitgroup) {
    defer wg.done()
    for path := range paths {
        // do upload.
        fmt.println(path)
    }
}

此模式可以处理无限量的文件，而无需在处理之前将整个列表加载到内存中。正如您所看到的，这并没有使代码变得更复杂 - 实际上，它更简单。

当我运行该程序时，它只上传一个文件，即那个文件

函数文字继承它们定义的范围。这就是为什么我们的代码只列出了一个路径 - for 循环中的 path 变量范围被共享给每个 go 例程，因此当该变量发生更改时，所有例程都会接收到更改。

避免使用函数文字，除非您确实想要继承作用域。在全局范围内定义的函数不会继承任何范围，您必须将所有相关变量传递给这些函数。这是一件好事 - 它使函数更容易理解，并使变量“所有权”转换更明确。

使用函数文字的适当情况可能是 os.walk 参数；它的参数由 os.walk 定义，因此定义范围是访问其他值的一种方式 - 例如在我们的例子中为 paths 通道。

说到作用域，应该避免全局变量，除非它们的使用范围确实是全局的。更喜欢在函数之间传递变量而不是共享全局变量。同样，这使得变量所有权变得明确，并且可以很容易地理解哪些函数访问和不访问哪些变量。您的等待组和 filepaths 都没有任何理由成为全球性的。

f, err := os.Open(path)

不要忘记关闭您打开的任何文件。当您处理 40 或 50 个文件时，让所有打开的文件句柄堆积起来直到程序结束并不是那么糟糕，但它是程序中的一颗定时炸弹，当文件数量超过 ulimit 时就会爆炸。允许打开文件。由于函数执行大大超出了需要打开文件的部分，因此 defer 在这种情况下没有意义。上传文件后，我将使用显式 f.close()。

以上就是本文的全部内容了，是否有顺利帮助你解决问题？若是能给你带来学习上的帮助，请大家多多支持golang学习网！更多关于Golang的相关知识，也可关注golang学习网公众号。