如何处理包含进度条的日志输出？

使用标准输出时，终端会解释控制字符并重写进度条行，而在写入文件时，会显示整个内容，包括控制字符。为了在将输出发送到 gist 之前清理进度条行，可以以字节缓冲区形式接收日志，迭代所有行，并删除行首到最后一个控制字符的所有内容。通过只获取容器中 n 分钟的输出并根据时间块列出文件，可以提高效率，因为程序删除不需要的信息所需要做的工作会随着时间的推移而减少。

上下文

这个问题与任何特定的编程语言无关，而是与我们写入终端和写入文件时标准输出如何工作有关。不管怎样，为了演示，我必须选择一种语言，我选择 python 作为问题部分。

我从这个答案中窃取了以下代码：

将此代码保存为progress.py：

def progressbar(iterable, prefix = '', suffix = '', decimals = 1, length = 100, fill = '█', printend = "\r"):
    total = len(iterable)
    # progress bar printing function
    def printprogressbar (iteration):
        percent = ("{0:." + str(decimals) + "f}").format(100 * (iteration / float(total)))
        filledlength = int(length * iteration // total)
        bar = fill * filledlength + '-' * (length - filledlength)
        print(f'\r{prefix} |{bar}| {percent}% {suffix}', end = printend)
    # initial call
    printprogressbar(0)
    # update progress bar
    for i, item in enumerate(iterable):
        yield item
        printprogressbar(i + 1)
    # print new line on complete
    print()


import time

# a list of items
items = list(range(0, 57))

# a nicer, single-call usage
for item in progressbar(items, prefix = 'progress:', suffix = 'complete', length = 50):
    # do stuff...
    time.sleep(0.1)

当您使用 python3progress.py 运行此程序时，您会看到一个从左到右的进度条。

我附上了屏幕截图：

如果您自己遵循此操作，您会注意到进度在同一行上更新，即它不会为每个步骤写入新行。

现在尝试将脚本的输出路由到文件。执行 python3 progress.py > stdout.log。

如果您此时输入 stdout.log，终端将正确解释它并显示最后的输出，即 100.0% 完整的输出。

现在，如果打开输出文件，您会发现其他内容。我把内容粘贴在这里：

^MProgress: |--------------------------------------------------| 0.0% Complete^MProgress: |--------------------------------------------------| 1.8% Complete^MProgress: |█-------------------------------------------------| 3.5% Complete^MProgress: |██------------------------------------------------| 5.3% Complete^MProgress: |███-----------------------------------------------| 7.0% Complete^MProgress: |████----------------------------------------------| 8.8% Complete^MProgress: |█████---------------------------------------------| 10.5% Complete^MProgress: |██████--------------------------------------------| 12.3% Complete^MProgress: |███████-------------------------------------------| 14.0% Complete^MProgress: |███████-------------------------------------------| 15.8% Complete^MProgress: |████████------------------------------------------| 17.5% Complete^MProgress: |█████████-----------------------------------------| 19.3% Complete^MProgress: |██████████----------------------------------------| 21.1% Complete^MProgress: |███████████---------------------------------------| 22.8% Complete^MProgress: |████████████--------------------------------------| 24.6% Complete^MProgress: |█████████████-------------------------------------| 26.3% Complete^MProgress: |██████████████------------------------------------| 28.1% Complete^MProgress: |██████████████------------------------------------| 29.8% Complete^MProgress: |███████████████-----------------------------------| 31.6% Complete^MProgress: |████████████████----------------------------------| 33.3% Complete^MP

实际问题

我正在使用 docker sdk 和 go 编程语言从容器获取输出并将其发布到 gist。 docker 日志的输出涉及这样一个进度条。

这是我发布到 gist 的一个此类日志的链接：https://gist.github.com/avimanyu786/040243ee1f9a260677080a69ffb88d59

据我了解，在终端上，终端会解释控制字符并重写该行。当我们将其写入文件时，它会显示整个内容，正如我们在要点中看到的那样。

我的理论上的解决方案

如果我们以要点输出为例，我们会看到第 10 行实际上占用了多个视线（逻辑上仍然是 1 行）。

我们还知道每条视线都以一个控制字符结尾，该控制字符在 gist 上呈现为方块。

在将输出发送到要点之前，我想：

1. 以 bytes.buffer 形式接收日志（如果需要，我可以将其转换为字节或字符串）。
2. 迭代所有行。
3. 如果该行中有任何控制字符，请从该行的开头删除该逻辑行上的最后一个控制字符。

这将仅显示该行的最后更新。

我不知道该怎么做。正则表达式在这里可以工作吗？我以前没有处理过控制字符。如何删除从行首到最后一个控制字符？

正确答案

我找到了问题的答案。

因此，docker 将日志输出吐出到 io.readcloser 中，该输出可以写入 bytes.buffer：

var stdout bytes.buffer
var stderr bytes.buffer

containerlog := getlogs(containerid)
stdcopy.stdcopy(&stdout, &stderr, containerlog)

这里是 getlogs 的代码：

// getlogs return logs from the container io.readcloser. it's the caller duty
// duty to do a stdcopy.stdcopy. any other method might render unknown
// unicode character as log output has both stdout and stderr. that starting
// has info if that line is stderr or stdout.
func getlogs(contname string) (logoutput io.readcloser) {
    options := types.containerlogsoptions{showstdout: true, showstderr: true}

    out, err := dc.containerlogs(ctx, contname, options)
    if err != nil {
        panic(err)
    }

    return out
}

在将其发送到 github 接受字符串的 api 之前，我们可以删除一行中最后一个 \r 之前的所有内容：

// cleanFlushInfo takes in bytes.Buffer from docker logs output and for each line
// if it has a \r in the lines, takes the last one and compose another string
// out of that.
func cleanFlushInfo(bytesBuffer *bytes.Buffer) string {
    scanner := bufio.NewScanner(bytesBuffer)
    finalString := ""

    for scanner.Scan() {
        line := scanner.Text()
        chunks := strings.Split(line, "\r")
        lastChunk := chunks[len(chunks)-1] // fetch the last update of the line
        finalString += lastChunk + "\n"
    }

    return finalString
}

为什么效率不高？随着时间的推移，日志会变长。程序删除不需要的信息所需要做的工作也会增加。

解决这个问题的方法是只从容器中获取 n 分钟的输出。通过列出许多基于时间块的文件或覆盖文件（gist 仍将保留较旧的信息），将它们列在 gist 上。

到这里，我们也就讲完了《如何处理包含进度条的日志输出？》的内容了。个人认为，基础知识的学习和巩固，是为了更好的将其运用到项目中，欢迎关注golang学习网公众号，带你了解更多关于的知识点！