在 Go 中读取非 UTF-8 文本文件

golang学习网今天将给大家带来《在 Go 中读取非 UTF-8 文本文件》，感兴趣的朋友请继续看下去吧！以下内容将会涉及到golang等等知识点，如果你是正在学习Golang或者已经是大佬级别了，都非常欢迎也希望大家都能给我建议评论哈~希望能帮助到大家！

问题内容

我需要阅读一个以GBK编码的文本文件。Go 编程语言中的标准库假定所有文本都以 UTF-8 编码。

如何读取其他编码的文件？

正确答案

以前（如旧答案中所述）“简单”的方法涉及使用需要 cgo 并包装 iconv 库的第三方包。由于许多原因，这是不可取的。值得庆幸的是，很长一段时间以来，仅使用 Go 作者提供的包（不在主要包集中，而是在Go 子存储库中）提供了一种优越的全 Go 方式来执行此操作。

该golang.org/x/text/encoding包为通用字符编码定义了一个接口，该接口可以与 UTF-8 相互转换。golang.org/x/text/encoding/simplifiedchinese子包提供GB18030 、 GBK和HZ -GB2312编码实现。

下面是一个读写GBK编码文件的例子。请注意，在读取/写入数据时， io.Readerandio.Writer会“即时”进行编码。

package main

import (
    "bufio"
    "fmt"
    "log"
    "os"

    "golang.org/x/text/encoding/simplifiedchinese"
    "golang.org/x/text/transform"
)

// Encoding to use. Since this implements the encoding.Encoding
// interface from golang.org/x/text/encoding you can trivially
// change this out for any of the other implemented encoders,
// e.g. `traditionalchinese.Big5`, `charmap.Windows1252`,
// `korean.EUCKR`, etc.
var enc = simplifiedchinese.GBK

func main() {
    const filename = "example_GBK_file"
    exampleWriteGBK(filename)
    exampleReadGBK(filename)
}

func exampleReadGBK(filename string) {
    // Read UTF-8 from a GBK encoded file.
    f, err := os.Open(filename)
    if err != nil {
        log.Fatal(err)
    }
    r := transform.NewReader(f, enc.NewDecoder())

    // Read converted UTF-8 from `r` as needed.
    // As an example we'll read line-by-line showing what was read:
    sc := bufio.NewScanner(r)
    for sc.Scan() {
        fmt.Printf("Read line: %s\n", sc.Bytes())
    }
    if err = sc.Err(); err != nil {
        log.Fatal(err)
    }

    if err = f.Close(); err != nil {
        log.Fatal(err)
    }
}

func exampleWriteGBK(filename string) {
    // Write UTF-8 to a GBK encoded file.
    f, err := os.Create(filename)
    if err != nil {
        log.Fatal(err)
    }
    w := transform.NewWriter(f, enc.NewEncoder())

    // Write UTF-8 to `w` as desired.
    // As an example we'll write some text from the Wikipedia
    // GBK page that includes Chinese.
    _, err = fmt.Fprintln(w,
        `In 1995, China National Information Technology Standardization
Technical Committee set down the Chinese Internal Code Specification
(Chinese: 姹夊瓧鍐呯爜鎵╁睍瑙勮寖锛圙BK锛�; pinyin: H脿nz矛 N猫im菐
Ku貌zh菐n Gu墨f脿n (GBK)), Version 1.0, known as GBK 1.0, which is a
slight extension of Codepage 936. The newly added 95 characters were not
found in GB 13000.1-1993, and were provisionally assigned Unicode PUA
code points.`)
    if err != nil {
        log.Fatal(err)
    }

    if err = f.Close(); err != nil {
        log.Fatal(err)
    }
}

Playground

好了，本文到此结束，带大家了解了《在 Go 中读取非 UTF-8 文本文件》，希望本文对你有所帮助！关注golang学习网公众号，给大家分享更多Golang知识！