Golang实现TF-IDF算法详解

本文深入解析了如何在Golang中从零手写实现TF-IDF相关度计算，直面Go标准库缺乏文本向量化支持的现实困境——既没有现成的CountVectorizer，也不提供TfidfTransformer，更不内置中文分词与余弦相似度计算能力；文章系统拆解了清洗、分词（推荐gse库并剥离词性）、停用词过滤、词频与逆文档频率统计、固定词典对齐向量化等关键步骤，强调用原生map和slice构建可控、可调试的TF-IDF管道，并给出防除零panic的余弦相似度安全实现，同时点明性能优化关键：小规模用朴素统计，大规模必上倒排索引。

什么是 TF-IDF，为什么 Go 里不能直接用现成库？

Go 标准库不提供文本向量化或 TF-IDF 工具，golang.org/x/text 只做基础分词和 Unicode 处理，没有 CountVectorizer 或 TfidfTransformer 这类抽象。你要自己算词频（TF）、逆文档频率（IDF），再点积得相关度——不是调个函数的事，是得搭个小管道。

常见错误是直接拿 strings.Fields 分词，结果把标点、大小写、停用词全塞进向量，导致 IDF 偏移、余弦相似度失真。真正可用的流程得包含：清洗 → 分词 → 过滤 → 统计 → 向量化。

如何用 map 和 slice 手写 TF-IDF 向量生成？

别碰第三方 full-text 搜索库（比如 Bleve），它们封装太深，改权重或调试 IDF 公式很麻烦。用原生结构更可控：

• map[string]int 存单文档的词频（TF），键是归一化后的词（小写 + 去标点）
• map[string]float64 存全局 IDF 值，计算公式为 log(totalDocs / (1 + docsContaining[word]))，+1 是平滑项，避免除零
• 最终每个文档转成 []float64，按固定词典顺序排列，缺失词填 0

示例关键片段：

// 词典必须全局一致，建议预构建
var vocab = []string{"go", "language", "fast", "concurrent"}
func docToVector(doc string, tf map[string]int, idf map[string]float64) []float64 {
    vec := make([]float64, len(vocab))
    for i, word := range vocab {
        if freq, ok := tf[word]; ok {
            vec[i] = float64(freq) * idf[word]
        }
    }
    return vec
}

怎么算两文档的 TF-IDF 相关度（余弦相似度）？

相关度本质是两个 TF-IDF 向量的夹角余弦，不是欧氏距离，也不是简单点积。Go 没有内置线性代数库，但余弦公式就三步：点积、模长、相除。

• 点积 = Σ(vec1[i] * vec2[i])
• 模长 = sqrt(Σ(vec[i]²))，注意用 math.Sqrt，别手写开方
• 结果范围在 [0,1]，值越接近 1 越相关

容易踩的坑：vec1 和 vec2 长度必须严格一致，否则下标越界；如果某文档完全不含词典中任何词，向量全 0，模长为 0，会导致除零 panic —— 必须提前检查 norm1 == 0 || norm2 == 0 并返回 0。

中文分词和停用词处理怎么不翻车？

Go 原生不支持中文分词，seg 库（如 github.com/go-ego/gse）是目前最轻量可靠的选项。但它默认输出带词性，而 TF-IDF 只需要词本身，得过滤掉 "/n"、"/x" 这类标记。

• 停用词表别硬编码在代码里，用 map[string]bool 加载外部文件（如 stopwords.txt），每行一个词
• 分词后立即过滤：去掉长度 ≤1 的词、纯数字、停用词、正则匹配 ^[a-zA-Z0-9\u4e00-\u9fa5]+$ 以外的符号
• IDF 统计时，文档数用原始语料数量，但每个文档去重计数（同一词在一篇文档内多次出现，只算“该文档含此词”一次）

性能提示：如果语料超 10 万文档，idf 计算别用嵌套循环遍历所有文档查词——改用倒排索引：map[string]map[int]struct{}，键是词，值是含该词的文档 ID 集合。

今天带大家了解了的相关知识，希望对你有所帮助；关于Golang的技术知识我们会一点点深入介绍，欢迎大家关注golang学习网公众号，一起学习编程~