词嵌入是什么？NLP新手必学教程

词嵌入是自然语言处理中让计算机真正“理解”词语语义的核心技术——它不再用冰冷的编号或稀疏的独热向量表示词语，而是将每个词映射为蕴含丰富语义信息的低维稠密数字向量，使“猫”与“狗”的向量彼此靠近、“国王−男人+女人≈王后”成为可能；从Word2Vec的上下文预测、GloVe的全局共现分解，到FastText的子词建模和BERT的动态上下文感知，不同方法各有所长，而新手只需掌握其原理本质与实用要点，就能迈出NLP实战的关键一步。

词嵌入（Word Embedding）是把词语变成数字向量的技术，让计算机能“读懂”词和词之间的关系。它不是简单给每个词编号，而是用一串实数（比如[-0.82, 1.34, 0.07, …]）来代表一个词，这些数字背后藏着语义信息——意思越接近的词，它们的向量在空间里就越靠近。

为什么不能直接用文字？

计算机只能处理数字，无法直接运算“苹果”“香蕉”这样的字符串。早期做法是独热编码（One-Hot），比如词汇表第5个词是“猫”，就表示成[0,0,0,0,1,0,…]。但这种方式有严重问题：

• 向量极稀疏、维度爆炸（万级词汇=万维向量）
• 所有词之间距离完全相等，无法体现“猫”和“狗”比“猫”和“汽车”更相关
• 模型学不到任何语义规律，纯靠统计匹配

词向量怎么做到“懂意思”？

词嵌入通过大量文本自动学习：模型反复观察一个词总和哪些词一起出现，逐渐调整每个词的向量，使得上下文相似的词向量也相似。典型表现有：

• 语义相近 → 向量余弦相似度高（如“医生”和“护士”）
• 语法角色一致 → 向量方向趋同（如“跑”“跳”“游”都指向动作类）
• 可做类比运算：“国王” − “男人” + “女人” ≈ “王后”

常见词嵌入方法有哪些？

不同模型实现思路不同，但目标一致：生成高质量、低维（通常50–300维）、稠密的词向量。

• Word2Vec：Google 2013年提出，含CBOW（用上下文猜中心词）和Skip-gram（用中心词猜上下文）两种训练方式，速度快、效果稳，适合通用场景
• GloVe：斯坦福提出，先统计全局词共现频次，再用矩阵分解压缩，更强调词对的整体统计关系
• FastText：Facebook开发，把词拆成字符n-gram（如“apple”→“app”,“ppl”,“ple”），能更好处理未登录词和拼写变体
• ELMo / BERT等上下文感知模型：不再给每个词固定向量，而是根据所在句子动态生成（如“苹果”在“吃苹果”和“苹果公司”中向量不同）

实际使用时要注意什么？

新手上手常踩几个坑：

• 别直接拿预训练向量当万能解——领域差异大时（如医疗、法律文本），最好用本领域语料微调或重训
• 向量维度不是越高越好，100–200维通常平衡效果与效率；超过300维提升有限，反而增加计算负担
• 停用词（“的”“了”“and”“the”）是否过滤，要结合任务判断：做情感分析可能需要保留语气词，做关键词提取则建议过滤
• 中文需先分词（如用jieba），否则“人工智能”被切开就丢了整体语义

文中关于WordEmbedding的知识介绍，希望对你的学习有所帮助！若是受益匪浅，那就动动鼠标收藏这篇《词嵌入是什么？NLP新手必学教程》文章吧，也可关注golang学习网公众号了解相关技术文章。