Word2Vec的CBOW与Skip-gram互为反向

独热编码和词袋模型把词当孤立符号，语料一大就陷入维度灾难，还完全没有语义。Word2Vec的解法是”相似语境的词语义相近”：CBOW用上下文预测中间焦点词，Skip-gram反过来用中心词预测上下文，两者方向相反，训练完成后输入层到隐藏层的权重就是稠密低维词向量。这背后是把”意义”重新定义为”分布规律”——一个词是什么，由它常出现在什么上下文决定，而非靠人工定义。