1
2
3
4

John: [1, 0, 0, 0, 0, 0, 0, 0, 0, 0]
likes: [0, 1, 0, 0, 0, 0, 0, 0, 0, 0]
...
too : [0, 0, 0, 0, 0, 0, 0, 0, 0, 1]

3.2 离散表示 Bag of Words

文档的向量表示可以直接将各词的词向量表示加和

John likes to watch movies. Mary likes too. => [1, 2, 1, 1, 1, 0, 0, 0, 1, 1]
John also likes to watch football games. => [1, 1, 1, 1, 0, 1, 1, 1, 0, 0]

词权重 - (词在文档中的顺序没有被考虑)

tf-idf是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度

• TF-IDF (Term Frequency - Inverse Document Frequency)

Term Frequency : F(term) = (该word词出现在当前文档中的次数) / (当前文档所有word的总数).

信息检索词 t 的 IDF

$\log (1 + {\frac{N}{n^t}})$

N: 文档总数， n: 含有词 t 的文档数

[0.693, 1.386, 0.693, 0.693, 1.099, 0, 0, 0, 0.693, 0.693]

Binary weighting

不做计数的版本

短文本相似性, Bernoulli Naive Bayes [1, 1, 1, 1, 1, 0, 0, 0, 1, 1]

if so, I love you = you love I

3.3 离散表示 􏰜􏰝􏰞􏰟􏰒Bi-gram / 􏰪N-gram

John likes to watch movies. Mary likes too.
John also likes to watch football games.

<img src="/images/nlp/word2vector-4.png" width=“620” height=“400” align=“middle” /img>

3.4 语言模型 词组合出现的概率

一句话(词组合)出现的概率

<img src="/images/nlp/word2vector-5.png" width=“620” height=“400” align=“middle” /img>

简化计算 : $P(too | Mark, likes) \approx P(too | likes)$, 可参见 吴军 《数学之美》 解释

3.5 离散表示 的缺点

<img src="/images/nlp/word2vector-6.png" width=“620” height=“400” align=“middle” /img>

3.6 分布式表示 提出

<img src="/images/nlp/word2vector-7.png" width=“620” height=“400” align=“middle” /img>

Distributed representation :

用一个词附近的其他词来表示该词 - (不知道你的经济情况，就调查下你的狐朋狗友们)
􏰐􏱏􏲎􏰀􏳎􏳏􏰢􏳐􏳑􏰀􏳒􏰞You shall know a word by the company it keeps
— J.R. Firth 1957
􏰐􏱏􏲎􏰀􏳎􏳏􏰢􏳐􏳑􏰀􏳒􏰞􏰟􏳓􏰀􏰑􏰐􏱏􏲎􏰀􏳎􏳏􏰢􏳐􏳑􏰀􏳒􏰞􏰟􏳓􏰀􏰑􏰐􏱏􏲎􏰀􏳎􏳏􏰢􏳐􏳑
􏱕􏳔􏳕􏳖􏳗> 现代统计自然语言处理中最有创见的想法之一

4. 共现矩阵 (Cocurrence matrix)

<img src="/images/nlp/word2vector-8.png" width=“620” height=“400” align=“middle” /img>

共现 : 共同出现

4.1 Word - Word

<img src="/images/nlp/word2vector-9.png" width=“620” height=“400” align=“middle” /img>

左右窗 length 为 1， 得到的矩阵如上

存在缺点

<img src="/images/nlp/word2vector-10.png" width=“620” height=“400” align=“middle” /img>

模型欠稳定，可以考虑下 LR 的各个参数等，变化太大，对模型求解有影响

用SVD对共现矩阵向量做降维

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20

import numpy as np

la = np.linalg

words = ["I", "like", "enjoy", "deep", "learning", "NLP", "flying", "."]

X = np.array(
    [
        [0, 2, 1, 0, 0, 0, 0, 0],
        [2, 0, 0, 1, 0, 1, 0, 0],
        [1, 0, 0, 0, 0, 0, 1, 0],
        [0, 1, 0, 0, 1, 0, 0, 0],
        [0, 0, 0, 1, 0, 0, 0, 1],
        [0, 1, 0, 0, 0, 0, 0, 1],
        [0, 0, 1, 0, 0, 0, 0, 1],
        [0, 0, 0, 0, 1, 1, 1, 0]
    ]
)

U, s, Vh = la.svd(X, full_matrices=False)

SVD 降维存在的问题

• 计算量随语料库和词典增长膨胀太快，对X(n,n)维 的矩阵，计算量O(n^3)。而对大型的语料库， n_{400k，语料库大小1}60B token

• 难以为词典中新加入的词分配词向量

• 与其他深度学习模型框架差异大

4.2 NNLM

4.3 Word2Vec: CBOW

4.4 Word2Vec: Skip-Gram

4.5 Word2Vec 缺点

5. 总结

5.1 离散表示

• One-hot representation, Bag Of Words Unigram语言模型
• N-gram词向量表示和语言模型
• Co-currence矩阵的行(列)向量作为词向量

5.2 分布式连续表示

• Co-currence矩阵的SVD降维的低维词向量表示
• Word2Vec: Continuous Bag of Words Model
• Word2Vec: Skip-Gram Model

gensim 用 python 训练 word2vec 最好用的库
它的功能不至于 word2vec

updated on：May 2, 2022

Word2Vec