上周，有缘接触到word2vec，了解了它的强大，这篇文章就写写它吧！

实现word2vec的方式有很多，我所知道的就有手搓、使用tensorflow和gensim。本篇文章是以gensim实现，代码很简单。如果想看tensorflow实现的参考Vector Representations of Words。

想直接跑代码查看效果，可点击Word2VecDemo下载。

整篇文章分成四部分：

  • 第一步：获得数据，建立语料库
  • 第二步：分词
  • 第三步：训练
  • 第四步：查看效果

第一步：获得数据，建立语料库

本打算下载维基百科中文语料库来跑一下，但由于时间原因，还没试。当前，使用的是我从一个法律网站爬下来30万条数据。爬数据的框架，是使用scrapy。

第二步：分词

在之前，我一个同学盼哥跟我说过，他跑过tensorflow中word2vec的例子，需要注意的是英文不需要分词，而中文需要分词。当时没明白过来，但真正看到示例代码的时候，才知道真这样。
然后，我就在github中搜到了jieba，看到9k+ star，分词就用它了。

之后，就从数据库中取出数据，使用jieba分词，存储到./data文件夹中。

第三步：训练

gensim训练特别简单，就是读取./data文件下分好词的文本，然后将其使用空格分割，返回给models.gensim训练：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
#coding: utf-8
#中文版处理的word2vec
from gensim import models
# 引入日志配置
import logging
logging.basicConfig(format='%(asctime)s : %(levelname)s : %(message)s', level=logging.INFO)
file_path = "./data/case.txt"
class MySentences(object):
    def __init__(self, file_path):
        self.file_path = file_path
    def __iter__(self):
        for line in open(file_path):
            # split当只有一个的时候,返回单个字符串,多个则返回数组
            words = line.split(" ")
            result_word = []
            for word in words:
                if word and word != '\n':
                    result_word.append(word)
            yield result_word
sentences = MySentences(file_path)
model = models.Word2Vec(sentences, workers=20, min_count=5, size=200)
# 保存模型
model.save("./cache/zh_word2vec")

需要注意的是：

1、models.Word2Vec中的参数：

  • sentences: 可以是个二维数组，例如：[[‘今天’, ‘是’, ‘星期天’], [‘明天’, ‘是’, ‘星期一’]]，但一般语料库都比较大，所以都是使用yield方式。
  • workers: 训练数据的线程数
  • min_count: 当某个词出现的平率少于这个数，就会被忽视
  • size: 存储向量的维度，维度越大存储的信息越多，越准确

2、保存训练好的模型到./cache/zh_word2vec

1
model.save("./cache/zh_word2vec")

后面查看效果的时候，会用到。

第四步，查看效果

代码实现流程很简单，就是使用models.Word2Vec.load加载训练好的模型，然后使用model模块下的API进行操作。

代码如下：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
#coding: utf-8
#中文版处理的word2vec使用
from gensim import models
# 引入日志配置
import logging
logging.basicConfig(format='%(asctime)s : %(levelname)s : %(message)s', level=logging.INFO)
model = models.Word2Vec.load("./cache/zh_word2vec")
print '\n女人 + 丈夫 - 男人:'
result = model.most_similar(positive=['女人', '丈夫'], negative=['男人'], topn=1)
print result[0][0], result[0][1]
print '\n抢夺和抢劫相近程度:'
print model.similarity('抢夺', '抢劫')
print "\n抢劫的近义词"
result = model.most_similar(['抢劫'])
for value in result:
    print value[0], value[1]
print '\n公司法的近义词:'
result = model.most_similar(['公司法'])
for value in result:
    print value[0], value[1]
print '\n公司法和协议组成的近义词:'
result = model.most_similar(['公司法', '协议'])
for value in result:
    print value[0], value[1]
print '\n委托书的近义词:'
result = model.most_similar(['委托书'])
for value in result:
    print value[0], value[1]
print '\n投资的近义词:'
result = model.most_similar(['投资'])
for value in result:
    print value[0], value[1]
print "\n找出投资、抢劫、强奸、盗窃中,哪个词不是一组的:"
result = model.doesnt_match(['投资', '抢劫', '强奸', '盗窃'])
print result

结果为：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
女人 + 丈夫 - 男人:
妻子 0.638504564762
抢夺和抢劫相近程度:
0.80240327463
抢劫的近义词
抢夺 0.802403330803
盗窃 0.800097942352
作案 0.797169923782
抢劫犯罪 0.74809718132
敲诈勒索 0.745306968689
诈骗 0.706851243973
行窃 0.706330060959
强奸 0.685930252075
共谋 0.683236837387
飞车 0.653475642204
公司法的近义词:
继承法 0.759847998619
行政处罚法 0.738676190376
土地管理法 0.73749756813
票据法 0.735802054405
物权法 0.734579086304
产品质量法 0.702591955662
保险法 0.695441961288
著作权法 0.683708071709
消防法 0.682392597198
劳动法 0.670343637466
公司法和协议组成的近义词:
协议书 0.666539371014
消防法 0.601478874683
拍卖法 0.584682762623
合同 0.582781195641
继承法 0.573017239571
公司章程 0.572464048862
票据法 0.560360312462
补充协议 0.551261663437
物权法 0.549430251122
土地管理法 0.548958778381
委托书的近义词:
授权书 0.733257114887
书面材料 0.667756915092
声明书 0.649828374386
声明 0.635425388813
承诺函 0.623859405518
承诺书 0.614668488503
担保书 0.598217010498
确认函 0.597471117973
便条 0.589580059052
函件 0.586620807648
投资的近义词:
出资 0.632706165314
入股 0.615086615086
投入 0.525379896164
利润分配 0.503669142723
股票 0.50173163414
资金 0.495302915573
回报 0.493470430374
开发 0.492733627558
增资 0.49268245697
顾问 0.490810781717
找出投资、抢劫、强奸、盗窃中,哪个词不是一组的:
投资

可以看出来，整个模型已经有点效果出来了。若是，整个语料库再扩大十倍，应该会更准确很多。

总结

gensim实现的word2vec，使用特别简单，效果也很不错。不过，后期打算深入了解原理，然后使用tensorflow的方式进行训练，看效果能否更好。

本来，打算再写一篇doc2vec的，不过，因为至今未看到很大的效果，所以留待以后吧。

参考

Simple word2vec tutorial

Quick Example