首先感谢无私分享的各位大神，文中很多内容多有借鉴之处。本次将自己的实验过程记录，希望能帮助有需要的同学。
一、从下载数据开始
现在的中文语料库不是特别丰富，我在之前的文章中略有整理，有兴趣的可以看看。本次实验使用wiki公开数据，下载地址如下：
wiki英文数据下载：https://dumps.wikimedia.org/enwiki/latest/enwiki-latest-pages-articles.xml.bz2
wiki中文数据下载：https://dumps.wikimedia.org/zhwiki/latest/zhwiki-latest-pages-articles.xml.bz2
二、英文数据处理
1.抽取文本 wiki数据内容比较复杂，所以在处理之前需要做一些预处理。通过 process_wiki.py 将wiki数据中的每一篇文章转为1行文本。
执行下行命令：
'''
process_wiki.py 处理程序
enwiki-latest-pages-articles.xml.bz2 英文wiki数据
wiki.en.text 输出的文本文件
'''
python process_wiki.py enwiki-latest-pages-articles.xml.bz2 wiki.en.text
process_wiki.py
#--*-- coding:utf-8 --*-- from __future__ import print_function import logging
import os.path
import six
import sys from gensim.corpora import WikiCorpus
#import WikiCorpus if __name__ == '__main__':
program = os.path.basename(sys.argv[0])
logger = logging.getLogger(program) logging.basicConfig(format='%(asctime)s: %(levelname)s: %(message)s')
logging.root.setLevel(level=logging.INFO)
logger.info("running %s" % ' '.join(sys.argv)) # check and process input arguments
if len(sys.argv) != 3:
print("Using: python process_wiki.py enwiki.xxx.xml.bz2 wiki.en.text")
sys.exit(1)
inp, outp = sys.argv[1:3]
space = " "
i = 0 output = open(outp, 'w')
wiki = WikiCorpus(inp, lemmatize=False, dictionary={})
for text in wiki.get_texts():
if six.PY3:
output.write(bytes(' '.join(text), 'utf-8').decode('utf-8') + '\n')
# ###another method###
# output.write(
# space.join(map(lambda x:x.decode("utf-8"), text)) + '\n')
else:
output.write(space.join(text) + "\n")
i = i + 1
if (i % 10000 == 0):
logger.info("Saved " + str(i) + " articles") output.close()
logger.info("Finished Saved " + str(i) + " articles")
2.训练词向量
训练word2vec的开源代码非常多，使用的语言种类也很丰富，本实验使用gensim包训练词向量，其特点使用简便，训练速度快。
执行下行命令：
'''
train_word2vec_model.py 训练程序
wiki.en.text wiki文本数据
wiki.en.text.model 训练模型参数
wiki.en.text.vector 输出的词向量文件
'''
python train_word2vec_model.py wiki.en.text wiki.en.text.model wiki.en.text.vector
train_word2vec_model.py
#!/usr/bin/env python
# -*- coding: utf-8 -*- from __future__ import print_function import logging
import os
import sys
import multiprocessing from gensim.models import Word2Vec
from gensim.models.word2vec import LineSentence if __name__ == '__main__':
program = os.path.basename(sys.argv[0])
logger = logging.getLogger(program) logging.basicConfig(format='%(asctime)s: %(levelname)s: %(message)s')
logging.root.setLevel(level=logging.INFO)
logger.info("running %s" % ' '.join(sys.argv)) # check and process input arguments
if len(sys.argv) < 4:
print("Useing: python train_word2vec_model.py input_text "
"output_gensim_model output_word_vector")
sys.exit(1)
inp, outp1, outp2 = sys.argv[1:4] model = Word2Vec(LineSentence(inp), size=128, window=5, min_count=5,
workers=multiprocessing.cpu_count()) model.save(outp1)
model.wv.save_word2vec_format(outp2, binary=False)
3.测试词向量
import gensim #导入包
model = gensim.models.KeyedVectors.load_word2vec_format("wiki.en.text.vector", binary=False)
model.most_similar('queen') #测试相关词
model.similarity("woman", "man") #测试次间距
三、中文数据处理
1.抽取文本
同英文处理类似，执行如下命令：
python process_wiki.py zhwiki-latest-pages-articles.xml.bz2 wiki.zh.text
2.繁体字转简体字
wiki中文数据中存在很多繁体中文，因此首先需要将繁体字转为简体中文。
本文使用开源工具 opencc，首先安装：
(1) linux安装及执行
yum install opencc-tools #安装 #执行命令
'''
wiki.zh.text 输入的为转化文本
wiki.zh.text.jian 输出的简体中文文本
-c hk2s.json
s2hk.json
zhs2zht.json
s2tw.json
s2twp.json
zht2zhs.json
tw2s.json
tw2sp.json
'''
opencc -i wiki.zh.text -o wiki.zh.text.jian -c zht2zhs.json
(2)python安装及执行
pip install OpenCC #安装
#执行
import opencc
opencc.convert(string, config='t2s.json')
3.分词
本文使用结巴分词，使用方法比较简单，在这里不加赘述。
4.编码处理
将文本全部转为UTF-8编码
iconv -c -t UTF-8 < wiki.zh.text.jian.seg > wiki.zh.text.jian.seg.utf-8
5.训练词向量
执行下行命令(训练代码同英文训练)：
'''
train_word2vec_model.py 训练程序
wiki.zh.text wiki文本数据
wiki.zh.text.model 训练模型参数
wiki.zh.text.vector 词向量文件
'''
python train_word2vec_model.py wiki.zh.text wiki.zh.text.model wiki.zh.text.vector
6.测试词向量(同英文词向量测试)
import gensim
model = gensim.models.KeyedVectors.load_word2vec_format("wiki.zh.text.vector", binary=False)
model.most_similar('女人')
model.similarity("女人", "男人")
四、其他
除了使用上文中的process_wiki.py，还可以使用 Wikipedia Extractor，命令如下：
'''
参数 -b 1000M 表示以 1000M 为单位切分文件,
默认是 500K。由于最后生成的正文文本不到 600M，
把参数设置的大一些可以保证最后的抽取结果全部存在
一个文件里
'''
bzcat zhwiki-latest-pages-articles.xml.bz2 | python WikiExtractor.py -b 1000M -o extracted >output.txt
**********************************
* 吃饱了踏实，努力了充实 *
**********************************