【wiki*中文数据集】抽取wiki数据集——实操

2024-03-20 11:39:10

参考

【https://blog.csdn.net/wangyangzhizhou/article/details/78348949】

【另外一篇参考处理wiki数据】

　　【1】【https://blog.csdn.net/sinat_26917383/article/details/79462107】

　　　　【上述代码】【https://github.com/mattzheng/ChineseWiki/blob/master/README.md】

　　【2】【https://blog.csdn.net/jdbc/article/details/59483767】

　　一、下载数据集

　　到【https://dumps.wikimedia.org/zhwiki/latest/】下载最新的中文wiki百科数据集【zhwiki-latest-pages-articles.xml.bz2】。

　　也就是【https://dumps.wikimedia.org/zhwiki/latest/zhwiki-latest-pages-articles.xml.bz2】

　　二、提取原始语料库数据（新词汇：语料库（corpus —— corpora【复数】））

　　（一）节点信息

　　据说xml节点信息类似如下：（待验证）

<page>
  <title></title>
  <id></id>
  <timestamp></timestamp>
  <username></username>
  <comment></comment>
  <text xml:space="preserve"></text>
</page>

　　（二）抽取数据

　　【抽取数据工具】：使用Wikipedia的extractor抽取工具。

# 克隆下载wikipedia的Extractor工具
git clone https://github.com/attardi/wikiextractor.git wikiextractor

# 进入提取工具目录。我的该目录和语料文件.xml.bz2在同一个目录下
cd wikiextractor

# 提示了权限问题 记得要在前面sudo一下
python setup.py install

# 注意这里.xml.bz2文件在.py文件的上一级 需要对.xml.bz2文件的位置改动 改为相对路径 即 ../xxxx.xml.bz2
python WikiExtractor.py -b 1024M -o ../extracted zhwiki-latest-pages-articles.xml.bz2

# 然后提取了好久 等着吧 等啊等

=====================

　　记录了一下时间，刷屏太快只能靠截图手算估计。(372w-365w)/min=7w条目/min。

　　不知道为何其他博主都是几十w条的数据量，我下载的这个数据包目前还在解压中已经过了426w条了额……

=====================

　　（三）原始语料文件内容——实例

码农公寓