NLP自然语言处理中英文分词工具集锦与基本使用介绍

一、中文分词工具
(1)Jieba

(2NLP自然语言处理中英文分词工具集锦与基本使用介绍
)snowNLP分词工具

NLP自然语言处理中英文分词工具集锦与基本使用介绍
3)thulac分词工具

NLP自然语言处理中英文分词工具集锦与基本使用介绍
4)pynlpir 分词工具
NLP自然语言处理中英文分词工具集锦与基本使用介绍

(5)StanfordCoreNLP分词工具
1.from stanfordcorenlp import StanfordCoreNLP
2.with StanfordCoreNLP(r'E:UsersEternal SunPycharmProjects1venvLibstanford-corenlp-full-2018-10-05', lang='zh') as nlp:

  1. print("stanfordcorenlp分词:n",nlp.word_tokenize(Chinese))
    (6)Hanlp分词工具

NLP自然语言处理中英文分词工具集锦与基本使用介绍

分词结果如下:
NLP自然语言处理中英文分词工具集锦与基本使用介绍

二、英文分词工具

  1. NLTK:
    NLP自然语言处理中英文分词工具集锦与基本使用介绍

二者之间的区别在于,如果先分句再分词,那么将保留句子的独立性,即生成结果是一个二维列表,而对于直接分词来说,生成的是一个直接的一维列表,结果如下:
NLP自然语言处理中英文分词工具集锦与基本使用介绍

  1. SpaCy:
    NLP自然语言处理中英文分词工具集锦与基本使用介绍
  1. StanfordCoreNLP:
    NLP自然语言处理中英文分词工具集锦与基本使用介绍

分词结果

NLP自然语言处理中英文分词工具集锦与基本使用介绍

上一篇:部分常用分词工具使用整理


下一篇:《例说8051:单片机程序设计案例教程》——导读