基于理解的分词方法
其基本思想是在分词的同时进行句法、语义的分析，以此来处理歧义问题。
目前这种方法还处于实验状态
基于统计的分词方法
基本思路
构建语言模型，对句子进行单词划分，划分结果运用统计方法计算概率，获取概率最大的分词方式
N元语言模型（N-gram语言模型）
设\(z\)为字串，\(w\)为划分的词串，\(s\)是一种划分。该分词方法是以\(p(s)\)最大的分词结果作为结果。
由于每个词的概率都十分小，对于较长的字串，得到的每个结果的概率可能十分接近于0，计算机精度不够，会影响概率的比较，可通过比较概率的负对数来比较大小。
这种方法可发现所有的切分歧义，它的成功率很大程度取决于统计语言模型的精度和决策算法。
概率怎么得到，肯定是要有样本的，如果可以的话，以人类有史以来所有说过的话作为样本肯定是最好的，但这不可能实现。
对于\(p(s)\)，根据条件概率公式，有\(p(s)=p(w_1)p(w_2|w_1)\cdots p(w_n|w_{n-1},w_{n-2},\cdots w_1)\)
这种计算方法对算力要求太高，对训练数据要求十分大，不太可能实现，因此考虑建立模型。
马尔可夫假设
俄国数学家马尔可夫提出假设：任意一个词\(w_i\)出现的概率只同它前面的一个词\(w_{i-1}\)有关，这种假设称为马尔可夫假设。
即\(p(s)=p(w_1)p(w_2|w_1)\cdots p(w_n|w_{n-1})\)
这样求的方法就简单多了。
而当我们假设\(w_i\)出现的概率和它前面的\(n\)个词有关，就被称为\(n\)元语言模型
代码思路
用\(DFS\)不难实现，首先找到一个可行的划分，再计算概率，保存最大概率的结果，\(DFS\)途中可适当剪枝。
//代码框架
void _find (int cur)//找划分，cur表示当前为第几个词
{
if (cur==n+1) calc();//对当前结果计算概率并保存
for (int i=cur;i<=n;++i)
if (check(cur,i)){//如果从cur到i形成一个词
add(cur,i);//将该词添加到当前划分
_find(i+1);
del();//删掉这个词
}
}
与词性标注结合
这种方法的基本思想是在考虑分词结果的概率的同时，还要考虑词性，自然语言的词性搭配是有规律的，将分词结果的词性搭配的概率也进行比较，从而反过来调整分词，可极大的提高结果的准确性。