本文接上文，介绍连续语音识别系统设计过程，演示视频见下载资源中。

由于静音也被当做语音进行建模，故不需要进行端点检测，因此这个参数文件相比较孤立词的要简单一些。

2、模型训练

        基于HTK的连续语音识别模型训练有两种方式：boot-strap和flat start两种。boot-strap是指首先进行孤立词方式设置模型参数，然后再进行模型参数重估，其过程如图1所示，这种方式需要手工标注语音文件，即需要边界信息；flat start方式则是首先采用全局均值和协方差设置模型参数，然后再进行模型参数重估，其过程如图2所示，对应的标签文件不需要边界信息。前者过程比较复杂，因此在这里采用第二种方

图1  boot-strap方式训练过程

图2 flat start方式训练过程

式训练模型。另外在利用HERest进行HMM嵌入式重估过程中，经常需要不断修改HMM，再进行训练，这个过程往往需要重复多次，如图3所示。具体过程如下所述：

图3  重估过程示意图

(1) 创建monophones

1) 首先将词层标签转换成音子层标签，利用HLed工具，调用形式：

HLed  -i phone.mlf -l * -d dict edit.led  word.mlf

输出音子层标签phone.mlf。其中dict为发音词典，这里用的词典是无sp结尾。word.mlf为词层标签，edit.led为其编辑文件，内容如下：

SO

EX

IS sil sil

2) 然后准备一个HMM模型定义文件hmm0，形式如下：

~o <VecSize>  39 <MFCC_E_D_A> 

<StreamInfo>3 13 13 13

~h "1hmm0"

<BeginHMM>    

<NumStates> 5 

<State> 2 

<Stream> 1 

<Mean> 13  

0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 

<Variance> 13  

0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 

… … …

<Stream> 3  

    … … …

… … … …     

<State> 4  

… … …

<TransP> 5 

0.6 0.4 0.0 0.0 

0.2 0.4 0.4 0.0 

0.0 0.3 0.4 0.3 

0.0 0.0 0.6 0.4 

0.0 0.0 0.0 0.0 

<EndHMM>

并利用HCompV工具对模型进行初始化，调用形式：

HCompV -m -S train.scp -M newhmm -o hmm1 hmm0

输出设置参数后的HMM定义文件hmm1。其中train.scp为所有的训练文件列表，newhmm为输出HMM定义文件目录，hmm0为输入HMM原型定义文件。

3) 然后根据音子模型列表，利用WINHTK工具复制创建一系列HMM集，称为monophone。

4) 接下来，用HERest对这些monophone进行训练。调用形式：

HErest -M newhmm -S train.acp -H hmm1 monophone.lst

其中monophone.lst为HMM集列表，hmm1为输出hmm定义文件，newhmm为输出目录，train.scp为训练文件列表。连续进行两次。最后获得hmm3。

5) 考虑停顿sp，修改sil模型。在这一步，首先，利用sil模型获取sp模型，sp

取三个状态，第二个状态对应sil的第三个状态。相应的HMM定义编辑文件edit.hed文件如下： 

AT 2 4 0.2 {sil.transP}

AT 4 2 0.2 {sil.transP}

AT 1 3 0.3 {sp.transP}

TI silsp {sil.state[3],sp.state[2]}

在后面使用带sp的词典获取音子层标签再用于后面的训练。

6) 模型训练，使用带sp的标签进行模型训练，连续两次，同步骤4。最后获得HMM定义文件hmm6。

(2) 创建triphones

1) 将训练monophone时的上下文无关标签转换成triphone模型相对应的上下文相关标签，edit.led内容如下：

SO

WB sp

WB sil

TC

2) 利用上面获得monophone模型通过克隆产生triphone音子模型集，同时进行转移概率绑定。相应的HMM定义编辑文件edit.hed文件内容为：

CL triphonelist

TI tie_a1 {(*-a1+*,a1+*,*-x).transP}

TI tie_a2 {(*-a2+*,a2+*,*-x).transP}

TI tie_a3 {(*-a3+*,a3+*,*-x).transP}

… … … … … … … … …

3) 对triphone进行两次训练，最后获得HMM定义文件hmm9。

(3) 创建 tied-state triphones

1) 对triphone模型进行数据驱动方式的状态绑定，相应的HMM定义编辑文件edit.hed内容如下：

RO 3 stats

TC 100 tc_a12 {(*-a1+*,a1+*,*-a1).state[2]}

TC 100 tc_a13 {(*-a1+*,a1+*,*-a1).state[3]}

TC 100 tc_a14 {(*-a1+*,a1+*,*-a1).state[4]}

TC 100 tc_a22 {(*-a2+*,a2+*,*-a2).state[2]}

… … … … 

2) 对绑定后的tied-state triphone HMM利用训练数据进行两次模型训练，最终获得HMM定义文件hmm12。

3、识别测试

        下面利用HVite工具进行识别，其调用形式如下：

HVite –H hmm12 –S test.scp –l * -i  rec.mlf  -w network.slf dict triphonelist

rec.mlf为识别输出标注MLF文件。其中network.slf文件为语法约束转换成FSN的SLF文件，hmm12为训练得到的模型集，triphonelist为相应的HMM列表。Dict为发音词典文件。test.scp中列出训练文件。

4、识别效果分析

        最后，利用HResults工具进行识别效果分析，其调用形式如下：

HResults -A -T 0002 -n -L * -I trans triphonelist rec.mlf

其中trans为参考标准文件，triphonelist为triphone列表，rec.mlf为识别输出的标准文件。分析结果为：

====================== HTK Results Analysis =======================

Date: Thu May 21 20:24:58 2009

Ref : trans

Rec : rec.mlf

------------------------ Overall Results --------------------------

SENT: %Correct=72.09 [H=31, S=12, N=43]

WORD: %Corr=88.12, Acc=84.65 [H=178, D=2, S=22, I=7, N=202]

===================================================================

        从上可以看出识别效果并不是很好，句子的正确识别率仅为72.09%，词的正确识别率为88.12%。其主要原因是训练样本不足，另外就是HMM结构没有优化所致。有充分的训练样本的，训练好的模型在录音较好的环境下，百条语句的识别率可以上95%。

WinHTK开发与使用三：连续语音识别