作者：景
单位：燕山大学
关于分词任务
中文分词(CWS)是在句子中划分单词边界的任务，对于中文和许多其他东亚语言来说，这是一项基本和必要的任务——对于中文来说，进行交流的基本单位是汉字，每个汉字均有各自的意思，且当不同的汉字进行组合后还会产生新的含义。英语中词的最基本单位是字母（letter），但英语日常使用的基本单位是词（word），词汇之间的关联组合性相较中文较弱。在实际应用场景中，如果按照英文的使用习惯对中文进行“按字拆分”，就会割裂中文词汇内的语义联系。
任务定义
给定一段中文序列[x1,…,xn],用标签0/1来标记序列中俩俩字符之间的间隙(gap)，如果间隙前后的字符（如x5、x6）属于不同的词汇，即判定该处间隙属于分词符，用标签1标记该间隙，反之则用标签0表示。最后根据标签值将序列进行划分即可完成分词任务。
论文概述
- 提出了一种新型的Transformer变体——高斯掩码定向Transformer编码器（Gaussian-masked Directional Transformer encoder，GD）
- 提出了一种新的中文分词模型，该模型基于GD Transformer设计，但其内部仅仅堆叠了注意力机制模块，没有添加前馈神经网络
- 作者证明在使用GD作为编码器之后，单个字符特征加上贪婪分割算法可以支持产生强大的性能，并刷新了当前的sota。
方法
模型的总结构图如下所示。
1.高斯掩码定向Transformer
作者提出的GD Transformer与原版的Transformer相比，做了两大改进：
1.用三种平行的Encoder代替了原transformer中的Encoder
2.采用高斯掩码定向注意力机制代替了标准的多头自注意力机制
Encoder部分
如上图所示，每层共有三个彼此平行的编码器：前向编码器、中心编码器、 后向编码器；前、后向编码器用于捕捉gap前边、后边的信息，中心编码器与原Transformer编码器一样，可以同时捕捉gap前后文的信息。
For the forward encoder, we forcibly set all values inside the attention matrix representing the character pair relation after the concerned character as 0 so that the encoder can focus on the forward characters.
对于前向编码器，作者强制将gap之后的关系矩阵内的所有值设置为0，进行一个掩盖的操作，以便编码器可以关注前向字符。后向编码器的设置与前向编码器相似，不过掩盖的是gap之前的位置。
编码器的输出结果为rf、rb、rc，得到图示的
v
b
v^b
vb和
v
f
v^f
vf
v
b
=
r
b
+
r
c
v
f
=
r
f
+
r
c
v^b=r^b+r^c\\ v^f = r^f+r^c
vb=rb+rcvf=rf+rc
GD多头注意力机制
我们知道，Transformer中Attention的计算公式如式1所示，
A
t
t
e
n
t
i
o
n
(
Q
,
K
,
V
)
=
s
o
f
t
m
a
x
(
Q
K
T
d
k
)
V
(1)
Attention(Q,K,V)=softmax(\frac{QK^T}{\sqrt {d_k}})V \tag{1}
Attention(Q,K,V)=softmax(dk
QKT)V(1)
与缩放的点积注意力不同，高斯掩码定向注意力期望关注每个位置的相邻字符，并将字符之间的局部性关系作为固定的高斯权重进行关注。作者假设高斯权重只依赖于字符之间的距离。因此引入高斯权重矩阵
G
=
(
g
i
j
)
G=(g_{ij})
G=(gij)，它表示位置i和位置j的两个字符之间的关系，计算公式如式2所示，
g
i
j
=
Φ
(
d
i
s
i
j
)
=
2
σ
2
π
∫
−
∞
−
d
i
s
i
j
e
x
p
(
−
x
2
2
σ
2
)
d
x
(2)
g_{ij}=Φ(dis_{ij})={{\sqrt {\frac{2}{σ^2π}}{\int_ {-∞}^{-dis_{ij}}{exp(-\frac {x^2}{2σ^2})}dx}}} \tag{2}
gij=Φ(disij)=σ2π2
∫−∞−disijexp(−2σ2x2)dx(2)
其中 g i j g_{ij} gij是字符i和j之间的高斯权重， d i s i j dis_{ij} disij是字符i和j之间的距离，φ(x)是高斯累积分布函数，σ是高斯函数的标准差，是超参数。当 d i s i j dis_{ij} disij为0时，高斯权重等于1。字符之间的距离越大，权重越小，这使得一个字符对其相邻字符的影响大于对不相邻字符的影响。
再将高斯权重融入注意力机制，
A
G
(
Q
,
K
,
V
)
=
s
o
f
t
m
a
x
(
Q
K
T
∗
G
d
k
)
V
(3)
AG(Q,K,V)=softmax(\frac{QK^T*G}{\sqrt {d_k}})V\tag{3}
AG(Q,K,V)=softmax(dk
QKT∗G)V(3)
值得注意的是，由于作者采用了三种编码器并行，因此在把高斯权重融入注意力的时候也需要分三步进行，即针对前后向编码和中心编码采用不同的掩码矩阵，前向编码模块中，位置i应当能够见到它前方的字符序列信息，看不到它后边的信息；后向编码则完全相反，公式如下：
g
i
j
f
=
{
g
i
j
,
p
o
s
j
≤
p
o
s
i
,
−
∞
,
o
t
h
e
r
s
.
g
i
j
b
=
{
g
i
j
,
p
o
s
i
≤
p
o
s
j
,
−
∞
,
o
t
h
e
r
s
.
(4)
g_{ij}^f=\left\{ \begin{array}{lr} g_{ij},&pos_j≤pos_i, \\\\ -∞,&others.\\ \end{array} \right.\\\tag{4} g_{ij}^b=\left\{ \begin{array}{lr} g_{ij},&pos_i≤pos_j, \\\\ -∞,&others.\\ \end{array} \right.
gijf=⎩⎨⎧gij,−∞,posj≤posi,others.gijb=⎩⎨⎧gij,−∞,posi≤posj,others.(4)
GD多头注意力机制的计算公式如式5所示，
G M H ( Q , K , V ) = C o n c a t ( h e a d 1 , . . . , h e a d h ) W m , h e a d i = A G ( Q W i q , K W i k , V W i v ) (5) GMH(Q,K,V)=Concat(head_1,...,head_h)W_m,\\ head_i = AG(QW_i^q,KW_i^k,VW_i^v)\tag{5} GMH(Q,K,V)=Concat(head1,...,headh)Wm,headi=AG(QWiq,KWik,VWiv)(5)
2.Biaffine Attention Scorer
Biaffine Attention是Dozat 等提出来的方法，作者采用Biaffine Attention Scorer来标记词间gap是否为单词边界。
作者用sij来表示字符i和字符j之间是否应该分词，计算公式如下，
s i j = B i a f f i n a l S c o r e ( v i f , v j b ) = ( v i f ) T W v j b + U ( v i f ⨁ v j b ) + b (6) s_{ij} =BiaffinalScore(v_i^f,v_j^b)\\ =(v_i^f)^TWv_j^b+U(v_i^f\bigoplus v_j^b)+b\tag{6} sij=BiaffinalScore(vif,vjb)=(vif)TWvjb+U(vif⨁vjb)+b(6)
如上图所示，“天”的位置为i，“是”的位置为j，通过三个编码器得到vif与vjb，再由式6计算即可得到sij，判断字符i与字符j是否应该进行分词操作。
3.Highway Connections via Hidden Layer
Highway Connections直观理解就是高速公路连接，这里其实是采用了比喻的说法，作者为了充分利用隐层状态信息而不是只使用最后一层的输出，将每一层编码器的输出信息都进行了提取，按照和最后一层相同的BiaffineScorer的计算方法来计算每一层的sij得分，最后将所有层的sij汇总得出最终结果，在模型结构上的体现就像是架起了若干高架桥，如总体模型图最顶端显示的部分。
实验
1.数据集
作者进行实验才用的数据集为SIGHAN Bakeoff 2005，具体又细分为PKU,MSR, AS and CITYU.具体细节如下表所示：
2.实验结果
在SIGHAN Bakeoff数据集上的封闭测试结果如下：
评价指标：
F1、训练时长、测试时常
在开放集合中测试的F1表现：
结论
本文以快速分词的贪婪解码器为基础，只关注编码器的设计，提出了一种仅基于CWS模型的注意机制。算法在标准的基准SIGHAN Bakeoff数据集上进行评估，在速度与性能上均具有最好的效果。