pytorch自然语言处理之Pooling层的句子分类

pytorch自然语言处理之Pooling层的句子分类



Pooling作为最简单的层其实也可以作为句子分类任务。Pooling有很多种,max_Pooling,avg_Pooling,min_Pooling等。常用的还是max_Pooling:取同维度的最大值。


先看看流程图:

pytorch自然语言处理之Pooling层的句子分类

这里的Linear Layer后面应该经过一个Softmax的,可是由于交叉熵cross_entropy里隐含有Softmax,这里我就没有画了。

第一步搭建网络

pytorch自然语言处理之Pooling层的句子分类

这里除了划线的和类的名字外,其他都是pytorch固定模板。__init__就是搭建网络的函数,forward是数据怎么在你刚搭建的网络中流动的写出来就行,注意数据矩阵的维数,要前后对上。该维度可以用view(),t(),transport()按照想法进行改变。我在这个维度上浪费了很长时间,就是对不上。慢慢理解了,就会了。

这里的Embeding层就是把现实客观特征转成电脑识别的特征,也就是特征向量化。

第二步读入数据并将数据数字化

数据是这个样子:

pytorch自然语言处理之Pooling层的句子分类

前面文本后面类别

pytorch自然语言处理之Pooling层的句子分类

读取文本的类

pytorch自然语言处理之Pooling层的句子分类

清洗英文文本的函数,这个写过一次后,下次清洗文本直接复制直接用。

文本读取完后,建立词典,为只有数字序列化做准备。函数如下:

pytorch自然语言处理之Pooling层的句子分类

字典为:

pytorch自然语言处理之Pooling层的句子分类

然后通过函数调用就能生成数字序列:

pytorch自然语言处理之Pooling层的句子分类

第三步开始训练

pytorch自然语言处理之Pooling层的句子分类

因为用SGD很多时候不能够收敛。。。特别悲催。所以推荐用Adam优化。

pytorch自然语言处理之Pooling层的句子分类


pytorch自然语言处理之Pooling层的句子分类

这是计算精确度的函数,在一遍跑好的模型上走一遍Dev数据,得出开发集准确率。torch和numpy交换就用  .numpy()。

最后得出结果:

这个贼耗时间

pytorch自然语言处理之Pooling层的句子分类

pytorch自然语言处理之Pooling层的句子分类

pytorch自然语言处理之Pooling层的句子分类

精确度慢慢增长。。。

在此,非常感谢刘宗林师兄的技术支持。


pytorch自然语言处理之Pooling层的句子分类


上一篇:空间金字塔池化(Spatial Pyramid Pooling, SPP)原理和代码实现(Pytorch)


下一篇:混合(Pooling)样本测序研究