文章目录
题目
将若干词向量转变为一个词向量的方法
前言
在文本分词时，我们往往会将一个文本分为很多分词，每一个分词将会用一个词向量来表示。
假设一篇文章有n个分词，那么它将形成n个词向量，它们在经过全连接网络时会形成n个新维度向量，如果经过的是循环神经网络则会在n层隐藏状态。
问题来源
但是现实中我们往往需要对这些n维向量进行处理，如需要它们进行分类，此时我们就需要得到一个的向量来帮助我们分类，而不是需要n维向量。
那么我们如何将一个n维向量转化为一个1维向量呢？
思路
利用RNN的最终状态
在循环神经网络中，我们知道隐状态保留了最后一个时刻所有层的状态，其实它的状态就已经包含了所有的精华，它可以代表整段语句的向量。
代码实现
将一个文本向量划分为5分类向量
'''
Description: 利用RNN的最终状态来获取文本的单向量
Autor: 365JHWZGo
Date: 2021-12-21 16:26:25
LastEditors: 365JHWZGo
LastEditTime: 2021-12-21 16:59:06
'''
import torch
import torch.nn as nn
BATCH_SIZE = 3
HIDDEN_SIZE = 5
NUM_LAYER = 1
SEQ_LEN = 4
WORD_DIM = 6
class RNN(nn.Module):
def __init__(self,word_dim,hidden_size,num_layer):
super(RNN,self).__init__()
self.rnn = nn.RNN(word_dim,hidden_size,num_layer)
self.linear = nn.Linear(hidden_size,5)
def forward(self,x):
# rnn的输入维度为(SEQ_LEN,BATCH_SIZE,WORD_DIM)
output,h_s = self.rnn(x)
# output=(SEQ_LEN,BATCH_SIZE,HIDDEN_SIZE)
# h_s=(NUM_LAYER,BATCH_SIZE,HIDDEN_SIZE)
return self.linear(h_s[-1])
if __name__ == '__main__':
inputSeq = torch.randn(SEQ_LEN,BATCH_SIZE,WORD_DIM)
rnn = RNN(WORD_DIM,HIDDEN_SIZE,NUM_LAYER)
h = rnn(inputSeq)
# h的维度(BATCH_SIZE,5)
print(h)
运行结果
利用CNN和池化
在卷积神经网络中，我们可以借助过滤器啊(大小为window_size* word_dim) 来实现，得到一个文本向量(维度为batch_size*(seq_len-window+1)*m)【m为过滤器个数】
但是这样仍然有(seq_len-window+1)个文本向量，所以我们需要将(seq_len-window+1)个文本向量化为1个该怎样实现呢？
平均池化
平均池化之后的维度为batch_size*m
代码实现
'''
Description: cnn利用平均池化来实现单一文本维度
Autor: 365JHWZGo
Date: 2021-12-21 18:04:17
LastEditors: 365JHWZGo
LastEditTime: 2021-12-21 18:44:45
'''
import torch
import torch.nn as nn
import torch.nn.functional as F
OUT_CHANNELS = 4
WINDOW_SIZE = 3
WORD_DIM = 5
SEQ_LEN = 10
BATCH_SIZE = 3
class CNN(nn.Module):
def __init__(self):
super(CNN,self).__init__()
self.cnn = nn.Conv2d(1,OUT_CHANNELS,(WINDOW_SIZE,WORD_DIM))
self.maxPool = nn.AvgPool2d((1,SEQ_LEN-WINDOW_SIZE+1))
def forward(self,x):
x = x.unsqueeze(1)
# cnn 输入维度BATCH_SIZE*IN_CHANNELS*SEQ_LEN*WORD_DIM
output = self.cnn(x)
# cnn 输出维度BATCH_SIZE*OUT_CHANNELS*(SEQ_LEN-WINDOW_SIZE+1)*1
squeeze_opt = output.squeeze(3)
# 最大池化
res = self.maxPool(squeeze_opt)
return res
if __name__ == '__main__':
inputSeq = torch.randn(BATCH_SIZE,SEQ_LEN,WORD_DIM)
cnn = CNN()
output = cnn(inputSeq)
print(output)
运行结果
最大池化
代码实现
'''
Description: cnn利用最大池化来实现单一文本维度
Autor: 365JHWZGo
Date: 2021-12-21 18:04:17
LastEditors: 365JHWZGo
LastEditTime: 2021-12-21 18:41:38
'''
import torch
import torch.nn as nn
import torch.nn.functional as F
OUT_CHANNELS = 4
WINDOW_SIZE = 3
WORD_DIM = 5
SEQ_LEN = 10
BATCH_SIZE = 3
class CNN(nn.Module):
def __init__(self):
super(CNN,self).__init__()
self.cnn = nn.Conv2d(1,OUT_CHANNELS,(WINDOW_SIZE,WORD_DIM))
self.maxPool = nn.MaxPool2d((1,SEQ_LEN-WINDOW_SIZE+1))
def forward(self,x):
x = x.unsqueeze(1)
# cnn 输入维度BATCH_SIZE*IN_CHANNELS*SEQ_LEN*WORD_DIM
output = self.cnn(x)
# cnn 输出维度BATCH_SIZE*OUT_CHANNELS*(SEQ_LEN-WINDOW_SIZE+1)*1
squeeze_opt = output.squeeze(3)
# 最大池化
res = self.maxPool(squeeze_opt)
return res
if __name__ == '__main__':
inputSeq = torch.randn(BATCH_SIZE,SEQ_LEN,WORD_DIM)
cnn = CNN()
output = cnn(inputSeq)
print(output)
运行结果
两者区别
- maxPooling：主要用于减少无用信息的影响；可以提取特征纹理
- avgPooling:主要用于获取全局上下文关系；可以保留背景信息