NN[神经网络]中embedding的dense和sparse是什么意思?
dense 表示稠密,在embedding中的dense时:
假设我们有这样一个句子: “北京是北京”,我们将其数值化表示为:
dense embedding,需要你讲它转换成onehot表示:
假设embedding对输出size=3,也就是hidden层的size=3*3;
eg:
那么dense layer的计算过程就是一个矩阵相乘:
....
整个流程展开来看就是:
你会看到这个过程: 1. 计算量非常巨大 ,这个回想一下矩阵乘法的复杂度就知道O((N*M)*(M*M)), 2.而且对于输入来说,转换的矩阵也很巨大(就是vocabulary有多大,这个列就有多大,你想想当vocabulary=500w时,这个输入input的表示矩阵大不大).
那么有没有方法,优化一下这两个问题(计算量大,输入尺寸也大)呢?
sparse : 表示稀疏,在embedding中的dense时:
同样假设我们有这样一个句子: “北京是北京”,我们将其数值化表示为:
sparse embedding,不需要你转换乘onehot编码格式:
那么,它是如何计算的呢?
假设embedding对输出size=3,也就是hidden层的size=3*3;
eg:
那么sparse layer的计算过程的“矩阵相乘”(相当于一个查表的过程,所以有lookup_table这个表述):
这个计算过程为:
-> ->
->
最终得到:
你会看到,dense和sparse结果都一样,但是这个计算量变成列O((N*1)*(M*M)) 减少列一个量级. 而且输入input的vec也极大的缩小了,毕竟存储的是index嘛.
那么会到我们开始的问题,NN[神经网络]中embedding的dense和sparse是什么意思?
结合上面的例子的计算过程,dense embedding 就是要求输入必须为onehot,sparse embedding 不需要.
那么在扩大一点,NN[神经网络]中的dense和sparse是什么意思?
dense和sparse描述的是该层hidden layer和前后层的网络连接情况,如果hidden layer 和前一层以及后一层参数连接多,我们就说他是dense layer,比如全连接层(fc),相反,如果连接数比较少,我们说它是sparse layer。