论文:《Towards a Universal Continuous Knowledge Base》
这篇文章的主要工作就是将持续的知识库融入神经网络的训练当中,同时将多种神经网络结合在一起达到不俗的效果。
模型结果:周围的NN表示不同的神经网络,他们训练不同下游任务;M表示一个知识库,用来向神经网络中传输知识。同时一个任务的神经网络训练出来的知识也可以传入到知识库当中,用来辅助另外一个下游任务的训练。
通过这种方法可以实现多种神经网络的知识共享:The knowledge encoded in one neural network can be imported to the CKB, from which the stored knowledge can be exported to another neural network.
-
knowledge encoded
-
Using a memory hierarchy to represent the knowledge base