Long and Diverse Text Generation with Planning-based Hierarchical Variational Model (EMNLP 2019)
规划是人们进行文字创作的基本步骤。人们在写作之前，特别是在创作长篇幅作品之前，往往需要在作品的多个维度上进行精心的规划，包括作品的题材、情节、篇章结构、写作风格等，从而能够较好地掌控作品的呈现，以准确地传达作者的精神和思想。
针对数据到长文本生成（Data-to-Text）任务，基于神经网络的方法由于具有很强的表征学习能力与扩展能力，已经成为了主流方法，但往往存在遗漏输入数据、生成文本句间一致性差、多样性不足等问题。为了更好地解决这些问题，我们提出了一个基于规划的层次化隐变量模型（如下图所示）。
一般而言，人们倾向于首先将一篇长文按照内容相关度规划为若*分，之后再对文章的每一部分详细展开。受此启发，我们首先利用规划解码器（Plan Decoder）把输入数据集合{d_1,d_2,…,d_N}划分成信息组（输入数据的子集）的序列g=g_1 g_2…g_T，然后控制层次化的文本解码器（Sentence Decoder和Word Decoder）为每一组信息g_t生成一个句子s_t。信息组序列代表了模型规划的结果，能够控制文本中每个句子的内容、输入元素所占的篇幅以及文本的整体结构。这种规划机制把较难的长文本生成任务分解成了一系列相互依赖的句子（短文本）生成子任务，每个子任务都明确地依赖于相应的信息组和已经解码的上文。因此，这种机制能够较好地筛选和覆盖输入数据，也能较好地建模句子之间的一致性。
此外，我们还可以在多个层次增加文本生成的*度以提高生成文本的多样性：考虑到语言表达是灵活的，往往存在不止一种合理的文本结构来传达同一组信息，因此可以在规划层次引入一个全局隐变量（图中zp）建模合理规划的多样性；而在表达实现层次也可以引入一系列局部隐变量（图中z_ts）控制每个句子的多样化表达。
我们在广告文案生成数据集和菜谱生成数据集上进行了实验。表一和表二展示了在广告文案生成数据集上的实验结果，反映出我们的模型在输入数据覆盖度（Coverage）、表达多样性（Distinct-4和Repetition-4）、语法性（Grammaticality）、一致性（Coherence）等方面具有较好的表现。
下图给出了在广告文案生成任务上的一个生成实例。针对同一个输入，我们的模型能够采样生成多个完全覆盖输入信息、前后一致、表达丰富多样、且文本结构不尽相同的文本。
代码：https://github.com/ZhihongShao/Planning-based-Hierarchical-Variational-Model.git
更多论文细节可以参考https://www.aclweb.org/anthology/D19-1321.pdf。