FastSum是基于fastNLP开发的一套完整的文本摘要任务解决方案,包括数据加载、模型调用、模型评价三个部分。
FastSum中实现的模型包括:
- 基准模型 (LSTM/Transformer + SeqLab)
- Get To The Point: Summarization with Pointer-Generator Networks
- Extractive Summarization as Text Matching
- Text Summarization with Pretrained Encoders
提供了12个文本摘要任务的数据集:
名称 | 论文 | 类型 | 描述 |
---|---|---|---|
CNN/DailyMail | Abstractive Text Summarization using Sequence-to-sequence RNNs and Beyond | 新闻 | 修改了原本用于 passage-based question answering 任务的数据库。 CNN 和 DailyMail 的网站为每篇文章都人工提供了一些要点信息总结文章。而且这些要点是抽象的而非抽取式摘要形式。 微调 Teaching Machines to Read and Comprehend 的脚本之后,作者生成了一个 multi-sentence summary 的数据集合 |
Xsum | Don’t Give Me the Details, Just the Summary! Topic-Aware Convolutional Neural Networks for Extreme Summarization | 新闻 | article-single sentence summary 的数据集。在 BBC 上,每篇文章开头都附有人工撰写的摘要,提取即可 |
The New York Times Annotated Corpus | The New York Times Annotated Corpus | 新闻 | 人工撰写的摘要 |
DUC | The Effects of Human Variation in DUC Summarization Evaluation | 新闻 | 2003 和 2004 Task1 都是对每个 doc 生成一段摘要 |
arXiv PubMed | A Discourse-Aware Attention Model for Abstractive Summarization of Long Documents | 科学著作 | 从 arXiv 和 PubMed 获取的长篇文档的摘要,论文的 abstract 部分作为摘要的 ground-truth。 |
WikiHow | WikiHow: A Large Scale Text Summarization Dataset | 知识库 | [WikiHow 有一个关于“怎么做”的数据库,每个步骤描述是由一段加粗摘要以及详细步骤叙述组成。作者把每个步骤的加粗摘要合并作为最终摘要,每步的剩余部分进行合并组成 article。 |
Multi News | Multi-News: a Large-Scale Multi-Document Summarization Dataset and Abstractive Hierarchical Model | 新闻、多文本摘要 | 数据集由新闻文章和这些文章的人工摘要组成,这些文章来自 newser.com 网站。每一篇摘要都是由专业编辑撰写的,并包含到引用的原始文章的链接。 |
BillSum | BillSum: A Corpus for Automatic Summarization of US Legislation | 法案文本 | 数据是选自美国国会和加利福尼亚州立法机构的法案文本,人为编写的摘要。 |
AMI | The AMI meeting corpus: a pre-announcement | 会议 | AMI会议语料库是一种多模式数据集,包含100小时的会议多模式记录。本语料库为每个单独的讲话者提供了高质量的人工记录,还包含了抽取式摘要、生成式摘要、头部动作、手势、情绪状态等。 |
ICSI | ICSI Corpus | 会议 | ICSI会议语料库是一个音频数据集,包含大约70个小时的会议记录。包含了抽取式摘要和生成式摘要。 |
Reddit TIFU | Abstractive Summarization of Reddit Posts with Multi-level Memory Networks | 在线讨论 | 通过从 Reddit 爬取数据,作者生成了两套摘要:用原帖的 title 作为 short summary,TL;DR summary 作为 long summary。 |
SAMSum | SAMSum Corpus: A Human-annotated Dialogue Dataset for Abstractive Summarization | 对话 | 对话由语言学家根据日常对话写成,之后由语言学家标注摘要。 |
名称 | 论文 | 类型 | 描述 |
CNN/DailyMail | Abstractive Text Summarization using Sequence-to-sequence RNNs and Beyond | 新闻 | 修改了原本用于 passage-based question answering 任务的数据库。 CNN 和 DailyMail 的网站为每篇文章都人工提供了一些要点信息总结文章。而且这些要点是抽象的而非抽取式摘要形式。 微调 Teaching Machines to Read and Comprehend 的脚本之后,作者生成了一个 multi-sentence summary 的数据集合 |
Xsum | Don’t Give Me the Details, Just the Summary! Topic-Aware Convolutional Neural Networks for Extreme Summarization | 新闻 | article-single sentence summary 的数据集。在 BBC 上,每篇文章开头都附有人工撰写的摘要,提取即可 |
The New York Times Annotated Corpus | The New York Times Annotated Corpus | 新闻 | 人工撰写的摘要 |
参考资料:
预训练编码器文本摘要
FastSum:基于fastNLP开发的文本摘要解决方案