自然语言处理(NLP)-第三方库(工具包):FastSum【基于fastNLP开发的文本摘要解决方案,包括数据加载、模型调用、模型评价】【实现模型:Seq2Seq、PGNet、BertSum】

FastSum是基于fastNLP开发的一套完整的文本摘要任务解决方案,包括数据加载、模型调用、模型评价三个部分。

FastSum中实现的模型包括:

  • 基准模型 (LSTM/Transformer + SeqLab)
  • Get To The Point: Summarization with Pointer-Generator Networks
  • Extractive Summarization as Text Matching
  • Text Summarization with Pretrained Encoders

提供了12个文本摘要任务的数据集:

名称 论文 类型 描述
CNN/DailyMail Abstractive Text Summarization using Sequence-to-sequence RNNs and Beyond 新闻 修改了原本用于 passage-based question answering 任务的数据库。 CNN 和 DailyMail 的网站为每篇文章都人工提供了一些要点信息总结文章。而且这些要点是抽象的而非抽取式摘要形式。 微调 Teaching Machines to Read and Comprehend 的脚本之后,作者生成了一个 multi-sentence summary 的数据集合
Xsum Don’t Give Me the Details, Just the Summary! Topic-Aware Convolutional Neural Networks for Extreme Summarization 新闻 article-single sentence summary 的数据集。在 BBC 上,每篇文章开头都附有人工撰写的摘要,提取即可
The New York Times Annotated Corpus The New York Times Annotated Corpus 新闻 人工撰写的摘要
DUC The Effects of Human Variation in DUC Summarization Evaluation 新闻 2003 和 2004 Task1 都是对每个 doc 生成一段摘要
arXiv PubMed A Discourse-Aware Attention Model for Abstractive Summarization of Long Documents 科学著作 从 arXiv 和 PubMed 获取的长篇文档的摘要,论文的 abstract 部分作为摘要的 ground-truth。
WikiHow WikiHow: A Large Scale Text Summarization Dataset 知识库 [WikiHow 有一个关于“怎么做”的数据库,每个步骤描述是由一段加粗摘要以及详细步骤叙述组成。作者把每个步骤的加粗摘要合并作为最终摘要,每步的剩余部分进行合并组成 article。
Multi News Multi-News: a Large-Scale Multi-Document Summarization Dataset and Abstractive Hierarchical Model 新闻、多文本摘要 数据集由新闻文章和这些文章的人工摘要组成,这些文章来自 newser.com 网站。每一篇摘要都是由专业编辑撰写的,并包含到引用的原始文章的链接。
BillSum BillSum: A Corpus for Automatic Summarization of US Legislation 法案文本 数据是选自美国国会和加利福尼亚州立法机构的法案文本,人为编写的摘要。
AMI The AMI meeting corpus: a pre-announcement 会议 AMI会议语料库是一种多模式数据集,包含100小时的会议多模式记录。本语料库为每个单独的讲话者提供了高质量的人工记录,还包含了抽取式摘要、生成式摘要、头部动作、手势、情绪状态等。
ICSI ICSI Corpus 会议 ICSI会议语料库是一个音频数据集,包含大约70个小时的会议记录。包含了抽取式摘要和生成式摘要。
Reddit TIFU Abstractive Summarization of Reddit Posts with Multi-level Memory Networks 在线讨论 通过从 Reddit 爬取数据,作者生成了两套摘要:用原帖的 title 作为 short summary,TL;DR summary 作为 long summary。
SAMSum SAMSum Corpus: A Human-annotated Dialogue Dataset for Abstractive Summarization 对话 对话由语言学家根据日常对话写成,之后由语言学家标注摘要。
名称 论文 类型 描述
CNN/DailyMail Abstractive Text Summarization using Sequence-to-sequence RNNs and Beyond 新闻 修改了原本用于 passage-based question answering 任务的数据库。 CNN 和 DailyMail 的网站为每篇文章都人工提供了一些要点信息总结文章。而且这些要点是抽象的而非抽取式摘要形式。 微调 Teaching Machines to Read and Comprehend 的脚本之后,作者生成了一个 multi-sentence summary 的数据集合
Xsum Don’t Give Me the Details, Just the Summary! Topic-Aware Convolutional Neural Networks for Extreme Summarization 新闻 article-single sentence summary 的数据集。在 BBC 上,每篇文章开头都附有人工撰写的摘要,提取即可
The New York Times Annotated Corpus The New York Times Annotated Corpus 新闻 人工撰写的摘要



参考资料:
预训练编码器文本摘要
FastSum:基于fastNLP开发的文本摘要解决方案

上一篇:纯CSS3实现的动感菜单效果


下一篇:如何下载官方权威认证的环境规划标准