环境

ubuntu环境
xuehp@haomeiya008:~/git$ mkdir t5
xuehp@haomeiya008:~/git$ cd t5/
xuehp@haomeiya008:~/git/t5$ source ~/anaconda3/bin/activate
(base) xuehp@haomeiya008:~/git/t5$ conda create --name t5 tensorflow=1.14
conda activate t5
pip install tqdm bert4keras rouge nltk sentencepiece

模型

下载地址见：https://github.com/bojone/t5_in_bert4keras
(base) xuehuiping@192 data % scp -r mt5 xuehp@haomeiya008:~/git/t5/

数据

这里使用的数据是法研杯司法摘要数据集
git/SPACES/data
(base) xuehuiping@192 data % ls
sfzy_small.json sfzy_small.json.zip
(base) xuehuiping@192 data % scp sfzy_small.json.zip xuehp@haomeiya008:~/git/t5/

其他摘要数据集：
（主要是自动标题、短文本摘要）

• CSL 中长文本摘要生成 。
  中文科学文献数据(CSL)，选取 10k 条计算机相关领域论文及其标题作为训练集。
• LCSTS 微博自动标题
• NLPCC 2017
• 娱乐新闻摘要
• 教育新闻摘要

代码

(base) xuehuiping@192 task_seq2seq_autotitle_csl_mt5 % scp x4.py xuehp@haomeiya008:~/git/t5/
https://github.com/xuehuiping/t5/blob/main/x4.py

结果

比较悲催，结果是训练时间太长了，没继续训练。
效果演示参阅 SPACES：“抽取-生成”式长文本摘要（法研杯总结）