阿里妹导读：针对业务场景中标注数据不足、大量的无标注数据又难以有效利用的问题，我们提出了一种面向行为序列数据的深度学习风控算法 Auto Risk，提出通过代理任务从无标注数据中学习通用的特征表示。这种思想与目前 NLP 领域前沿的 Bert 等预训练模型不谋而合，但是由于行为序列数据和业务的特点显著区别于 NLP，模型的设计和实现又有很大区别。最终，模型在真实场景中落地并取得了显著的增益；实验验证具有较好的多场景泛化能力；相比纯粹的监督学习，在小样本情况下提升明显。
一、背景
行为序列数据，如淘宝购物，支付宝风控事件等，在内部场景十分常见，也是推荐、风控等问题的源头级输入之一。给定一个用户的交易序列，要求预测他接下来会买什么；给定风控事件序列，要求预测是好人还是黑产，都依赖于将行为序列表示成特征向量，进而实现序列分类的基础能力。
行为序列示意图
传统方法是依据人工经验设计大量的触发、累积等特征，在此基础上训练 GBDT 等分类器。近年来，一个较为成功的方向是使用 RNN、CNN、Attention 等神经网络，直接以原始行为序列作为输入，输出分类结果或者特征向量。这种方法充分发挥 Everything-to-Vector 的思想，避免了繁琐的人工特征工程。例如，我们团队提出的 Detail Risk 框架，将一个用户的行为序列经过离散字段 embedding、文本卷积、多字段融合、事件卷积、Attention 等多层网络，最终转化为分类向量，在等多个场景落地，大量减少了人工工作，同时提高了模型效果。
Detail Risk 框架示意图
美中不足的是，这类方法大多是监督学习，label 样本不足的阴影始终挥之不去：少量样本无法真正发挥神经网络模型容量大的优势；引入 multi task label 辅助又要仔细权衡各个 task 之间的迁移能力，容易按下葫芦起了瓢。
而在另一方面，我们的业务中积累了堪称海量的未标注数据，如果能利用这些未标注数据训练模型，学习通用的高层特征，而将有限的 label 留给下游场景训练一个简单的分类器，将会极大地提高数据的使用率；另外，这些无监督产生的特征向量和人工设计的特征完全不同，融合后更容易取得效果提升。
二、预训练
相同的问题并非只发生在内部业务中，更加本源性的 NLP 研究从去年开始揭示了一条解决之道：Pretrain (预训练)技术——利用随手可得、但是蕴含知识的代理任务+大量的未标注数据+更深的网络，让模型自动学到有效的高层特征，在下游任务中稍加 finetune 即可取得很好的效果。进入2018年之后，ELMo、GPT、BERT、GPT2、 ERNIE 等预训练模型一遍又一遍地刷新了 NLP 各个基础问题的 SOTA，大有长江后浪推前浪之势。其中 BERT 更是一举刷新11项记录，同时也刷爆了算法工程师的朋友圈。
与训练原理示意图
在 CV 领域，使用 imagenet 预训练的大型网络可以追溯到深度学习的寒武纪时代——2014年；在 NLP 领域，使用 word2vec 或者 glove 预训练的词向量也是常规做法。但是，预训练一个像 Bert 这样大型的、能够显著提高下游任务效果的、还不使用 label样本的模型，却直到最近才爆发。作者认为是4个前置条件的达成解锁了这个科技。
- 代理任务的积累：代理任务并非随便选择，从简单的 Cbow 和 SkipGram，最终到 Masked-LM、NSP，代理任务越来越难，也越来越能抓住高层抽象知识，这是 Pretrain 的关键。
- 深层网络：越是深层的、大容量的网络，越能抽取高层的特征、存储更丰富的知识。ResNet、各种 Norm 技术、乃至 SBBB（ShortCut、BottleNeck、Branches、BatchNorm）这类构造模式的出现让深层网络的搭建和训练变得简单。
- Attention：把 Attention 单独拎出来提并不过分。可以说它为神经网络提供了专门的 memory，以及各种基于 memory access 的功能：对齐、组合、远程依赖、全局视野等，极大丰富了模型的表示能力。这一点在我们关心的序列数据上尤为明显。
- CNN 流崛起：相比 RNN，CNN 原本并非为序列数据设计，但是它天生易并行，对工业应用友好；易堆叠，适合做深层模型；欠缺的全局视野留给 Attention 去完成。本质上，Transformer 也属于 CNN 流：宽度为1的卷积核加上 Self-Attention。最近两年来，ConvS2S，ByteNet，WaveNet，SliceNet，Transfomer 等各种 CNN 流的工业级框架，正在逐步占领曾经属于 RNN 的天下。
预训练模型 Bert 所依赖的科技树
三、问题分析
目前，内部一些 NLP 产品已经率先用上了 BERT，但是在 NLP 之外的领域目前还未见获益。究其原因主要有：
1. 数据形式不同。风控、推荐等场景里的数据不是文本，而是行为序列。这不仅导致了谷歌提供的预训练参数不可用，更要求我们的模型去适配以下的数据特点：在每个时刻T 都有着多个输入字段、字段之间模态不同、序列长度巨大，没有天然存在的句子分隔，等等。
2. 训练开销巨大。这些专为 NLP 问题设计的模型，走的都是重型武器的路子：单层1600万参数的 Transformer，先来个十几二十层，整体参数2亿起；显存杀手 Self-Attention，在输入序列长度超过1000时单层就会导致 OOM(Out-Of-Memory)；即便显存烧得起，收敛速度也很慢，8台最新的 GPU，训练时间也要以月计。为了解决自然语言中复杂的 parsing 和 composing 问题这样做是值得的，但是对行为序列数据来说，显得有些浪费。
因此，要享受预训练的好处，我们还需要另起炉灶，根据数据和业务特点，设计并实现自己的 Pretrain 模型。本文正是基于这种背景，设计并实现了一套行为序列无监督 Pretrain 框架，同时在实际业务落地中验证了其有效性。由于我们的业务场景是风控，因此将其称作 Auto Risk 模型。
四、模型设计
4.1 代理任务
预训练模型不需要任何实际任务的 label，但是需要随手可得的代理任务来驱动训练。代理任务的设计完全决定了模型会挖掘什么样的知识。我们将行为序列数据和文本进行类比，将每个时刻t看成一个词，每个连续序列1:T看成一个文档，那么类似于 BERT，我们也设计了两类代理任务：
两类代理任务
- 词/事件级别的代理任务 Masked Language Model。我们掩盖输入序列在某个时刻 t 处的值，要求模型在t处输出的词级别向量能预测被掩盖的值。显然这个任务会驱动模型去挖掘序列前后的关联，将行为放到上下文中考察。
- 句子/序列级别的代理任务 Quick Thought。我们通过采样把每个序列都分割成前后两个子序列，使用孪生网络对两个子序列分别编码为一个向量，再把 batch 内的子序列们两两随机组合，要求模型预测组合后的 pair 是否同源。这个方法最早来自 Skip Gram 的句子级别泛化——Skip Thought，而后将其中运行较慢的Encoder-Decoder 换成速度更快的孪生网络，因此称作 Quick Thought。显然，qt 任务会驱动网络去挖掘序列的标志性特点。
4.2 网络结构
代理任务提供了随手可得的 label，具体模型结构的核心则是 Encoder 网络。根据笔者在第二、三章的分析，像 BERT、GPT 那样直接使用重型武器 Transformer 是非常低效的。我们提出了一个更加高效的基于卷积和注意力的 Encoder 结构：
- Embedding 层，用于把输入字段向量化，例如事件类型、时间、金额、付款渠道、商品名等不同字段，统统 embedding 表示，然后通过 Add 或者 Concat 融合；其中文本字段是 List 形式，不仅要 Embedding，还要通过卷积或者 Average 等方式汇总成单个向量。
- Convolution 层，负责抓取局部上下文，我们假设这是行为序列的主要特征（在风控场景中），要做得准确、高效；
- Attention 层，负责抓取全局上下文，我们假设这是行为序列的次要特征（在风控场景中），重要的是提供额外的视野和能力；
- 一个 Convolution 层和一个 Attention 层组成一个 Block，使用 ResNet 的形式叠加多个这样的 Block 形成一个 Encoder，就如同叠加多个 Transformer 形成一个 BERT 一样，能够帮我们实现信息的抽象、整合。
Auto Risk 模型结构示意图
■ 4.2.1 Convolution 层改进
Convolution 用于序列时，需要叠加多层以增大视野，这就带来了两个副作用：1.梯度弥散，优化变难，2.参数和计算量巨增。为了解决这两个问题，我们结合两类特殊的卷积以替代一般卷积：Gated Conv 和 Depthwise Separable Conv。首先使用与 LSTM 类似的门机制来抑制梯度弥散问题，可以叠更多的层数；再将一次卷积分解成depthwise 和 pointwise 两步，使得参数量和计算量都从减少到，以特征维度 D=256，卷积核宽度 K=5为例，参数和计算量从32万降到6万，仅为原来的20%；若采用 K=31这样的大卷积核，甚至仅为原来的3.6%。改进后的卷积层显著提高了模型的收敛速度和最终效果。
卷积改进
■ 4.2.2 Attention 层改进
Attention 带来了优秀的视野和能力，但代价是的显存占用，因为它需要在序列内做两两对比。实践中，在序列长度超过1000时，一层 Self-Attention 就会造成显存溢出 OOM，而1000在行为序列问题中还并不算很长。出于现实考量，我们研究了 Fixed Size Attention 或者 Block Attention 替换一般的 Self-Attention，以微小的性能降低为代价，分别将显存占用率优化到 O(2NK) 和
，最终实现在单 GPU 上，对长度4000的序列，能够叠加3层改进后的 Attention，顺利覆盖业务需求。
注意力改进
要训练一个这样的大型网络，还有很多 trick 要用到，本篇不再赘述，后续由系列文章分享。
4.3 训练
经过以上一系列优化，我们最终仅用一张显卡实现：
- 在长度4000的序列上训练3层 Encoder 叠加的网络，而基于 Transformer 的 Bert 模型最多只能在1000以内的序列上训练一层网络。
- 2~3倍于 Transformer 的 batch 训练速度（序列越长越显著）和更少的收敛步数，一天之内就可以完成千万级别数据的训练。
下面这张图对比了使用不同 Encoder 结构的训练过程，可以发现：
- 使用卷积+注意力 Encoder 比仅使用卷积 Encoder 或注意力 Encoder 都要好；
- 卷积对 Loss 的贡献更大，发挥主要作用，注意力发挥次要作用；
- 叠加多层 Block 效果更好。
五、应用效果
5.1 业务增益
首先，我们评估 Auto Risk 模型对业务的增益。我们使用的风控行为序列包括登录、改密、交易等重点风控行为。我们从全体用户中随机采样了部分作为训练集，训练了一个三层、hidden=128的网络，然后对其他用户，推断其向量。最后将这些向量加入到特征池子中，比较 AUC 效果提升。参与比较的有：
人工特征 SOTA：人工特征的 state-of-the-art，如资产能力、信贷信用等，这些都是在消费金融、信贷、先享后付等场景久经考验的特征。
+ AutoRisk pretrain：在人工特征 SOTA 的基础上，加上原始的 Auto Risk 向量。
+ AutoRisk finetune：在人工特征 SOTA 的基础上，加上场景 finetune 之后的 Auto Risk 向量。
可见，加入 Auto Risk 向量之后，AUC 取得3~6个点的显著提升，说明无监督的 Auto Risk 能够从行为序列中提取到有用的特征；在具体场景中 finetune 一下网络参数会比不做 finetune 更好，这一点与 Bert 等也是相同的。为了简化对比，这张图只展示了使用风控事件作为序列数据的效果。
5.2 多场景效果
由于 pretrain 模型的训练过程没有用到任何具体的场景 label，因此学到的知识比较通用。我们尝试了不同场景，包括一些看似无关的预测性别和年龄的问题，既不加任何人工特征，也不做 finetune，只用最简单的 LR 分类器，分别做 train-test，结果比较惊喜，有的甚至 AUC 达到0.9。一个潜在的业务价值是，也许可以用超低的代价，实现对各个业务的通用补充特征。
为何仅用 LR 就可以取得这样的效果？可以这样理解：Auto Risk 将行为序列的信息比较完整地保留到一个性质较好的 Embedding 空间中，对不同的任务可以找到各自适合的线性分类界面。下图展示了消费金融*场景的测试集样本和分类平面，由于使用了降维算法（Umap）将128维的向量降到3维，分类性能损失了大约6个点的 AUC，但是依然可以清晰地看到：
1.*和非*商户具有明显的分类平面；
2.空间具有明显的流形结构，具体每个簇代表什么含义我们还没有去分析，但是可以肯定的是簇中的点具有相似的行为模式。
5.3 小样本学习
Pretrain 带来的另一个优势是小样本福音。深度学习模型因为参数众多，一般在 label样本较少时效果不佳，而 Pretrain 模型已经通过无监督代理任务学会了大部分知识，因此少量label样本就可以取得更好的结果，更适合冷启动或者 label 昂贵的业务。我们在先享后付场景 B 上对两类不同的行为序列数据分别进行了实验，结果都表明 Auto Risk 会比从零开始训练一个监督学习的神经网络要好的多；在行为日志数据上，甚至都不用 finetune，仅用 Auto Risk+LR，就比监督学习更好。训练集的 label 样本数量已经达到4万（正负样本各2万），监督学习还没有能够追上 Auto Risk+finetune。
5.4 序列 Analogy
Analogy，即单词类比，是 Word Embedding 的一个有趣特性。在 Embedding 空间里，国王(King)-男人(Man)=王后(Queen)-女人(Women)，中国(China)-北京(Beijing)=法国(France)-巴黎(Paris)，类似的等式从侧面证明了 Embedding 空间确实抓住了高层语义。那么，我们的 Auto Risk 空间中的序列有没有这种特性呢？我们同样进行了一个 A-B=C-D的实验，对100万个样本构成的集合，选定 A、B 和 D，通过与A-B+D 向量的余弦相似度召回 C。为了看得更清楚，我们将不同的字段分开展示，但训练过程还是多字段一起的。
事件类型：A（淘宝花呗付款） - B（淘宝余额付款） = C（站外花呗付款） - D（站外余额付款）。A-B 得到的淘宝付款方式的差异向量，加到站外付款用户 D 上，同样会把他的付款方式从余额变成花呗，说明模型学到的 Embedding 空间中，有一些方向是专门记录付款方式的。
A=[创建交易-淘宝实物担保,花呗付款-淘宝实物担保,创建交易-淘宝实物担保,花呗付款-淘宝实物担保,创建交易-淘宝实物担保,花呗付款-淘宝实物担保,创建交易-淘宝实物担保,花呗付款-淘宝实物担保,创建交易-淘宝实物担保]
B=[创建交易-淘宝实物担保,余额付款-淘宝实物担保,创建交易-淘宝实物担保,余额付款-淘宝实物担保,创建交易-淘宝实物担保,余额付款-淘宝实物担保,创建交易-淘宝实物担保,余额付款-淘宝实物担保,创建交易-淘宝实物担保]
C=[花呗付款-站外即时到账,花呗付款-站外即时到账,花呗付款-站外即时到账,pc端-创建交易,login_登录_app_其他_,花呗付款-站外即时到账,pc端-创建交易]
D=[app端-登录,余额付款-站外即时到账,余额付款-站外即时到账,余额付款-站外即时到账,余额付款-站外即时到账,余额付款-站外即时到账]金额：A（大金额用户） - B（小金额用户） = C（大金额用户） - D（小金额用户）。召回的 C 也刚好和A一样是8000和10000，看来模型对数字分档的记忆力还是不错的。
A=[\\N,\\N,10000.0,10000.0,10000.0,8000.0,8000.0,8000.0,\\N,8000.0,\\N,\\N,8000.0,\\N,8000.0]
B=[\\N,\\N,10.0,10.0,10.0,10.0,10.0,10.0,\\N,10.0,\\N,\\N,10.0]
C=[\\N,\\N,\\N,8000.0,\\N,\\N,8000.0,\\N,\\N,\\N,\\N,\\N,\\N,10000.0,\\N,10000.0]
D=[\\N,1.0,\\N,1.0,\\N,1.0,1.0,\\N,1.0,\\N,1.0,1.0,\\N,1.0,\\N,\\N]商品名称：A（打车高频用户） - B（充币高频用户） = C（打车高频用户） - D（充币高频用户）。注意商品名与其他字段不同，需要经过一个 CNN 或 Average 的子网络处理成向量，还能有这样的特性，而且召回了一些与"滴滴快车"相似但不同的"汽车票"、"乘车时间"等，说明网络对文本描述具有一定的泛化能力。
A=["滴滴快车-周师傅","滴滴快车-周师傅",...,"滴滴快车-邵师傅","滴滴快车-邵师傅",...]
B=["腾讯Q币100元qq","腾讯Q币100元qq",...,"腾讯Q币100元qq","腾讯Q币100元qq",...]
C=["滴滴快车-冯师傅","滴滴快车-冯师傅","汽车票**汽车总站（南区","","汽车票**汽车总站（南区）","","联通话费10元快充","","","滴滴快车-亓师傅","滴滴快车-亓师傅","","","0000****-车牌【00*****】乘车时间：2019-04-1914:53:02"]
D=["腾讯1000QQ币1","腾讯QQ币/Q币卡/",...,"腾讯QQ币/Q币卡/","腾讯QQ币/Q币卡/",...]六、总结
我们提出了一种行为序列深度学习算法 Auto Risk，不需要具体 label 训练，而是基于类似于 Bert 的代理任务预训练思想，从大量的未标注数据中，挖掘上下文关联和标志性特点，生成有用的高层特征，解决了 label 样本不足而 unlabel 样本又难以利用的问题。我们特别针对数据和业务特点设计模型结构，以方便快速训练部署。该方法在我们的实际业务中落地，取得了明显的效果提升；由于训练过程不需要 label，模型结果对其他场景的泛化能力较强；另外，对小样本场景提升明显；序列 Analogy 的实验侧面印证了 Auto Risk 向量空间能够捕捉高层语义。后续，我们将持续这部分工作，扩展到更多类型的数据源和应用场景，并检验其他的代理任务，包括历史积累的多场景 label 作为代理任务等。
项目组成员 | 羿之、晗枫、丰缘、形参、北远
原文发布时间为：2019-08-15
本文作者：羿之
本文来自云栖社区合作伙伴“阿里技术”，了解相关信息可以关注“阿里技术”。