Auto Risk：行为序列预训练模型，解锁风控与推荐场景的无监督学习力量

阿里妹导读：面对业务中标签数据稀缺、大量未标注数据利用率低下的问题，我们创新性地提出了一种针对行为序列数据的深度学习风控算法——Auto Risk。该算法借鉴了NLP领域前沿预训练模型如Bert的思想，通过代理任务从海量未标注数据中抽取出通用特征表示，尽管行为序列数据和业务特性迥异于NLP，但我们的设计巧妙适应并发挥了其独特优势。实战证明，Auto Risk在真实业务场景中落地后效果显著提升，并展现出优秀的多场景泛化能力，尤其在小样本情况下表现远超纯粹的监督学习方法。

一、背景浅析

在内部业务中，行为序列数据（比如淘宝购物记录、支付宝风控事件）举足轻重，是推荐系统和风控系统输入信息的重要源头。要预测用户下一次购买行为或是判断风控事件的风险等级，关键在于将这些行为序列转化为特征向量进行分类处理。传统做法依赖人工经验构建复杂触发、累积特征，并结合GBDT等分类器；而近年来，神经网络直接以原始行为序列作为输入的方案逐渐崭露头角，像我们团队推出的Detail Risk框架就利用离散字段嵌入、文本卷积、多字段融合、事件卷积以及Attention机制等技术，成功将行为序列转化成分类向量，在多个场景实现落地应用，极大地减少了人力成本，同时提升了模型性能。

二、预训练大势所趋

预训练技术在解决类似问题上带来了破局之道。它利用大量易得的无标注数据，配合具有挑战性的代理任务及深层网络架构，让模型自动习得有效高层特征，下游任务只需微调即可取得出色效果。自2018年以来，ELMo、GPT、BERT等一系列预训练模型在NLP各个基础任务上屡破纪录，其中BERT更是刷新了多项基准测试成绩。不过，尽管预训练大型模型能有效利用未标注数据，但在风控、推荐等领域尚未广泛受益，原因在于行为序列数据形式特殊且训练开销巨大。因此，我们需要根据业务特点和数据特性，定制适用于行为序列的预训练模型，Auto Risk便是在这一背景下应运而生。

三、问题剖析与解决方案

目前，预训练模型在非NLP领域的应用受限，主要由于两个难题：数据形式差异和训练成本高昂。为克服这些问题，Auto Risk在设计时充分考虑了行为序列的特点，提出了针对性的代理任务和高效网络结构。

四、模型设计理念与结构

4.1 代理任务设计

类比NLP中的BERT，Auto Risk也设计了两种代理任务：一是基于Masked Language Model思想的行为序列级别的“词/事件预测”任务，要求模型根据上下文推测被遮盖的行为特征；二是借鉴Quick Thought思路的“句子/序列对齐”任务，通过随机分割序列并重建，促使模型挖掘序列的标志性特征。

4.2 网络结构优化

Encoder网络是模型的核心组件，Auto Risk采用了更高效结合卷积与注意力机制的设计，而非直接沿用Transformer这类重型武器。具体包括：

Embedding层负责不同字段的向量化，并通过Add或Concat操作融合形成单一向量；对于文本字段，采用卷积或Average等方式聚合。

Convolution层侧重捕捉局部上下文特征，这是行为序列的主要特征来源；并通过引入Gated Conv和Depthwise Separable Conv改进标准卷积，解决梯度弥散和参数计算量过大的问题。

Attention层则补充全局上下文视野，虽增加了显存占用，但我们研究出Fixed Size Attention和Block Attention策略以降低显存消耗，使得在单GPU上能够处理长度4000的行为序列，满足业务需求。

由Convolution和Attention层组成的Block，采用ResNet式叠加方式构成Encoder，逐步抽象整合信息层次。

五、应用效果惊艳全场

5.1 助力业务大幅提升

Auto Risk模型应用于风控场景后，仅需一张显卡就能处理较深网络和长序列，训练速度和收敛步数相比Transformer均有显著改善。实验证明，当将Auto Risk生成的向量加入特征池中，风控业务AUC指标提升了3~6个百分点，表明无监督的Auto Risk确实能从行为序列中提取有价值的信息。经过场景微调后的Auto Risk向量效果更佳，这也与BERT等模型的表现一致。

5.2 跨场景泛化表现出色

由于预训练过程不依赖特定场景标签，Auto Risk学到的知识具备较好的通用性。我们在多个看似无关的场景（如预测性别和年龄）上进行实验，即使不加任何人工特征也不做finetune，仅使用LR分类器，也能获得惊人效果，部分场景AUC高达0.9，这揭示了Auto Risk可低成本地为各类业务提供补充特征的可能性。

5.3 小样本学习的福音

预训练模型的一大优势在于小样本学习，Auto Risk在冷启动或标签获取成本较高的场景尤为突出。对比实验显示，面对有限的标注样本，Auto Risk明显优于从零开始训练的监督学习神经网络，甚至在某些行为日志数据场景下，无需finetune，Auto Risk+LR组合即能超越监督学习。

5.4 序列类比揭示深层语义

通过序列类比实验，我们发现Auto Risk生成的向量空间同样具备有趣的性质，例如能够捕获付款方式、交易金额以及商品名称等不同维度的高级语义关联，进一步证实了模型的有效性和普适性。

六、结语

总而言之，Auto Risk作为一款面向行为序列数据的深度学习算法，创造性地运用预训练思想，从海量未标注数据中挖掘出宝贵特征，成功破解了标签数据不足的问题。我们依据业务特性和数据特性精心设计的模型结构，不仅在实际业务场景取得了显著增益，还展现了强大的多场景泛化能力和卓越的小样本学习效果。后续我们将继续深化此方向的研究，拓展更多类型的数据源和应用场景，探索更多的代理任务，以期进一步释放Auto Risk的潜力。

项目组成员：羿之、晗枫、丰缘、形参、北远

作者：羿之