业务背景
用户系统中如果出现任何的异常数据,比如一个运维系统的CPU消耗突然增高,比如平台突然有大量不良信息产生,比如有用户大量薅羊毛,这些行为都是平台的异常指标。如果能通过机器学习的方式帮助用户针对各种异常指标做预防和实时预警,将大大建设平台方的风险。
业务痛点
缺乏一种实时高效的方式监控平台指标,增强平台的智能化安全防卫能力。
解决方案
PAI平台提供了一套基于指标监控的分类算法,可以把异常指标监控抽象为一个二分类场景,并且把监控模型部署到在线系统实时调用,实现近线风控。
1.人力要求:需要懂机器学习经典算法特别是特征工程以及二分类算法的同学
2.开发周期:1-2天
3.数据要求:已经达标过的数据上千条,标记出哪些数据是异常数据,哪些是非异常数据
数据说明
文案例使用的数据是一份系统级别监控日志数据,一共22544条数据,其中异常数据9711条。
数据说明:
参数名称 | 参数描述 |
---|---|
protocol_type | 网络连接协议,有tcp、icmp、udp等 |
service | 服务协议,有http、finger、pop、private、smtp等 |
flage | SF、RSTO、REJ |
a2~a38 | 不同的一些系统指标 |
class | 标签字段,其中normal为正常样本,anomaly为异常样本 |
流程说明
进入PAI-Studio产品:https://pai.data.aliyun.com/console
该方案数据和实验环境已经内置于首页模板:
打开实验:
1. 数据源
数据说明中提到的数据。
2. 特征工程
one-hot特征编码组件可以自动将特征由字符型向数值型转变,是机器学习领域最常见的数据编码方式。
归一化组件可以将所有数据的范围都限定到0~1之间,去除量纲的影响。归一化后数据如下图:
利用SQL组件把目标列是anomaly的标记为1,正常指标标记为0。
select (case class when 'anomaly' then 1 else 0 end) as class from ${t1};
3. 模型训练
根据正常和非正常样本训练监控模型是一个典型的二分类问题,使用机器学习领域中的逻辑回归二分类算法就能达到比较好的效果。
4. 模型评估
PAI平台提供二分类模型的评估组件,可以通过AUC、KS、F1Score等指标评估模型的好坏,本实验的模型预测准确率超过了90%。
总结
PAI平台提供了特征编码、模型训练、模型评估全方位的功能,只要能把平台产生的异常行为的特征抽取出来并标记,就可以基于PAI快速构建异常指标监控模型。