1. 比赛介绍
比赛地址:阿里云恶意程序检测新人赛
这个比赛和已结束的第三届阿里云安全算法挑战赛赛题类似,是一个开放的长期赛。
2. 前期准备
因为训练数据量比较大,本地CPU跑不起来,所以决定用Google的Colaboratory来跑,期间也遇到了几个坑。
首先是文件上传比较慢,几个G的文件直接上传比较耗时,上传压缩包后解压又出现了问题,最后还是得等着上传完,期间换了好几个VPN节点。
解压缩的问题:用unzip命令解压,速度很慢,经常解压到一半就不动了或者与colab的连接断掉了(可能是网络问题),在Driver里用Zip Extractor软件解压也不成功。
此外,colab分配的环境是临时环境,文件不会一直保存,刚开始没注意到这点,文件丢失了一次后,才知道要连接到Google Driver,文件存在Driver里。代码如下。
Google Colab 连接 Google Driver
新建新的jupyternotebook,在空白的单元格中输入:
!apt-get install -y -qq software-properties-common python-software-properties module-init-tools
!add-apt-repository -y ppa:alessandro-strada/ppa 2>&1 > /dev/null
!apt-get update -qq 2>&1 > /dev/null
!apt-get -y install -qq google-drive-ocamlfuse fuse
from google.colab import auth
auth.authenticate_user()
from oauth2client.client import GoogleCredentials
creds = GoogleCredentials.get_application_default()
import getpass
!google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret} < /dev/null 2>&1 | grep URL
vcode = getpass.getpass()
!echo {vcode} | google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret}
根据提示,点击网址并输入验证码确定。新建新的空白单元格,输入:
!mkdir -p drive
!google-drive-ocamlfuse drive
查看drive目录是否被挂载成功:
!ls
更改工作目录:
import os
os.chdir("drive")
3. 查看数据
以training data为例,其他数据同样可以用pandas查看。
import pandas as pd
train_path = './security_train.csv'
data_train = pd.read_csv(train_path)
查看前5行数据:
data_train.head()
~ | file_id | label | api | tid | index |
---|---|---|---|---|---|
0 | 1 | 5 | LdrLoadDll | 2488 | 0 |
1 | 1 | 5 | LdrGetProcedureAddress | 2488 | 1 |
2 | 1 | 5 | LdrGetProcedureAddress | 2488 | 2 |
3 | 1 | 5 | LdrGetProcedureAddress | 2488 | 3 |
4 | 1 | 5 | LdrGetProcedureAddress | 2488 | 4 |
查看行索引:
data_train.index
RangeIndex(start=0, stop=12955, step=1)
查看列属性:
data_train.columns
Index(['file_id', 'label', 'api', 'tid', 'index'], dtype='object')
查看数据描述信息:
data_train.describe()
~ | file_id | label | tid | index |
---|---|---|---|---|
count | 8.980669e+07 | 8.980669e+07 | 8.980669e+07 | 8.980669e+07 |
mean | 7.078770e+03 | 3.862835e+00 | 2.533028e+03 | 1.547521e+03 |
std | 3.998794e+03 | 2.393783e+00 | 6.995798e+02 | 1.412249e+03 |
min | 1.000000e+00 | 0.000000e+00 | 1.000000e+02 | 0.000000e+00 |
25% | 3.637000e+03 | 2.000000e+00 | 2.356000e+03 | 3.490000e+02 |
50% | 7.161000e+03 | 5.000000e+00 | 2.564000e+03 | 1.085000e+03 |
75% | 1.055100e+04 | 5.000000e+00 | 2.776000e+03 | 2.503000e+03 |
max | 1.388700e+04 | 7.000000e+00 | 2.089600e+04 | 5.000000e+03 |
4. 模型训练
数据预处理和模型训练用的代码是 RManofCH 分享的代码,数据量大,在colab上跑了一整天。
其间遇到了一个 'keras.backend' has no attribute 'tf' 的问题,应该是Keras版本的问题
添加包,并将相应的K.tf.xxx修改为tf.xxx即可。
import tensorflow as tf
import tensorflow.keras.backend as B
import tensorflow_hub as hub
from tensorflow.python.keras.engine import Layer
最终成绩为:logloss: 0.472666
5. 初次实践心得
因为是第一次接触数据竞赛,主要是学习了下别人的思路,跑了下训练代码,没有做什么有意义的修改。
感受了下训练大量数据时的龟速,学习了一下几个常用模型的思路以及模型融合的方法。
6. 组会总结
1)自己调模型做优化,渐进式学习比较好,逐步提高,跑现成的代码学到的东西不多,
2)先关注学习过程,结果分数暂时不重要,正式比赛优秀选手都有团队、套路,还有很大差距,
3)先要分析下数据,理解下问题,根据具体的业务场景做模型选择,参数调优,不同的业务需要采用不同的解决方法,没有万能的策略,