本月，天池和阿里云安全合作举办的第二届阿里云安全算法挑战赛落下帷幕，近2000名安全算法人的正义梦想，也从这里刚刚起航。
在网络为中心的世界中，人工智能和机器学习的技术，开始与“威胁论”挂上了钩。但技术本无善恶，往往取决于使用技术的人。
在网络安全领域中，我们用人工智能和机器学习，来更精准地检测或防御网络攻击，不管它是一次恶意的系统入侵，一次虚假的账号登录，还是对你重要密码的强行破解。人工智能战队，配合安全专家，让安全的黑暗死角被照亮。
今天的话筒，安全君交给DT财经的DT君，让他带你看看，安全算法挑战赛的顶尖战队，是如何用机器来保护人的？
当网络安全加上了“云”，黑客们就怕了么？
《让子弹飞》里，葛优在火车上吃着火锅，唱着歌，突然就被姜文的一伙土匪抢劫了，于是赔了夫人又折兵。这是一个世纪前的“安全问题”。
一个世纪后，你在家里吃着火锅唱着歌，被“抢”的不再是你本人，而是你的手机、企业网站和资源信息库。土匪变成“黑客”，他们用技术手段盗取你的数据信息，划走你银行账户的存款、击溃你门户网站的流量，薅走你苦心经营的“羊毛”。
据阿里云资深算法专家施亮介绍，如今中国的互联网灰黑产业已经达到了千亿元的规模，它们利用互联网安全的漏洞，不断从中国高速发展的互联网产业中掘取巨额非法利润。
对于一般企业来说，面对来无影去无踪的黑客攻击，保护数据安全成本高效果慢。所以，越来越多的企业和个人为了应对风险，将自己的数据和服务放置在云端，委托给云服务商进行管理。当网络安全升级到云上，对“黑帽子”们最大的影响是，技术和设备门槛都大大提高了，因为云服务商为企业增加了一层“防护网”。
这就好比，DT君有一个小商铺，但竞争对手雇佣了一批流氓恶霸扮作普通顾客，赖在我的商铺门口只闲逛、不消费，阻碍正常客户上门。作为个体户，DT君无法有效识别、驱赶这些“人群”，于是选择把店铺开设在某个规范化管理的园区内，让园区提供高效、精准的安保服务，驱赶这些“恶意人群”。
DT君的小商铺就是每天都在运营的海量网站，这些流氓恶霸们的行为就是“黑客攻击”，而整个大园区就是云服务商。（DT君注：这种用大流量攻击目标系统网络服务，致使系统无法提供正常服务的黑客行为也被称作分布式拒绝服务攻击，简称DDoS攻击，是最常见的黑客行为之一。）
目前，阿里云承载了中国40%的网站服务，这些数据蕴含了海量的潜在价值。“我们每天防御的黑客攻击体量为16亿次，包括2亿次暴力破解。每天能够成功防御2000次DDoS攻击。”阿里云云计算安全事业部资深总经理肖力告诉DT君，这些大量的攻击行为，一方面说明了云安全的重要性和巨大价值；另一方面，也为云安全的“智能化”提供了丰富的数据“学习”基础。
（图片说明：第二届阿里云安全算法挑战赛“当最强算法遇上Hacker”决赛现场）
毫无疑问，智能安全是趋势，但技术和人才都是“稀缺产品”。正因此，阿里云的天池平台和安全团队才联合举办了“阿里云安全算法挑战赛”。举办的第二个年头，已经有近2000名来自各行各业的选手参加了比赛，最终十支队伍进入决赛，来到杭州与“黑客们”一较高下。
有危险？算法比你更早察觉
本届算法大赛的参赛题目均源自阿里云安全部门平常接触到的真实业务场景。题目一共有三道：扫描爆破拦截；网页风险分类；HTTP Flood检测（7层CC攻击检测）攻击。它们分别对应了三种最常见的网络攻击模式：暴力破解密码黑来盗窃数据，传播黄赌毒等违规内容，还有发起异常大流量攻击导致服务器崩溃。
比赛可以说是一场实打实的“网络攻防战”了。三道试题，其实核心的关键就是分类——如何从真真假假的网络信息中识别出真实的黑客行为。
在决赛的答辩现场，来自北京邮电大学的buptyellow团队率先登台就给评委留下了深刻的印象。三位小伙伴熟练地运用了GBDT、RF等机器学习的相关算法，针对各个赛题不同的特点，有针对性地将算法规则构建与特征选择结合起来，做出了条理清晰、效果较好的云安全算法模型。
（图片说明：buptyellow团队在决赛答辩现场像评委展示自己的算法过程）
最令人意外的是，三位同学其实都是不折不扣的“斜杠青年”（拥有多重职业、身份多元化人群）。他们本身还是学生，在本次天池大赛前，其实都是机器学习和网络安全领域的“小白”。
“我觉得他们的解决方案成熟得像一支科班出身的安全算法团队”，评委之一、思睿家得创始人董靖在评价buptyellow时说到。不过他们只是参赛队伍的冰山一角，这样高水平的玩家，决赛中还有另外九个。
除了组队参赛的，决赛队伍中还不乏多位“单刀赴会”的大牛，“铁球”吴凡优就是其中之一。在第一道题目中，他迅速地利用特征工程的方法对数据进行分类，同时添加黑名单辅助决策，取得了较好的筛选效果。
（图片说明： “铁球”吴凡优在决赛答辩现场展示算法过程）
在解决第二个网页分类问题时，由于原始数据结构复杂、不规则，极大地增加了他使用机器学习算法的难度。但在对网页数据进行预处理后，他综合使用TF-IDF、TextRank 等文本数据挖掘的算法，构建了一套智能模型，最终较有效地从海量数据中甄别出违规网页内容。
“其实，我们面对的网络安全问题虽然多种多样，但是大部分是可以让安全工程师人眼找出规律的。但是在云平台上，面对海量的攻击，人眼是无法看得完的，这必须借助算法和人工智能的力量。”广东工业大学教授刘文印认为，这次安全算法大赛，比拼的重点并不在于高精尖的黑客对抗，而是如何用有效的人工智能算法，提升现阶段云安全的效率和精度。
（图片说明：广东工业大学计算机学院教授刘文印现场点评选手答辩）
相较于过去通过安全工程师发现并识别攻击，如今一些智能安全算法已经把这个过程的用时，从半小时缩减到几秒。
最终，来自北京邮电大学的buptyellow团队凭借出色的表现获得了第二届阿里云安全算法大赛的冠军。
AI可能是网络安全的新突破点
“凡是应用数据的领域，都存在数据安全的问题。” 肖力认为，“安全智能”是一个十分有潜力的广阔市场。
“过去大家都是卖产品的，现在随着移动互联网的普及，越来越多的商家和企业开始向服务层面转型。例如房地产公司，它也开始做APP，向客户出售自己的房产配套服务等，这都是基于数据才能完成的”。肖力告诉DT君，未来整个安全的趋势发展，一定是往数据化和智能化方向靠拢。
（图片说明：阿里云云计算安全事业部资深总监肖力与参赛选手分享“安全智能”话题）
虽然现在有很多公司用深度学习、机器学习等技术从事互联网安全领域的研究，但是真正带来根本性变革的临界点还尚未来到。如今安全智能产业仍处于一个不断优化，提升效率的阶段。另外，由于黑客的行为本身具有“黑箱”的特点，即人类黑客一般不会遵循什么规则的算法和步骤来进行活动，这些“创造性”的行为是很难用数学模型加以描述概括的。这其实加大了安全智能在实战中应用的难度。
魔高一尺，道高一丈。在现有的情况下，阿里云资深算法专家施亮认为，现阶段安全智能的目标是通过AI的手段降低安全防御的成本，同时提升黑客攻击行为的成本，从而让黑灰产业“无利可图”，从源头防御黑客的网络攻击。
“在使用防护之前，由于技术门槛低，黑客获取一个订单的成本只有一两毛钱，很容易，但是有了安全智能防护后，成本已经上升到十几二十块一个订单，黑客的获利成本已经非常高了，让他们没有动机去做这个事情。”
（图片说明：阿里云资深算法专家施亮在答辩现场）
据施亮介绍，如今每年国内的安全人才缺口在10万数量级。其中从事安全事业、又掌握机器学习算法武器的人才，更是少之又少。这也是为什么阿里云每年都要举办安全算法大赛，他们希望从行业和高校中，寻找更多“跨界”的参赛队伍，寻找来自算法或者安全领域的高手。
DT君认为，虽然现在距离安全智能的奇点还为时尚早，不过未来当越来越多的网络服务都部署在云端后，安全一定需要更多人工智能参与。“每个机器大脑背后的智慧，才是推动云安全前进的关键。”
最新一期的《*》中描绘了机器人正在不断代替人类工作的情形；前两天，Alpha Zero的横空出世更让大家开始担忧：难道人工智能真的要取代人类了？DT君觉得，AI的出现从来不是为了取代人类，而是帮助人类更加高效、安全。就像网络安全，AI正在和人类一起，保护你未来每天的“云端生活”。
原文发布时间为：2017-10-31
本文作者：程一祥
本文来自云栖社区合作伙伴“阿里云安全”，了解相关信息可以关注“阿里云安全”微信公众号