当今社会的科技发展和未来的发展创新都离不开自动化技术的支持。然而，一旦自动化技术为不法分子所用，造成的损失也是不可估量的。从网站应用***、用户信息泄露到业务交易欺诈，无处不在的自动化***考验着每个行业的安全水准。
日前，《2020 Bots自动化威胁报告》(下称“报告”)，对2019年Bots自动化威胁的主要类别、***来源、***态势、技术手段等进行了全面回溯与解读，并对2020年Bots自动化威胁发展趋势做出预测。
报告指出，Bots机器人***在逐年增加，全球网络流量中正常用户发起的请求已经不足一半。国内的Bots***形势则更为严峻，尤其在一些资源抢占类和信息公示类系统中，Bots发起的访问请求占比甚至超80%。同时，相对于传统安全***，企业普遍缺乏对于Bots***的认知和防护，这进一步加剧了Bots***带来的危害。
一、四大Bots核心问题
正如自动化能够帮助企业有效地检测和缓解网络威胁一样，自动化工具的加持也让网络犯罪分子“如虎添翼”。自动化、智能化的Bots***正让企业网络的防线频频失守。
01
*大数据成为高级Bots的云集之地
“互联网+政务服务”开放了大量数据查询服务，这些数据经过聚合之后可以成为具有极高价值的*大数据，因此吸引了黑产和*机构Bots的大规模数据拖取，如果被非法滥用，将会带来巨大危害。在各行业中，*行业的Bots请求比例居行业之首，超过65%；在高级持续性Bots手段使用上，*行业依然首当其冲，占比超过30%。
02
庞大的IP资源已成为Bots流量产业的基础设施
大规模廉价的IP资源大幅降低了绕过传统Anti-Bot技术的成本，也成为Bots流量中最常用的手段，更换IP方式在绕过手段中的采用率高达90%以上，严重削弱了IP信誉库的防御能力，高级组织每日使用IP数量可超过百万，两日IP重复率低于10%。
03
新兴领域的漏洞探测利用效率提升
随着开源和商业漏洞探测利用工具的发展，***者对于新兴领域的漏洞发现效率大幅度提升，IoT、API、云端应用等领域虽然兴起时间不长，但暴露的安全问题却有赶超传统领域的趋势，尤其在0day/Nday***、接口滥用等方面表现突出。
04
Bots流量全面隐藏机器特征促使前端对抗升级
借助丰富而低成本的IP资源、平台资源，Bots在流量层面的特征进一步被隐藏，这就要求防护系统能够在前端提取到更多的Bots信息进行识别。JS保护与破解、设备指纹追踪与反追踪、模拟操作行为对抗、验证码对抗等将会更加激烈，AI技术也将会深入介入其中。
二、五大Bots自动化威胁主要场景
随着自动化***手段的发展，业务系统面临的***类型也越来越多，OWASP最新发布的《Automated Threat Handbook》中提到的自动化威胁已达到21种之多。但同时，相对于传统安全***，企业普遍缺乏对于Bots***的认知和防护，这就进一步加剧了Bots***带来的危害。
《2020 Bots自动化威胁报告》结合国内的业务系统和***者的特点，从Bots***最主要的关注点和对业务影响的角度，提取出了五大Bots自动化威胁场景，为企业应对Bots自动化威胁及评估业务安全防护能力提供了极具意义的见解。
场景一：漏洞探测利用
随着Bots自动化工具的强势发展和应用，漏洞***不再是高级***组织的专属，而开始趋向“低成本、高效率”的模式。365*24全年无休的高强度漏洞扫描不会放过任何系统中的薄弱环节，无论是已知漏洞，还是零日漏洞，自动化Bots工具都可以随时随地进行探测，往往他们比企业自己还更了解系统的安全态势。
同时，漏洞的快速曝光和利用给企业带来了极大威胁。一个漏洞公布之后，随之而来的漏洞探测会迅速在互联网上批量尝试，几乎所有漏洞利用会在1天之内就被广泛传播。与此同时，对于0day漏洞，首次探测高峰已经由POC发布后的一周，提前到POC发布之前，这也令企业难以有效应对。
场景二：资源抢占
医院挂号、学校报名、网络购票、优惠秒杀……需要“抢”资源的场景几乎可以出现在人们日常生活中的方方面面。但是当Bots自动化工具出现，这场竞争的性质就截然不同了。Bots自动化工具不仅可以模拟正常操作逻辑，还凭借“批量、快速”的优势，使得普通用户全无胜算，从而大量抢占有限的社会资源，扭曲了社会资源的公平分配，严重扰乱了企业的正常运营和人们的日常生活。
某报名活动，在开启报名通道后的10分钟内，即被黑产组织利用自动化工具发起超过200万次抢占请求。
某企业在促销期间，APP异常下载请求总数超过42.9万，每小时请求数十分平均，使用工具发起的请求特征明显。
场景三：数据聚合
近年来，由于大数据处理和数据挖掘技术的发展，数据资产价值的概念深入人心。越来越多的公司或组织对公开和非公开的数据进行***式抓取，对数据进行聚合收集，造成潜在的大数据安全风险。同时，数据授权、来源、用途不透明，隐私侵权、数据滥用等问题也越来越严重。
以*行业为例，“互联网+政务”服务开放了大量数据查询服务，而这些数据经过聚合之后，可以成为具有极高价值的*大数据，因此大量黑产和*机构利用Bots自动化工具进行大规模数据拖取，*大数据已然成为高级Bots的云集之地。一旦这些数据被非法滥用，将会带来巨大危害。
某公示系统，全体24小时遭受爬虫的高强度访问，爬虫访问占比超过78%。
场景四：暴力破解
“账号密码”是系统防护措施中的重要一环，也一直高居***者最想窃取的内容榜首，而破解密码的一个最简单的方法就是暴力破解。目前网上泄漏的各类账号密码库基本都以TB为单位，而借助泛滥的Bots自动化工具，字典破解或撞库的成功率则大幅上升，电商、社交媒体、企业邮箱、OA系统、操作系统等具有登录接口的系统都是此类***的目标。
***者可以轻松利用被曝光的包括登录名/密码组合在内的个人数据，在短时间内对数百个不同的网站不断进行登录验证，试图盗用账号，乃至发起进一步***并从中获利或者获取更多的个人身份关联信息等有价数据。
场景五：拒绝服务***
拒绝服务***（DOS）已经是一个老生常谈的问题，传统针对DOS的防护主要集中在流量层面的分布式拒绝服务***（DDOS）对抗上，这一类***由于***特征相对明显，危害虽大，但企业也大多已经具备了相对完善的应对措施。
然而近些年兴起的业务层DOS***，则是***者利用Bots自动化工具来大量模拟正常人对系统的访问，从而大量消耗系统资源，使得系统无法为正常用户提供服务。由于业务层的DOS***从流量上看完全是正常的请求，没有明显的***特征，因此给企业防护带来了很大的难度。***者利用自动化Bots工具，通过对车票、机票进行循环下单但不付款的方式霸占所有座位，造成无票可售的现象就是一个典型案例。
未来随着Bots对抗的不断升级，我们相信，越来越多的***场景会给企业带来更大挑战，***也将是一个持续的过程。因此瑞数信息建议企业将Bots管理纳入到企业应用和业务威胁的管理架构中，部署能够针对自动化威胁进行防护的新技术，借助动态安全防护、AI人工智能及威胁态势感知等技术，提升Bots***防护能力，构建基于业务逻辑、用户、数据和应用的可信安全架构。
三、2019年Bots自动化威胁深度分析
随着自动化***手段的发展，业务系统面临的***类型也越来越多，OWASP最新发布的《Automated Threat Handbook》中提到的自动化威胁已达到21种之多。结合国内的业务系统和***者的特点，报告对Bots自动化威胁的多个层面进行了归纳分析和解读，并提出六大警示，为企业深入了解Bots威胁及提升相应的安全防御能力提供了参考。
报告指出，从Bots***流量最主要的关注点和对业务影响的角度，可以将Bots***类别分为5大类:
-漏洞探测利用
-模拟正常业务操作逻辑抢占业务资源
-爬虫获取高价值数据
-暴力破解或者撞库获取账号信息
-面向应用和业务的拒绝服务***
警示一：*、金融、运营商、互联网行业成为Bots***重灾区
综合来看，Bots发起的请求占比已经超过网站访问总量的一半，达到55.35%，而对于某些提供公共信息查询的政务系统，Bots请求比例甚至超过80%。
从行业上看，*行业的Bots请求占比最高，超过65%；金融、运营商、互联网行业的平均占比都超过了60%。除了通用的漏洞扫描外，不同行业遭受的Bots***类型也不一样。Bots 访问占比最高的*行业，主要***场景有爬虫、信息搜刮等；其次为金融行业，主要***场景有薅羊毛、批量进件、撞库等；运营商行业则集中在批量缴费、通话记录或账单拖取等场景。
从Bots***来源来看，Bots***来源最多的省份是江苏，河南、浙江，广东紧随其后。这和当地的IDC、ISP提供商的营销策略不无关系。而来自*的***中，美国以超过75%的占比高居榜首。
警示二：难以直接封杀的IP秒拨
作为互联网空间最基础的身份标识，IP一直是黑产和企业争夺对抗最激烈的***点。随着黑产技术的快速升级和***节奏的加快，秒拨IP资源成为了当下主流的黑产IP资源，被广泛用于批量注册、登录、投票、刷量等短时间内需要大量IP资源的风险场景，而且由于其难以识别的特性，也已经对当前的互联网安全造成了巨大危害。
报告指出，虽然来自IDC机房的IP依然是***的主力，但随着对抗的升级，在一些高级别对抗中，IP地址已经在向更为隐蔽、难以直接封杀的家庭IP、基站IP转移。相比传统的IDC代理技术，这些IP地址隐藏在真实的用户中，使得IP信誉检测的效果大打折扣，基于IP的拦截也会投鼠忌器。
警示三：更隐蔽的Bots身份声明
为提高***效率，Bots***者不断在尝试利用各种各样的手段来绕过检测措施，比如通过修改User-Agent来隐藏自己真实的身份信息。
通过对Bots的UA进行分析，可以发现Windows是半数以上Bots的首选操作系统(52.3%)，而Chrome则是它们最喜欢使用的“马甲”。
警示四：高歌猛进的APBs
随着各种Bots对抗技术的涌现，很多场景下简单的脚本工具已经没有用武之地，为了绕过各种防护手段，Bots也正由简单脚本向高级持续性机器人(APBs)不断演进。根据观察，APBs产生的流量在总Bots流量中的占比已经达到23.16%，随着对抗的升级，这一比例还会继续上升。
相对于普通Bots，APBs具备多种多样的“反反自动化***”能力，自动更换IP、特征隐藏、拟人化操作、验证码识别等技术已然成为标配。在一些对抗比较激烈的场景，例如薅羊毛、爬虫、抢报名等，APBs已经大规模应用。
APBs进化路线
为了绕过客户端的检测，并对网页中JS等程序进行执行，***者会通过自动化框架来完全模拟真实浏览器。据瑞数信息监测统计，目前应用最广泛的是WebDriver类框架，Headless Chrome、PhantomJS、NodeJS等也在大量应用。同时，通过瑞数信息动态安全Botgate对客户端真实环境的验证发现，Chrome内核仍然是APBs的首选。
警示五：移动端***的崛起
随着企业越来越多的业务系统向移动端迁移，***的***重心也必须向移动端转移，各类改机工具、破解框架、模拟器、群控、云控、IMEI伪造、GPS伪造等***手段层出不穷。
报告显示，移动平台的Bots最大来源城市为成都，南方城市总体较北方城市发起了更多移动端Bots***。
就移动端的***载体而言，Bots***呈现出对经济成本、系统破解难易度等方面的依赖。市场占有率更高、价格更低廉、破解难度更低的Android系统明显比iOS得到更多Bots***者的偏爱。
移动端Bots***来源平台分布
移动端Bots***来源手机品牌分布
警示六：更高的0day/Nday漏洞探测利用效率
漏洞的快速曝光和利用给企业带来了极大的威胁。漏洞公布之后，随之而来的漏洞探测会迅速在互联网上批量尝试，几乎所有漏洞利用会在1天之内就被广泛传播。而作为发现后即可立即被利用的安全漏洞，0day漏洞往往具有更大的突发性和破坏性。
随着开源和商业漏洞利用工具的发展，0day/Nday漏洞利用工具的获取难度在持续降低，但工具发布更新的频率却在迅速提升。尤其对于一些重量级的0day漏洞，首次探测高峰已经由POC披露后1周，提前到POC披露之前，这也让企业更加难以有效应对。
目前，Bots自动化***正在日益成为***者最青睐的***形式，免费、简单、高效，是***者越来越偏爱自动化的主要原因。***论坛或网站上发布的免费自动化脚本工具，以及破坏力极强但却不需要***者拥有深厚代码功底的自动化***工具都可以为***者所用，发起越来越复杂且成功率更高的自动化***。
在未来的***对抗中，企业也将会面临越来越多的自动化***。因此企业在应用及业务安全的防御策略上，除了加强基础风控的建设，也应当将Bots管理纳入其中，借助动态安全防护、AI人工智能、威胁态势感知等新技术，高效防御各类数字时代的新兴威胁。
四、2020年Bots自动化威胁七大趋势
2019年围绕Bots***展开的对抗技术得到了长足发展，但未来这一对抗依然会持续并不断增强。
移动端成为下一战场
随着企业业务不断从PC端向移动端迁移，***的***重心也在转移。除了传统的漏洞扫描、APP客户端逆向破解外，大量的非法第三方APP请求、API接口滥用、撞库、批量注册、刷单、薅羊毛等业务相关的***正在发生，移动端的对抗将进入下一阶段。
前端对抗持续增强
前端作为整个系统的大门，是Bots***中双方必争之地，各种对抗手段不断涌现，可以预见后续前端对抗依然会持续，在JS保护、设备指纹、操作行为等领域的对抗将会持续升级
IoT系统成为新兴***目标
智能家电、摄像头、路由器、车载系统等物联网(IoT)设备正深入人们的生活，***利用自动批量***工具，可以快速获取大量IoT设备的控制权，IoT已然成为信息泄漏和 DDOS***的生力军。
Bots成为API滥用的推手
在Bots的帮助下，***者对API接口进行暴力破解、非法调用、代码注入等***的效率将会大幅提升，API接口滥用行为的防护需求将愈加凸显。
“内鬼”防不胜防
面对高价值的企业数据，企业内部员工无意或蓄意地利用自动化工具及内网合法权限，拖取内部信息、操纵内网交易、建立垃圾账号的事件屡见不鲜，而Bots正充当了“内鬼”们窃密的利器。
云中斗争愈发激烈
云技术的发展会对Bots***产生深刻影响。一方面云资源成本降低使得部署于云上的Bots成本也随之降低，Bots数量因而上升；另一方面云上环境相比自建机房更为开放，***面暴露更多，遭受***的可能性也大大增加。
AI 深度介入***过程
AI人工智能已经是网络安全届最热门的话题之一。一方面，过去成本高昂的劳动密集型***，已经在基于AI的对抗学习以及自动化工具的应用下找到新的转型模式。另一方面，以AI为基础的***检测工具迅速发展，相比传统策略，基于AI的新型***检测，可以发现更为隐蔽的***。
五、应对Bots自动化***的八条防护建议
01
部署针对Bots自动化威胁的防御新技术
将Bots管理纳入到企业应用和业务威胁管理架构中，部署能针对自动化威胁进行防护的新技术，结合多重变幻的动态安全防护、威胁态势感知及人工智能技术，防止漏洞利用、拟人化***等多类应用安全问题，构建集中于商业逻辑、用户、数据和应用的可信安全架构。
02
以动态技术构建主动防御
通过对网页底层代码的动态变幻和实时人机识别技术，隐藏可能的***入口，增加服务器行为的不可预测性。同时，需要保证应用逻辑的正确运行，高效甄别伪装和假冒正常行为的已知和未知自动化***，直接从来源端阻断自动化***。
03
AI技术助力自动化威胁行为的深度分析和挖掘
融入涵盖机器学习、智能人机识别、智能威胁检测、全息设备指纹、智能响应等的AI技术，对客户端到服务器端所有的请求日志进行全访问记录，持续监控并分析流量行为，实现精准***定位和追踪溯源，并对潜在和更加隐蔽的***行为进行更深层次的分析和挖掘。
04
可编程对抗技术实现灵活便捷的***对抗
为企业使用者和用户构建了一个开放式的简单编程环境，提供上百个字段用于规则编写，让具备一定编程基础的客户能够根据企业自身的情况，实现自我防护需求定制和灵活、便捷的***对抗。
05
基于大数据分析的自动化威胁情报
通过大数据分析能力，结合业务威胁的特征，对流量进行实时监控。全方位感知透视自动化***的来源、工具、目的和行为，并对***者进行画像，建立IP信誉库、指纹信誉库和账号信誉库，实现安全无死角。
06
从等保合规的角度制定网络安全防护策略
结合《网络安全法》、等保2.0等网络安全相关的法律法规，将风险评估、安全监测、数据防护、应急处置、自主可控等纳入企业网络安全防护策略，提高应对网络***的防御能力，降低工作流程中的数据泄漏和其他安全风险。
07
强化内网纵深安全保护
从技术层面而言，企业可以通过APT解决方案、内网陷阱等方式，并引入“零信任机制”，强化内网纵深安全保护。此外，内网的Web应用及数据库服务器更是重点防护对象，以杜绝内部人员或外部******窃取或篡改企业的敏感关键数据。而从管理层面看，严格制定并安全执行各类IT使用规范必不可少。
08
重视IoT及工控设备安全
重视物联网及工控设备安全，提供设备的资产清查、安全管理、预警与联防，整体防护物设备、网络传输及云端，避免物联网及工控设备成为企业信息安全的重大隐患。
结语
安全就像一场永无休止的***战，***两端永远在博弈，此消彼长，没有完结的一天。未来，数字化将成为企业发展的“核心动能”，安全也将成为企业核心竞争优势之一。有效防御Bots自动化***是未来安全防护的趋势，了解自动化Bots***特点和系统安全态势，强化安全防护的协同联动，才是企业有效应对后续未知的自动化***态势，屹立于不败之地的关键。