作者|居反

产业级移动应用测试面临操作系统碎片化人工测试负担过重、功能复杂场景繁多、自动化测试探索效率低效的问题。淘系技术质量团队与北京大学讲席教授谢涛老师团队合作，在业界提出了首个基于计算机视觉（和多模态强化学习）的自动化视觉测试框架Monkeybot，解决了遍历测试效率低下，自动测试工具难以跨平台使用的问题，为移动应用测试提供了通用高效的解决方案。并于21年9月底在QECon全球软件质量效能大会上对行业公开了这一技术方案。随后，在10月份云栖大会上谢涛教授对MonkeyBot落地效果进行了分享展示。

Monkeybot在阿里巴巴集团包括淘宝、千牛等在内的十余个大型产业移动应用上落地部署，服务于他们的日常测试和质量保障，特别是双十一等重要场景的质量保障和测试工作中，并通过软件绿色联盟向全行业提供用户体验测试，智能探索测试，智能验证等服务。已在Android、iOS、鸿蒙等操作系统落地实践，推动测试效能提升3倍以上。

接下来一起看下我们是如何来实现的吧。

研究背景

手淘拥有十亿级用户，产品快速迭代和功能复杂多样化给质量保障工作带来巨大挑战，面临功能测试回归成本高、易漏测等问题，迫切需要一个高效智能的自动化测试方案来保障软件质量。
▐  解决复杂交叉场景易漏测问题

随着淘宝业务的扩大，当前手淘不仅具有购物下单的功能，还有很多其他的业务功能，比如有消息聊天、直播、逛逛、互动游戏等。不同的业务都是划分在不同的团队负责，因此各业务的上线和回归都是相对比较独立的。但是，从用户角度很难区分每个业务的边界，用户使用产品过程一定是一个多场景组合的情况，比如用户买东西的时候想跟商家沟通一下尺寸号码的问题，用户大概率会从商品详情页找到客服，然后进到聊天页面发消息；结果商家没有及时回复，下次可能会从消息tab找到会话去聊天，然后逛着逛着商家回复了又可以从新消息弹框点进去聊，聊完了可能还要返回继续逛，逛着逛着又想起一些事情要跟商家交代，于是从快捷入口进到消息再找到会话聊天。一个简单且常用的聊天功能，用户可能会有很多路径去完成，过程中也会涉及到很多消息之外的业务，对于测试同学很难全面覆盖组合场景验证，也就容易出现交叉场景漏测导致线上问题发生。

▐  解决快速迭代回归成本高问题

手淘客户端每次迭代发布各个业务都需要进行回归验证，每个月手淘至少一次正式版本发布，大概每周都有一次灰度发布，对于每一次发布都要进行至少两轮回归，每次回归至少覆盖安卓和iOS两个系统，保守计算每个月至少要做16次功能回归，每次回归都需要大量的人力成本。

为了降低回归成本，UI自动化测试广受大家喜爱，Selenium、appium、Airtest、RXT等工具陆续出现，通过维护自动化脚本来实现测试自动化，也取得了不错效果。但是随着产品快速迭代，维护自动化测试脚本仍然需要很大的人力成本和时间成本。

为了更好地为测试提效，让机器尽可能以接近用户的视角来自动执行测试流程，尽可能多地覆盖不同业务场景，受遍历测试和Monkey测试的一些启发，我们尝试让机器在给定app内自主探索，结合智能的探索策略，具备类人测试能力，实现全流程无人参与的自动化测试。
思路分析

为了让机器具备类人测试能力，我们制定了以下几个目标：首先，在执行层面我们希望一套测试工具支持多系统多平台验证；其次，测试工具需要摆脱对测试脚本依赖，具有主动理解业务的能力；最后，在理解业务的基础之上能智能做出决策执行操作，有效覆盖更多用户操作路径。

显然，这些目标是很难实现的。但是，我们仍然要在这布满荆棘的道路上摸索前行！

通过长时间的技术调研和尝试，我们找到了如下图所示的一套解决方案。第一，基于纯视觉的UI分析，不再依赖系统信息完成分析，更好的适配不同系统；第二，通过图像特征、文本信息和UI的结构等信息来对UI状态进行建模获取图文多模态信息，然后对于图片进行不同层次多粒度状态抽象，更好地理解图像业务含义；第三，引入强化学习探索策略，结合探索历史和智能探索策略，实现更有效地路径覆盖。