近几年，关注端智能方向的公司越来越多，一些头部公司在端智能上有了新的探索，并且取得了不错的效果，端智能逐渐成为驱动移动 App 业务创新的核⼼推动⼒之⼀。在推进端智能的过程中，会遇到哪些挑战？核心解决思路是什么？
近日，阿里巴巴淘系技术部资深技术专家吕承飞（花名：吕行）受 InfoQ 邀请，和大家聊一聊端智能在淘系的应用，以及双十一背后的那些技术挑战。并将于12 月 6-7 日的 QCon 全球软件开发大会（深圳站）“云端一体化移动开发”专题中进行《淘系端智能技术建设和业务创新》的分享，后续现场内容将通过淘系技术微信公众号整理发布。嘉宾简介：
吕承飞（花名：吕行）阿里巴巴资深无线开发专家，在移动开发，超级 App 架构，端侧 AI 等方面有深入思考和实践经验。2011 年毕业加入百度，经历百度输入法 0 到 1 研发过程。2013 年加入淘系，经历手机淘宝超级 App 技术演化完整过程，主导淘宝 iOS 架构升级、架构治理、稳定性和性能等相关工作。2017 年开始端侧智能方向探索，构建开源端侧推理引擎 MNN，端计算框架 Walle，AR 技术框架和美妆 AR 等创新应用。
以下是采访实录：
InfoQ：吕行老师您好，非常荣幸能够采访您。您从 2017 年开始探索端侧智能方向，这 3 年来，您认为端智能的发展有哪些变化？
吕行：宏观层面，端智能应用从探索尝试到逐步展开，在未来，必定会成为商业应用以及业务创新的核心技术推动力之一。具体来看，业界端智能的发展可以从以下三个角度来看：
- 从技术角度看，解决的问题是逐步递进的。从最初模型运行基础问题，再到效率和规模应用问题，具体包括：算法模型如何在端侧运行？算法模型如何快速迭代部署？如何降低端 AI 技术门槛实现普及应用？
- 从算法角度看，端侧算法不断成熟和完善。从最初的人脸检测，到人体姿态、手势、OCR 等逐步成熟。除视觉模型外，像搜索推荐深度模型、语音 ASR 模型和 NLP 模型在端侧运行也逐步变得可能，比如：我们今年基于 MNN 实现了移动端实时语音识别方案，并且在双 11 淘宝直播"一猜到底"活动中取得很好的业务效果。
- 从应用角度看，整体应用范围不断拓展和深入。从最初单点场景比如淘宝拍立淘场景，到多 App 和多场景全面铺开，不完全统计，阿里基于 MNN 的端智能应用已经超过 30 个。
InfoQ：淘系端智能的发展主要经历了哪几个阶段？
吕行：淘系端侧 AI 应用流程如上所示，每个节点都存在诸多问题，过去 3 年我们一直在解决中，主要经历了以下 3 个阶段：
- 端侧推理引擎阶段：端智能首先要解决算法模型在端侧运行问题，否则一切无从谈起，推理引擎就是端智能应用皇冠上的明珠，这个阶段我们做了端侧推理引擎 MNN，实现模型在端侧高效运行。
- 算法模型服务阶段：端智能要在业务落地除了算法模型运行之外，前后还涉及模型转换、更新发布、版本管理、运维监控等工作，这个阶段我们做了端 AI 服务端解决算法模型发布更新问题。特别地，算法任务除模型外，还涉及前后处理代码，因此我们构建了基于 PythonVM 的算法任务运行时容器，让算法同学编写 Python 任务实现快速迭代。
- 端 AI 研发范式阶段：端智能规模化应用过程中需要体系化解决研发迭代全链路问题。一方面，端智能应用落地需要算法开发和移动开发通力协作，但是两者之间天然存在 GAP，完全依赖口头沟通，协作效率存在较大问题；另一方面，AI 应用场景具有长尾和碎片化特征，诸多场景因为缺少专业算法支持导致没有落地，而且由于缺少统一技术建设导致已被应用的方案难以沉淀和复用；因此，我们构建『端 AI 研发范式』，具体由 MNN 工作台、MNN 运行时、端 AI 服务端构成。其核心思想：一是解耦算法和移动开发，让算法开发独立迭代；二是降低 AI 门槛，让 AI 成为普通开发的有力武器解决业务问题。我将在本次 QCon 会议分享相关内容细节。
InfoQ：淘系技术在推进端智能落地过程中，遇到过哪些困难，您认为最大的挑战是什么？最终是如何解决的？
吕行：淘系丰富的业务场景历来是培育创新技术的沃土，端智能的整体技术和应用实践一直走在行业前列，我们有开源推理引擎 MNN 还有开放的 MNN 工作台等。目前淘系已经有 25+ 应用场景，65+ 算法模型在日常运行，每天推理运行次数超过百亿次，覆盖商品搜索推荐、用户触达、拍立淘、直播等核心场景，经历 3 次双 11 考验并取得巨大业务价值。整体应用可以大致分成如下几类：
- 视觉类，主要在拍立淘、淘宝直播、拍摄工具、评价等场景应用。
- 推荐类，主要在首页信息流、购后、详情等各种推荐场景。
- 触达类，主要在 Push、消息、各业务弹框等场景应用。
- 语音类，主要在淘宝直播、智能降噪等场景应用。
到目前为止，最大挑战还是推理引擎 MNN 的挑战，比如：
- 移动端设备和系统碎片化；
- 移动端算力和资源有限；
- 视觉、语音等多样化的算法模型
- ……
如何解决上述挑战，这里我就不细说了，我会在 QCon 深圳 2020 会议上重点分享其核心解决思路。
InfoQ：在刚刚过去的双 11 中，端智能在实际应用过程中有哪些突出表现？可以结合实际案例来展开聊聊吗？
吕行：端智能已经逐渐从尝试应用变成驱动业务创新的核心推动力之一，在双 11 的热点业务场景都能看到相关应用。今年大热的直播场景也有不少应用。依托于淘系自研的 MNN，淘宝直播间推出 “语音猜价格”挑战，观众在直播间也能实现语音交互，动动嘴就可以响应主播发出的猜产品价格的任务。端智能极大的提升了直播内容的交互可玩性和内容理解准确性。
基于端 AI 技术实现精准的用户感知能力，双 11 流量高峰阶段，充分发挥端侧的算力和数据优势，大幅提升主动触达用户的体验和效果，仅在 11 月 1 日当天，端侧 AI 决策运行了 277 亿次。
通过对用户行为的实时感知和意图识别做商品列表重排和智能刷新，在淘系信息流等场景大规模应用，DPV 和 GMV 都获得了较大提升。
InfoQ：可以简单聊聊 MNN 的下一步计划吗？
吕行：其实推理引擎 MNN 的本质是做这样一件事情，即实现 [不同种类模型] 在 [不同异构设备] 上 [最高效运行]。这里有三个关键点，我们持续在演进和探索。
- 支持不同种类模型，从支持 CV、Data 算法模型到支持 ASR、NLP 算法模型，最近 MNN 在控制流、动态图等方面都有了很多完善和升级，新支持 Transformer 等网络模型。
- 支持不同异构设备，从支持客户端 CPU ARMv7/64/v8.2 到 GPU OpenCL/Vulkan/Metal 等都不断在演进和完善，MNN 也开始支持服务端 Intel x86/NVIDIA GPU 推理，提供云 - 端一体的统一推理服务。针对每个异构设备都需要实现和优化所有 OP 导致开发成本过高问题，我们创新性提出几何计算架构方案，将 OP 数目收敛到约 20 个核心算子，做到低成本覆盖各个异构后端，MNN 应该是行业覆盖异构后端最多支持算子最全的推理引擎。
- 实现最高效运行，高性能一直是 MNN 核心优势之一，在行业也有广泛认同。具体优化思路包括离线的模型压缩、图融合等方式进行优化，在线的通过汇编、SIMD/ 并行化、矩阵算法、调度等方式进行优化。另外，MNN 与 PAI 合作实现训练、量化到 MNN 部署云端一体化方案，新增稀疏剪枝、Overflow-Aware 量化等压缩方案。
MNN 在上述三个方向会持续演进，但从整个端智能应用链路来看，MNN 只是解决算法模型在端侧高效运行的单点问题。目前，我们正从 MNN 单点技术往端智能技术体系化和产品化方向迈进，如前所述构建端 AI 研发范式，通过 MNN 工作台解决算法模型部署过程中的转换、优化、调试、发布等问题，甚至做到让算法开发独立迭代。MNN 工作台目前正在免费对外公测中，有兴趣同学可以访问我们官网 www.mnn.zone 下载体验。
InfoQ：您认为未来移动领域还有哪些值得关注的技术方向？
吕行：技术进展跟业务发展还是强相关的，随着直播业务快速发展，多媒体技术应该有比较多发展，我自己更多关注端智能相关的一些东西：
- AR+ 端 AI+3D
我觉得这几个技术结合可以做出很多有意思的应用，其中 AR 提供了虚实结合的场景能力，端侧 AI 提供 AR 中的交互能⼒，3D 模型 /AR 素材提供内容供给，5G 网络提供了大资源包的网络传输能⼒。目前这几个技术都不算成熟，比如难以实现低成本且高质量 3D 建模。另外，手机也不是 AR 应用最适合的载体，可以期待一下后续消费级的 AR 眼镜。
- 端云协同的智能
目前云端做训练，客户端做推理，端云结合还比较浅层。我们也在做端上训练的探索，以及构建一套分布式的端云协同智能系统，实现用户个性化理解，保护数据隐私，以及节省云端成本。