淘系资深技术专家接受InfoQ采访表示:端智能必将成为驱动业务创新的核心推动力

近几年,关注端智能方向的公司越来越多,一些头部公司在端智能上有了新的探索,并且取得了不错的效果,端智能逐渐成为驱动移动 App 业务创新的核⼼推动⼒之⼀。在推进端智能的过程中,会遇到哪些挑战?核心解决思路是什么?

近日,阿里巴巴淘系技术部资深技术专家吕承飞(花名:吕行)受 InfoQ 邀请,和大家聊一聊端智能在淘系的应用,以及双十一背后的那些技术挑战。并将于12 月 6-7 日的 QCon 全球软件开发大会(深圳站)“云端一体化移动开发”专题中进行《淘系端智能技术建设和业务创新》的分享,后续现场内容将通过淘系技术微信公众号整理发布。

嘉宾简介:

吕承飞(花名:吕行)阿里巴巴资深无线开发专家,在移动开发,超级 App 架构,端侧 AI 等方面有深入思考和实践经验。2011 年毕业加入百度,经历百度输入法 0 到 1 研发过程。2013 年加入淘系,经历手机淘宝超级 App 技术演化完整过程,主导淘宝 iOS 架构升级、架构治理、稳定性和性能等相关工作。2017 年开始端侧智能方向探索,构建开源端侧推理引擎 MNN,端计算框架 Walle,AR 技术框架和美妆 AR 等创新应用。

以下是采访实录:

InfoQ:吕行老师您好,非常荣幸能够采访您。您从 2017 年开始探索端侧智能方向,这 3 年来,您认为端智能的发展有哪些变化?

吕行:宏观层面,端智能应用从探索尝试到逐步展开,在未来,必定会成为商业应用以及业务创新的核心技术推动力之一。具体来看,业界端智能的发展可以从以下三个角度来看:

  • 从技术角度看,解决的问题是逐步递进的。从最初模型运行基础问题,再到效率和规模应用问题,具体包括:算法模型如何在端侧运行?算法模型如何快速迭代部署?如何降低端 AI 技术门槛实现普及应用?
  • 从算法角度看,端侧算法不断成熟和完善。从最初的人脸检测,到人体姿态、手势、OCR 等逐步成熟。除视觉模型外,像搜索推荐深度模型、语音 ASR 模型和 NLP 模型在端侧运行也逐步变得可能,比如:我们今年基于 MNN 实现了移动端实时语音识别方案,并且在双 11 淘宝直播"一猜到底"活动中取得很好的业务效果。
  • 从应用角度看,整体应用范围不断拓展和深入。从最初单点场景比如淘宝拍立淘场景,到多 App 和多场景全面铺开,不完全统计,阿里基于 MNN 的端智能应用已经超过 30 个。

InfoQ:淘系端智能的发展主要经历了哪几个阶段?

淘系资深技术专家接受InfoQ采访表示:端智能必将成为驱动业务创新的核心推动力

吕行:淘系端侧 AI 应用流程如上所示,每个节点都存在诸多问题,过去 3 年我们一直在解决中,主要经历了以下 3 个阶段:

  1. 端侧推理引擎阶段:端智能首先要解决算法模型在端侧运行问题,否则一切无从谈起,推理引擎就是端智能应用皇冠上的明珠,这个阶段我们做了端侧推理引擎 MNN,实现模型在端侧高效运行。
  2. 算法模型服务阶段:端智能要在业务落地除了算法模型运行之外,前后还涉及模型转换、更新发布、版本管理、运维监控等工作,这个阶段我们做了端 AI 服务端解决算法模型发布更新问题。特别地,算法任务除模型外,还涉及前后处理代码,因此我们构建了基于 PythonVM 的算法任务运行时容器,让算法同学编写 Python 任务实现快速迭代。
  3. 端 AI 研发范式阶段:端智能规模化应用过程中需要体系化解决研发迭代全链路问题。一方面,端智能应用落地需要算法开发和移动开发通力协作,但是两者之间天然存在 GAP,完全依赖口头沟通,协作效率存在较大问题;另一方面,AI 应用场景具有长尾和碎片化特征,诸多场景因为缺少专业算法支持导致没有落地,而且由于缺少统一技术建设导致已被应用的方案难以沉淀和复用;因此,我们构建『端 AI 研发范式』,具体由 MNN 工作台、MNN 运行时、端 AI 服务端构成。其核心思想:一是解耦算法和移动开发,让算法开发独立迭代;二是降低 AI 门槛,让 AI 成为普通开发的有力武器解决业务问题。我将在本次 QCon 会议分享相关内容细节。

InfoQ:淘系技术在推进端智能落地过程中,遇到过哪些困难,您认为最大的挑战是什么?最终是如何解决的?

吕行:淘系丰富的业务场景历来是培育创新技术的沃土,端智能的整体技术和应用实践一直走在行业前列,我们有开源推理引擎 MNN 还有开放的 MNN 工作台等。目前淘系已经有 25+ 应用场景,65+ 算法模型在日常运行,每天推理运行次数超过百亿次,覆盖商品搜索推荐、用户触达、拍立淘、直播等核心场景,经历 3 次双 11 考验并取得巨大业务价值。整体应用可以大致分成如下几类:

  • 视觉类,主要在拍立淘、淘宝直播、拍摄工具、评价等场景应用。
  • 推荐类,主要在首页信息流、购后、详情等各种推荐场景。
  • 触达类,主要在 Push、消息、各业务弹框等场景应用。
  • 语音类,主要在淘宝直播、智能降噪等场景应用。

到目前为止,最大挑战还是推理引擎 MNN 的挑战,比如:

  • 移动端设备和系统碎片化;
  • 移动端算力和资源有限;
  • 视觉、语音等多样化的算法模型
  • ……

如何解决上述挑战,这里我就不细说了,我会在 QCon 深圳 2020 会议上重点分享其核心解决思路。

InfoQ:在刚刚过去的双 11 中,端智能在实际应用过程中有哪些突出表现?可以结合实际案例来展开聊聊吗?

吕行:端智能已经逐渐从尝试应用变成驱动业务创新的核心推动力之一,在双 11 的热点业务场景都能看到相关应用。今年大热的直播场景也有不少应用。依托于淘系自研的 MNN,淘宝直播间推出 “语音猜价格”挑战,观众在直播间也能实现语音交互,动动嘴就可以响应主播发出的猜产品价格的任务。端智能极大的提升了直播内容的交互可玩性和内容理解准确性。

基于端 AI 技术实现精准的用户感知能力,双 11 流量高峰阶段,充分发挥端侧的算力和数据优势,大幅提升主动触达用户的体验和效果,仅在 11 月 1 日当天,端侧 AI 决策运行了 277 亿次。

通过对用户行为的实时感知和意图识别做商品列表重排和智能刷新,在淘系信息流等场景大规模应用,DPV 和 GMV 都获得了较大提升。

InfoQ:可以简单聊聊 MNN 的下一步计划吗?

吕行:其实推理引擎 MNN 的本质是做这样一件事情,即实现 [不同种类模型] 在 [不同异构设备] 上 [最高效运行]。这里有三个关键点,我们持续在演进和探索。

  1. 支持不同种类模型,从支持 CV、Data 算法模型到支持 ASR、NLP 算法模型,最近 MNN 在控制流、动态图等方面都有了很多完善和升级,新支持 Transformer 等网络模型。
  2. 支持不同异构设备,从支持客户端 CPU ARMv7/64/v8.2 到 GPU OpenCL/Vulkan/Metal 等都不断在演进和完善,MNN 也开始支持服务端 Intel x86/NVIDIA GPU 推理,提供云 - 端一体的统一推理服务。针对每个异构设备都需要实现和优化所有 OP 导致开发成本过高问题,我们创新性提出几何计算架构方案,将 OP 数目收敛到约 20 个核心算子,做到低成本覆盖各个异构后端,MNN 应该是行业覆盖异构后端最多支持算子最全的推理引擎。
  3. 实现最高效运行,高性能一直是 MNN 核心优势之一,在行业也有广泛认同。具体优化思路包括离线的模型压缩、图融合等方式进行优化,在线的通过汇编、SIMD/ 并行化、矩阵算法、调度等方式进行优化。另外,MNN 与 PAI 合作实现训练、量化到 MNN 部署云端一体化方案,新增稀疏剪枝、Overflow-Aware 量化等压缩方案。

MNN 在上述三个方向会持续演进,但从整个端智能应用链路来看,MNN 只是解决算法模型在端侧高效运行的单点问题。目前,我们正从 MNN 单点技术往端智能技术体系化和产品化方向迈进,如前所述构建端 AI 研发范式,通过 MNN 工作台解决算法模型部署过程中的转换、优化、调试、发布等问题,甚至做到让算法开发独立迭代。MNN 工作台目前正在免费对外公测中,有兴趣同学可以访问我们官网 www.mnn.zone 下载体验。

InfoQ:您认为未来移动领域还有哪些值得关注的技术方向?

吕行:技术进展跟业务发展还是强相关的,随着直播业务快速发展,多媒体技术应该有比较多发展,我自己更多关注端智能相关的一些东西:

  • AR+ 端 AI+3D

我觉得这几个技术结合可以做出很多有意思的应用,其中 AR 提供了虚实结合的场景能力,端侧 AI 提供 AR 中的交互能⼒,3D 模型 /AR 素材提供内容供给,5G 网络提供了大资源包的网络传输能⼒。目前这几个技术都不算成熟,比如难以实现低成本且高质量 3D 建模。另外,手机也不是 AR 应用最适合的载体,可以期待一下后续消费级的 AR 眼镜。

  • 端云协同的智能

目前云端做训练,客户端做推理,端云结合还比较浅层。我们也在做端上训练的探索,以及构建一套分布式的端云协同智能系统,实现用户个性化理解,保护数据隐私,以及节省云端成本。

上一篇:新技术驱动,新旧动能转换有新篇


下一篇:Linux下安装RPM文件包