什么才是“真AI相机”

从去年开始,AI(人工智能)概念在手机行业大行其道,并且与消费者最关注的拍照功能结合起来。一时间,各大手机厂商不约而同地发布了多款号称搭载了“AI相机”的智能手机,造成了手机市场鱼龙混杂的局面。

 

在老冀看来,所谓“AI相机”,无非就是将AI(人工智能)技术用在智能手机上面,让消费者在用手机的“相机”功能拍照和拍视频的时候,不需要具备太多的专业知识,也不再需要设置繁琐的拍照参数,甚至能在光线不佳的环境下就能够做到心想事成,拍到满意的效果。也只有这样的相机,才能称得上是“真AI相机”。

 

老冀认为,既然智能手机是给消费者拿来用的,那么到底什么是“真AI相机”,当然首先是消费者说了算。那么,消费者到底如何来判断呢?老冀认为,如今的消费者对于手机相机提出了“三个更”的要求:更清晰、更美丽、更精准。

 

一、更清晰

 

先说拍照。对于消费者来说,只要是旗舰机,其相机配置都不会太差,在正常的日光下拍出来的效果其实差别是不大的,都能够将照片拍得像那么回事。

 

真正对相机提出挑战的是另外两种常见的场景,一种是目标运动的时候,另一种则是晚上。这个时候,如果没有AI功能的加持,普通消费者很容易拍糊,

 

真AI相机能够运用智能降噪技术,拍运动目标的时候能够做到细节清晰无拖影。此外,真AI相机还能调动影像噪点消除技术,保留暗光下的细节,即使是夜拍的时候也能够再现真实。


什么才是“真AI相机”


再说拍视频,消费者同样也有两大痛点:一个是背景太乱造成主角不突出,另一个则是直播时因为网络不通畅导致画面出现马赛克,消费者希望强调的部分看不清楚,而不重要的部分却喧宾夺主。

 

对于第一个痛点,真AI相机能够利用AI技术进行边缘精准辨别,背景虚化智能锁焦,从而实现实时的高画质背景虚化视频。

 

第二个痛点也引起了大部分第三方应用平台的重视,它们为了让直播画面、视频通话的画面清晰,在低带宽或者网络不好的情况下,采取“卡顿画面”或者“连接不成功”来阻止用户看到“马赛克脸”。

 

但是,这不过是一种“头痛医头脚痛医脚”的偷懒办法,并不能够从根本上解决问题。如今,真AI相机的AI焦点直播功能,可以同时从B端和C端解决画面问题,让网红直播时的画面更清晰,还不用占用高带宽。


什么才是“真AI相机”


二、更美丽

 

对于中国消费者特别是女性消费者来说,拍照并不是个简单的照片质量的问题,还是要在微信群、朋友圈等社交媒体上Show出美丽的问题。因此,我们才看到了有各种自拍神器、P图软件的大行其道。

 

如今,有了真AI相机的加持,爱美的女性消费者还能够更进一步,实现360度无死角的美丽。具体来说,真AI相机能够通过AI为人像留色,让处在主角C位的自己显得最迷人。


什么才是“真AI相机”


过去很多P图软件只擅长把脸P得更好看,结果身体的比例反而显得更不协调。而真AI相机则具备了AI美体功能,能够更协调地优化你的身材,帮助你的傲人身姿苗条入镜。


什么才是“真AI相机”


三、更精准

 

我们看到,很多主打“AI相机”概念的智能手机都加入了“智能场景”等功能,能够自动识别拍摄的物体到底是花草、天空还是食物等,从而匹配最适合的拍摄方案。不过在实际使用的时候,“AI相机”却经常出现识别错误的窘境,例如将你吃的清炒荷兰豆识别成花草,给它进行“加绿”处理,结果更不像美食了。

 

真AI相机则不会犯这种低级错误,它能够做到更精准的识别,不仅能够实现多个物体的同时和实时识别跟踪,还能够实现对人脸表情的检测和精准判断。

 

更有意思的是,真AI相机有着更为强劲的AI算力,结合更好的算法,能够精准识别多人的快速移动姿态。这样当一个团队有多人同时做舞蹈动作的时候,就能够实时跟踪每个人的姿态,实现更有趣的人机互动应用。


什么才是“真AI相机”


因此,只有当消费者的拍照和拍视频体验达到了以上的“三更”(更清晰、更美丽、更精准),这样的手机相机才能够被称为“真AI相机”。

 

那么,接着问题就来了:除了通过拍照时的直观感受、图片对比的直观感受来识别“真AI相机”之外,是否还有更客观的标准,就像评价手机性能的GeekBench、3DMark、安兔兔、鲁大师等评分软件那样,不服跑个分?

 

可惜的是,面对AI芯片复杂而不断迭代的运算模型和跳出传统框架的算力逻辑,传统评分软件对AI芯片的测试方法显得力不从心。

 

幸好还有专门的AI跑分软件ETHZ AI Benchmark(苏黎世跑分)。顾名思义,“苏黎世跑分”是由苏黎世联邦理工学院研发的,测试的是通过不同的智能手机在运行相同的AI运算时,因为硬件和软件的差异所最终体现出的速度快慢差别。

 

由于苏黎世联邦理工学院的人工智能实验室在全球机器视觉、深度学习和机械工程等方面都有着深厚的积累,如今苏黎世跑分已经得到了芯片和手机厂商的广泛认可,成为评判AI能力的关键指标。

 

而且,苏黎世跑分的8大项核心测试均与“AI相机”的AI能力直接相关,包括:

1. MobileNet-V1神经网络的目标识别/分类

2. 对象识别/初始分类-V3神经网络

3. 人脸识别

4. 图像去模糊

5. 基于CPU、NPU、DSP的VG-19神经网络图像超分辨率

6. 仅在CPU上的SRGAN神经网络的图像超分辨率

7. 语义图像分割

8. 照片增强

 

举例来说,其中测试4、5、6、8主要测试包括图形去模糊、多元化的图像超分辨率和图形增强,这个部分中ResNet架构和CNN将会发挥重大的作用,由于涉及到图片的重构、模拟、训练和补充,不仅需要消耗极大量的浮点运算和视觉还原(涉及在GPU或特制AI加速器上运行神经网络),还对设备在CPU、GPU、NPU(APU)等提出了相当大的协作处理能力,通常要求每秒高达200-5000 GMACs的运算能力,如果不是定位高端芯片或设备基本很难完成这一项。

 

由此可见,苏黎世跑分能够在很大程度上检测到底什么才是“真AI相机”。老冀发现,一直倡导“真AI相机”的联发科技已经发布了三大评价标准,分别是:

 

1.  Sensor像素尺寸≥1.55μm。例如索尼的IMX586, IMX378, IMX380等。手机几乎已经取代了部分相机的场景应用,中高端手机的像素尺寸这些年也做到越来越大。单个像素的尺寸越大,感光能力更好,拥有更广的动态范围,对摄影来说,使用更多光线拍摄是无可替代的。老冀大胆预测,今年的智能手机会出现更多、更大尺寸的“底”,继续升级手机相机。

 

2.  苏黎世跑分≥21000分。AI性能决定了AI功能的表现,21000分是性能分水岭。在此腰部标准之上,我们看到了目前市场上比较抢眼的主打AI功能的手机芯片,如高通骁龙855、联发科技Helio P90、华为麒麟980。在当下的AI风潮之中,今年会有更多的芯片拥有强大的AI性能,这个腰部分数标准可能会升到更高。


什么才是“真AI相机”


3. 三核ISP技术。ISP是手机芯片中负责图像信号处理的单元,可以对图像进行降噪、色彩补偿、效果优化等。简单说,ISP就是把前端图像传感器传输的信号做后期处理,将电流信号重新排列组合,输出一张更为优质的照片,好的ISP可以将成像质量提高10-15个百分点。手机的ISP一般会集成在芯片处理器中,芯片级ISP的优点是性能稳定、功耗可以得到良好的控制。当下,手机的摄像像素越来越高,抓拍、夜拍、高清、甚至4K摄像,手机对ISP的处理性能要求越来越高。三核ISP可以通过硬件侦测人脸、实现更复杂的降噪处理、全像素多核对焦、通过硬件实时提供景深信息等,联发科技的独家技术支持三核ISP同时开启,ISP性能更强,处理图像的能力也就更强。

 

由此可见,联发科技分别从相机性能、图像处理性能、AI性能三个方面为“真AI相机”设置了不低的门槛。目前来看,市面上能够同时达到这三项标准的智能手机,除了要搭载联发科技Helio P90、海思麒麟980、骁龙855等AI性能强大的处理器, 同时还要搭配好的传感器,就连去年9月苹果发布的最新款iPhone XS系列其实也没能达标,实在是屈指可数。

 

老冀判断,2019年智能手机行业将会出现两大热点,一个是5G,另一个就是真AI相机。从目前来看,5G手机在今年还很难大规模普及;而随着联发科技Helio P90等具备强大AI能力的移动平台的推出,今年“真AI相机”却有望在旗舰机上普及,不仅重新定义新高端,还会彻底颠覆用户的使用体验。

上一篇:李彦宏说互联网思维已过时,AI可以根本上变革交通、城市、农业和医疗


下一篇:从“3D结构光+5G”的全球首发看OPPO的技术锋芒