一图胜千言，阿里云视觉大数据智能计算实践

2022-04-27 21:26:37

以下内容根据演讲PPT以及现场分享整理而成。

引言
在大数据世界里面，视觉大数据应该是量级最大的。之前讲的天文的数据量非常大的，但其实天文的数据也是天眼的数据，说到底还是视觉的数据。

视觉智能计算并不是只做简单地进行一些图像视频的处理，而是要通过人工智能和机器学习的方法在数据中去识别、搜索和挖掘其中的价值，使得数据的价值得以体现，让用户对于数据的使用体验更好。

生活中的各种监控以及直播很普及，一个城市可能有多达60万个摄像头，所以产生的视频数据确实非常多。那么该如何处理这么多的数据呢？如何才能发现我们需要的东西呢？

大家在日常生活中比方旅游时往往会拍摄很多图片以及视频，但是之后这些数据怎么办呢？怎么看？怎么查？怎么用？往往会成为一件非常麻烦的事情，那么技术能不能把这件事情做得更好呢？

当然在其他领域也有很多的图像视觉的东西，对于这些方面，我们可以用智能来实现比如疾病诊断、灾难报告、机械故障的检测以及体育比赛的解说等等，这些确实是实实在在的理性需求，这些需求向视觉智能提出了很多的挑战，同时也带来了很多的机会。

从个体角度而言，视觉智能可以分为个体智能和整体智能。对于个体智能，数据被处理的地方可能是云上或者是终端。一般而言，云上处理的计算复杂度比较高，而终端一般处理的计算复杂度比较低一些。而整体智能则不会只关注一个单点的数据，需要看很多数据一起才能出决策，这一部分在终端上是难以完成的，除非未来端到端的通讯达到无缝的状态。整体智能的意思就是我们拿到的是一个整体的大规模的视频数据，通过这些数据的协同，以及整合到一起才能得出结论并做出决策，比如对于交通灯的控制以及其他决策等。

云上视觉智能五要素
1.算法
2.平台，我们所需要处理的数据量是非常大的，所以背后必须有一个高效率的计算平台才能处理这些数据。
3.数据，数据是必须有的，现在的数据也会越来越多，而且在使用的过程中，数据也在源源不断地产生。
4.用户，用户一方面是数据和技术的使用者，另一方面也是数据的产生者。
5.商业，商业是事物的生命力，没有商业，事物的发展也不会长久。

一、视觉大数据技术和应用方向

视觉计算技术方向
在技术方向大概可以分为如下5个方向：
1.视频图像分析识别，简单而言就是“认”。
2.视觉搜索，也就是“找”。
3.视频图像生成，也就是“攒”。
4.视频大数据挖掘，也就是“挖”。
5.大规模视觉计算平台，也就是“台”，需要建立在通用平台之上的适用于视觉大数据的平台。

视觉计算应用方向

在业务方向大概可以分为如下4个：
1.视频监控分析
2.图像视频搜索
3.视频数据生成
4.视觉数据挖掘

接下来进入案例的分享。阿里云将所有的视觉信息处理汇总到一起，产生了阿里云眼，这也是阿里云所有技术汇总的一个品牌。阿里云眼实际上也就是大数据平台上的一个智能视觉计算中心，承载云上广泛、深入的视频图像分析、识别、搜索、生成和挖掘服务。

二、阿里云眼应用实例

接下来从七个方面的应用进行分享。

1.城市之眼

顾名思义，城市之眼也就是城市的眼睛，什么意思呢？也就是把城市中产生的所有的视觉数据进行分析、识别以及索引，有了这些信息就可以产生很多有意思的功能，当然这些数据的分析都是由机器来完成的，所以大家不必担心数据隐私问题。

比如交通视频而言，有视频数据分析的技术在背后，可以根据视频对车辆进行检测、跟踪以及识别，基于此可以做很多很有意思的事情。

那么面对如此海量的由摄像头采集到的视频数据，该如何进行处理呢？其实在这背后必须要有大的计算平台进行支撑，而且这个平台需要适合于视觉数据处理，下图展现的就是基于ODPS或者现在称之为MaxCompute的阿里云离线计算平台，在此之上我们做了基于视觉计算的流程，使得其能够将大量的视频图像数据导入进来并进行高效处理。还有一些应用场景下，视频数据是实时的，比如像刚才提到的交通的数据。

刚才提到的平台处理的是离线的数据，那么视频实时数据怎么处理呢?其实同样也会有相应的计算平台，在实时处理的时候除了数据量和系统的容错性还要有时间上的依赖性。这个平台就建立在StreamCompute这个平台上，可以来处理时间上的相关性，使得时间上流的计算变得比较方便也能够支持空间领域，多个摄像头之间的实时协同，所以在实际应用中可以既看时间点以前的数据，又能看摄像头周围的所有摄像头的数据，从而做出综合的决策。

接下来分享一下城市之眼上的应用：禁左策略。禁左是因为车辆在左转的时候往往会挡住对面直行的车流，阻碍交通。所以禁左策略在一些情况下可以改善交通情况。但是给不该禁左呢？该如何去禁左呢？这些都不是简单的问题。可以通过实时的视频数据分析，给车辆的左转时间长短以及是否需要禁左，做出合理的决策。

2.数字记忆

之前谈到的数据往往不是我们自己产生的，接下来分享的数据来源是我们自身。看一看在这里面能玩出什么名堂。

对于个人的数据，其实在阿里云的存储系统OSS上，视频数据和图像的数据都占了一半，所以数据量是非常大的。对于这部分数据该如何处理呢？有没有很好的技术、平台以及系统能够将这些数据重新唤醒。我们为什么要拍照呢，其实往往是为了留下体验和经历，希望和别人分享。若果我们能使用平台建立起容易分享和浏览、编辑的功能，这些数据就会被激活，同时还可能带来一些商业价值，比方说如何赏心悦目地加入广告。

要进行这样的处理，首先要进行打标签，我们图片的内容种类很多，这方面其实技术上比较困难。目前阿里云正在做一些配套的机制，使得我们几乎可以识别任何东西。任意的东西听起来比较悬，但是其实是有条件的，第一这个东西必须是视觉可以识别的，有一定视觉上的特征。第二是可以从互联网上找到训练数据。第三就是有这样的一套系统可以自动挖掘互联网上的数据建立模型，进行识别。

在分享时可以直接分享，也可以变化一下再分享，阿里云眼的风格画其实很好玩的，大家可以试试。

3.商品搜素

在日常生活中，我们在朋友圈往往会看到一些想买的商品，但是不知道具体是什么品牌，这时候就需要进行图片的商品搜索了。比方阿里的拍立淘就能解决这样的问题。

4.体育视频

体育视频其实是一个比较老的题目，之前曾经火过一段时间。随着近几年深度学习的兴起以及视频数据量的增加，体育视频再一次成为了热点。现在的视频分析要求具有自动性，比方说通过视频在球场上判断什么时候进球了，什么时候传球失误了等等。其应用就是在对视频打标以后可以产生视频集锦，以及对于个人数据进行分析，对于教练的训练也会有很大帮助。