视觉生产技术探索与应用

• 视觉生产定义

​ 视觉生产定义，分为两类视觉理解和视觉产生，视觉理解就是常见的检测，分割，而视觉产生可以理解为如何产生视觉，即通过一个、一系列视觉过程，产出新的视觉表达。在这里的产出，指的是和输入不一样的人或机器能感知到的视频，而不是标签或特征。

​ 视觉生产有以下分类，生成，拓展，摘要，升维，增强/变换，插入合成，擦除

• 视觉生产通用基础框架

• 视觉生产的五个维度

1.满足视觉/美学表现（可看）

2.合乎语义/内容逻辑（合理）

3.保证结果的丰富性（多样）

4.提供用户预期的抓手（可控）

5.带来商业价值和用户（可用）

• 精细理解

1.识别：知道是什么

2.理解：再识别基础上知道位置信息

3.分割：在前两步的基础上知道没一个像素是什么（难点：复杂背景，遮挡，发丝精扣，边缘反色，透明材质，多尺度/目标）

思路1.复杂问题拆解：超mask估计+精准matting

​ 2.丰富数据样本：设计图像mask统一模型

• 视觉生成流程
  

• 短视频流程

• 视觉编辑

主要是对于视频进行增删改查，来优化用户的体验，应用主要如下：

• 视觉增强

• 视觉制造

• 阿里云智能开放平台