视觉生产技术

一、定义和分类

定义：通过一个/一系列视觉过程，产出新的视觉表达
产出：人或机器 能够感知的图像视频，而不是标签和物证
要求：新的和输入的不一样
分类：从0到1
拓展：从1到N
摘要：从N到1
升维：从An到An+1

增强/变换：从A到B
插入/合成：A+B=C
擦除：A-B=C

通用基础框架
输入(请求 Request)
生产类型（分发 Dispatch）
视觉生产引擎（服务Service）
输出 图像/视频/3D（响应Response）
五个关键维度
1、满足视觉/美学表现｛可看｝
2、合乎语义/内容逻辑｛合理｝
3、保证结果的丰富性｛多样｝
4、提供用户预期的抓手｛可控｝
5、带来用户/商业价格｛可用｝

二、精细理解-寻微入里

1、识别 知道是什么

2、检测 识别+知道在哪儿

3、分割： 识别+检测+知道每一个像素是什么

分割抠图-难点
复杂背景、遮挡、发丝精抠、边缘反色、透明材质、多尺度/目标

分割抠图-解题思路
1、复杂问题拆解：粗mask估计+精准matting
2、丰富数据样本：设计图像mask统一模型

分割抠图-模型框架
1、mask粗分割
2、mask质量统一
3、估计精确alpha

分割抠图-效果展示

分割抠图-人像抠图拓展

分割抠图-物体抠图拓展
细节部分处理

分割抠图-场景抠图拓展

3、视觉生成-从无到有

视觉生成-鹿班
平面图像设计生成
鹿班是视觉生成领域在业界落地的先行者，对外提供大规模在线的AI设计服务；
视觉生成——框架流程

视觉生成-鹿班电商设计
照图生图：参考原图，将风格、布局等信息学习并迁移到目标数据上；
个性化设计：多元化设计风格，结合商品品类、投放场景、目标客群的差异设计订制化设计

视觉生成-鹿班场景智能美工

鹿班在各行业中的应用
视频、娱乐、母婴等

视觉生成-AlibabaWood

视频生成-框架流程

视觉生成-视频封面

可以对视频内容全自动完成质量审核、内容分析与图像增强，输出多帧静止或动图。
图像增强：在内容理解的基础上裁剪或组合。
内容分析：基于深度学习的语义分析，根据吸引力挑选内容。
质量审核：根据模糊、爆光等因素过滤低质图像。

4、视觉编辑-移花接木

视觉编辑-视频植入
挖掘视频核心价值：扩展广告爆光渠道，创新广告形式，提升用户体验。 电视剧植入

扩大植入覆盖范围 ：自动化批量处理视频内容，挖掘海量短视频、UGC内容等的广告价值，扩大植入内容的覆盖面。电影植入

提升植入效果效率：取代手工后期，缩短植入周期，降低人力成本，给广告招商留出充足时间，且不需要修改与流出媒资。综艺植入

考虑各个环节细节

视觉编辑-动态检测分割
自动检测到要处理的部分

视觉编辑-视频内容擦除
相关实用技术 ：字幕擦除、台标擦除、广告擦除、场景文字擦除、人体擦除
核心挑战与亮点 粗定位、精分割、像素填充、在线训练

视觉编辑-文字擦除
去掉后期字幕 去掉原生文字
提升视频效果
视觉编辑-Logo擦除
视频某边角的平台Logo 擦除，
去掉广告 （区域大，标识无限）
去掉台标（标识有限）

视觉编辑-画幅变化
主体检测分割+背景拉伸+背景补全+智能构图裁剪+超分辨率=多保留50%有效画面；

视觉编辑-图像尺寸变化

5、视觉增强-修旧如新

视觉增强-视频增强

视觉增强-人脸修复增强
人脸是最重要的目标对象，对人像进行细节修复增强，有很重要的意义和价值。如提升清晰度

视觉增强-视频超分
整体提高视频分辨率

视觉增强-视频插帧

视觉增强-HDR色彩扩展
提升色彩 透亮

视觉增强-风格迁移

视觉迁移-颜色拓展

6、视觉制造-由虚入实

实体设计制造

视觉制造-核心编辑

视觉制造-包装几何生成

视觉制造-材质工艺

视觉制造-视觉迁移及融合

视觉制造-多样化拓展

视觉制造-2D3D融合

7、视频智能开放平台-万剑归宗

官网：vision.aliyun.com

通过以上的内容对视觉已经有了初步的认知
每天进步一点点！