Disentangled Image Matting阅读笔记

会议:ICCV-2019

概述:

论文认为trimap是粗略的,而之前的模型将trimap作为输入,试图估计一个好的蒙版,存在一个回归问题;

AdaMatting一个新的端到端的图像修复框架,将任务分解为两个子任务 trimap adaptation 和 alpha estimation

trimap adaptation:

一个像素分类问题

alpha estimation:

一个回归问题,计算每一个混合像素的值

1.介绍

输入图像可以被建模为前景与背景颜色的线性组合:

Disentangled Image Matting阅读笔记

 论文认为以前的论文以trimap作为输入,存在不够精确的问题,且一个分类问题不足以解决图像抠图问题,故而将该任务分解为trimap adaptation和alpha estimation

3方法

Disentangled Image Matting阅读笔记

trimap adaptation:

蒙版值代表的含义:

Disentangled Image Matting阅读笔记

根据Disentangled Image Matting阅读笔记 的定义,图像抠图自然可以分为两步:1.决定蒙版像素值是1,0或其他;2.精确计算半透明区域的值

网络概述

有一个编码网络,两个解码网络(分别对应trimap adaptation 和 alpha estimation),一个propagation单元组成

网络以图像与对应的trimap 联合作为输入,首先经过编码网络(ResNet-50)生成特征图,然后经过两个解码网络(由3*3的卷积层和上采样模块组成),trimap解码(T-Decoder)输出3通道的分类图,alpha解码(A-Decoder)输出1通道的蒙版值

多任务自动编码

基于U-Net并加入global convolutions来扩大感受野

propagation单元

由两个ResBlocks和一个LSTM cell组成

损失函数

Disentangled Image Matting阅读笔记

T和 α分别为T-Decoder和A-Decoder的输出,σ1 和 σ2为两个任务的权重参数,LT (交叉熵损失)and Lα(L1正则化损失)分别为trimap解码、alpha解码的损失

Disentangled Image Matting阅读笔记Disentangled Image Matting阅读笔记 来路与归途 发布了112 篇原创文章 · 获赞 22 · 访问量 2万+ 私信 关注
上一篇:Domain Adaptation


下一篇:迁移和域自适应