https://zhuanlan.zhihu.com/p/71538356

和昨天的那篇U²Net同作者，但是更早一点。

 

 

大多数深度学习方法→在显著性预测时侧重于区域预测→但现在他们创建了一个新的损失函数→也考虑了目标的边界。

显著性预测→我们人类擅长于此→关注给定的图像或视频中的“重要”目标。(但没有很多方法考虑目标的边界)。现在有很多深度学习模型结合了不同的表示方式。

就像U-net方法一样，→内部特征也可以直接使用。

看起来他们的想法是对的 —— 他们的方法确实比其他SOTA方法更好。(大部分方法使用FCN→全卷积网络→有些实际上使用RNN网络进行迭代预测)。

解决这个问题有许多方法，但不知道哪一种是最好的。

这是一个非常有趣的选择。(第一个网络比第二个网络大得多→池化层没有真正使用)。

拼接→内部特性映射→更好的预测。

他们还手工创建了一个细化模块 —— 这类创新并不容易实现。此外，还调整了损失函数，成功地训练了整个网络。

 

边界损失项被添加到二元交叉熵中 —— SSIM也包括在内——这是相当大的。我还不知道这个度量是可微的。IoU 损失也被使用了→许多不同的损失被合并起来→这是我看到越来越多的趋势之一。

这些损失的组合 → 导致更平滑的预测。

损失越多越好？看来他们的情况就是这样：

 

 

 

README.md

BASNet

Code for CVPR 2019 paper 'BASNet: Boundary-Aware Salient Object Detection code', Xuebin Qin, Zichen Zhang, Chenyang Huang, Chao Gao, Masood Dehghan and Martin Jagersand.

Contact: xuebin[at]ualberta[dot]ca

(2020-May-09) NEWS! Our new Salient Object Detection model (U^2-Net), which is just accepted by Pattern Recognition, is available now!

U^2-Net: Going Deeper with Nested U-Structure for Salient Object Detection

Evaluation

Evaluation Code

Required libraries

Python 3.6
numpy 1.15.2
scikit-image 0.14.0
PIL 5.2.0
PyTorch 0.4.0
torchvision 0.2.1
glob

The SSIM loss is adapted from pytorch-ssim.

Usage

1. Clone this repo

git clone https://github.com/NathanUA/BASNet.git

2. Download the pre-trained model basnet.pth from GoogleDrive or baidu extraction code: 6phq, and put it into the dirctory 'saved_models/basnet_bsi/'

3. Cd to the directory 'BASNet', run the training or inference process by command: python basnet_train.py or python basnet_test.py respectively.

We also provide the predicted saliency maps (GoogleDrive,Baidu) for datasets SOD, ECSSD, DUT-OMRON, PASCAL-S, HKU-IS and DUTS-TE.

Architecture

Quantitative Comparison

Qualitative Comparison

Citation

@InProceedings{Qin_2019_CVPR,
author = {Qin, Xuebin and Zhang, Zichen and Huang, Chenyang and Gao, Chao and Dehghan, Masood and Jagersand, Martin},
title = {BASNet: Boundary-Aware Salient Object Detection},
booktitle = {The IEEE Conference on Computer Vision and Pattern Recognition (CVPR)},
month = {June},
year = {2019}
}