大话深度学习
已经学过的网络结构
Gan
SRgan
DCgan
Cyclegan
Senet
- Squeeze：顺着空间维度进行特征压缩，将每个二维的特征通道变成一个实数，这个实数某种程度上具有全局的感受野，并且输出的维度和输入的特征通道数相匹配；
- Excitation：基于特征通道间的相关性，每个特征通道生成一个权重，用来代表特征通道的重要程度；
- Reweight：将Excitation输出的权重看做每个特征通道的重要性，然后通过乘法逐通道加权到之前的特征上，完成在通道维度上的对原始特征的重标定。
Resnet
Vae
Alexnet
Vgg
Inception v.x
Unet
FCN
SAGAN
- Self Attention GAN自注意力GAN是比较新的GAN，将GAN的效果更上了一层楼；
- Self Attention 自注意力机制能够加强卷积核提取像素之间的关联信息；
- Spectral Normalization 谱归一化是一种新的比较有效的稳定GAN训练的方法，它通过约束判别器D的奇异值矩阵，使D满足1-L条件；
SSPnet
Fast R-CNN
大话视觉：
基础知识
图像的局部信息
- 提取位置：浅层网络中提取局部信息；
- 特点：物体的几何信息比较丰富，对应的感受野较小；
- 目的：有助于分割尺寸较小的目标；
- 有利于提高分割的精确程度
图像的全局信息
- 提取位置：深层网络中提取全局信息；
- 特点：物体的空间信息比较丰富，对应的感受野较大；
- 目的：有助于分割尺寸较大的目标；
- 有利于提高分割的精确程度.
感受野
Receptive field在卷积神经网络中，决定某一层输出结果中一个元素所对应的输入层的区域大小，被称作感受野。通常来说，大感受野的效果要比小感受野的效果更好。由公式可见，stride越大，感受野越大。 但是过大的stride会使feature map保留的信息变少。因此，在减小stride的情况下，如何增大感受野或使其保持不变，称为了分割中的一大问题。\(RF{i+1}\)=\({RF{i}+(KernelSize-1)* Stride}\)。如下图Layer3中的一个各自的感受野为7。
花里胡哨的卷积
Grouped Convolutions、DCN
各种各样的激活方式
ReLU6、Swish、Mish
形色各异的增强方式
Cutout、Mosaic
经典的重量级网络
Inception系列、ResNet系列、RepVGG
灵活的轻量级网络
MobileNet系列、ShuffleNet系列
不同任务的Loss 函数
CE、Focal Loss、DIOU
视觉Transformer
ViT、DeiT等