11年it研发经验,从一个会计转行为算法工程师,学过C#,c++,java,android,php,go,js,python,CNN神经网络,四千多篇博文,三千多篇原创,只为与你分享,共同成长,一起进步,关注我,给你分享更多干货知识!
谷歌最新提出无需卷积、注意力 ,纯MLP构成的视觉架构
论文链接:https://arxiv.org/pdf/2105.01601.pdf
代码链接:https://github.com/google-research/vision_transformer
香港科技大学李铎同学的pytorch版的复现:https://github.com/d-li14/mlp-mixer.pytorch
这是pytorch的代码,加上了测试脚本
model size 70.96 m
import torch
import torch.nn as nn
class MlpBlock(nn.Module):
def __init__(self, hidden_dim, mlp_dim):
super(MlpBlock, self).__init__()
self.mlp = nn.Sequential(
nn.Linear(hidden_dim, mlp_dim),
nn.GELU(),
nn.Linear(mlp_dim, hidden_dim)