model = Net()
conv_params = list(map(id,model.conv1.parameters())) #提出前两个卷积层存放参数的地址
conv_params += list(map(id,model.conv2.parameters()))
prelu_params = []
for m in model.modules(): #找到Prelu的参数
if isinstance(m, nn.PReLU):
prelu_params += m.parameters()
#假象网络比我写的很大，还有一部分参数，这部分参数使用另一个学习率
rest_params = filter(lambda x:id(x) not in conv_params+list(map(id,prelu_params)),model.parameters()) #提出剩下的参数
print(list(rest_params))
'''
>> [] #是空的，因为我举的例子没其他参数了
'''
import torch.optim as optim
optimizer = optim.Adam([{'params':model.conv1.parameters(),'lr':0.2},
{'params':model.conv2.parameters(),'lr':0.2},
{'params':prelu_params,'lr':0.02},
{'params':rest_params,'lr':0.3}
])
ShellCollector
发布了2608 篇原创文章 · 获赞 920 · 访问量 505万+
他的留言板
关注