1. 模型构建
1.1 继承nn.Module
该方法是最常用的方法,一个nn.Module
应该包含一些层及返回前向传播方法的输出值
from torch import nn
class LinearNet(nn.Module):
def __init__(self, n_feature):
super(LinearNet, self).__init__()
self.linear = nn.Linear(n_feature, 1)
def forward(self, x):
y = self.linear(x)
return y
net = LinearNet(num_inputs)
# 打印网络结构
print(net)
输出
LinearNet(
(linear): Linear(in_features=2, out_features=1, bias=True)
)
查看nn.Linear
源码,最重要的两部分如下:
def __init__(self, in_features: int, out_features: int, bias: bool = True) -> None:
super(Linear, self).__init__()
self.in_features = in_features
self.out_features = out_features
self.weight = Parameter(torch.Tensor(out_features, in_features))
if bias:
self.bias = Parameter(torch.Tensor(out_features))
else:
self.register_parameter('bias', None)
self.reset_parameters()
def forward(self, input: Tensor) -> Tensor:
return F.linear(input, self.weight, self.bias)
从源码中可以看出,我们输入的是【输入特征维数】和【输出特征维数】对应代码self.linear = nn.Linear(n_feature, 1)
,然后根据这两个维数在__init__
函数中初始化权重参数和偏置权重,最后在前向函数中将我们的输入与权重矩阵做乘法得到输出。
1.2 使用nn.Sequential()方法
该方法有以下几种方式:
方式1
net = nn.Sequential(nn.Linear(num_inputs, 1)
# 还可添加其他层
)
方式2
net = nn.Sequential()
net.add_module("linear", nn.Linear(num_inputs, 1))
# net.add_module...继续添加模块
方式3
from collections import OrderedDict
net = nn.Sequential(OrderedDict([("linear", nn.Linear(num_inputs, 1))
# (....)
]))
2. 初始化模型参数
在构建模型中,有时模型参数不需要初始化,因为很多都已经随机初始化过了,如果想重新初始化成一定的分布,可以按照如下方式进行:
from torch.nn import init
# 对于1.1中继承nn.Module的方式,按如下方式初始化
init.normal_(net.linear.weight, mean=0, std=0.01)
init.constant_(net.linear.bias, val=0)
# 对于1.2中使用nn.Sequential(),按如下方式
init.normal_(net[0].weight, mean=0, std=0)
init.constant_(net[0].bias, val=0)
想要打印训练后的参数值和上面的方法类似
print("weight:", net.linear.weight)