Pytorch中使用torch.nn模块进行神经网络模型初步构造

一、torch.nn模块的核心数据结构是Module，可表示神经网络中的某个层（layer）比如全连接层；同时也可表示一个包含很多层（递归的体验）的神经网络比如多层感知机，注意：torch.nn.Module能够顺利用autograd自动实现反向传播，所以无需写和人为使用反向传播函数。

二、首先三层感知机构造模型如下图，然后实现逻辑顺序根据第三个部分的代码中（1）到（11）的顺序进行理解。

三、全连接层和三层感知机代码及结果：

import torch as t
from torch import nn
from torch.autograd import Variable as V
class Linear(nn.Module): # 全连接层，继承父类nn.Module
    def __init__(self,in_features,out_feature): # 初始化 （3）
        nn.Module.__init__(self) # 调用nn.Module的构造函数
        # 可学习的参数w和b封装成Parameter，默认可求导
        self.w = nn.Parameter(t.randn(in_features,out_feature))
        self.b = nn.Parameter(t.randn(out_feature))

    def forward(self,x): # 前向传播1,Parameter类型属于variable类型，所以也可以调用对应的函数 （8） （10）
        x = x.mm(self.w)
        y = x + self.b.expand_as(x)
        return y

class Perceptron(nn.Module): # 三层感知机，三层分别是输入层、隐藏层和输出层
    def __init__(self,in_features,hidden_features,out_features): # 初始化（2）
        nn.Module.__init__(self) # 调用nn.Module的构造函数
        self.layer1 = Linear(in_features,hidden_features) # 全连接层1，调用Linear构建
        self.layer2 = Linear(hidden_features,out_features) # 全连接层2，调用Linear构建

    def forward(self,x): # 前向传播2,Parameter类型属于variable类型 （6）
        x = self.layer1(x) # 相当于调用前向传播1 （7）
        x = t.sigmoid(x) # 激活函数使得取值范围在0到1之间
        # print(x.size())
        return self.layer2(x) # 相当于调用前向传播1 （9）

perceptron = Perceptron(3,4,1) # 梦开始的地方，也就是构建感知机，输入层是3，隐藏层是4，输出层是1  （1）

for name,param in perceptron.named_parameters(): # 每层全连接层的可学习参数w和b的维度 （4）
    print(name,param.size()) # 输出参数维度
input = V(t.randn(2,3)) 

output = perceptron(input) # 相当于调用前向传播2 （5）

print(output) # 输出y （11）