起源

本篇文章来自于百度AIStudio的学习课程，关于神经网络、前向推理、后向传播、后向梯度计算等等的例子。
课程中讲到一个买苹果的例子，然后类比介绍了有关神经网络的相关知识。

基础知识

先普及一下求导的加法法则和链式法则：
假设$z=f(v)+g(v)$， 那么要使$z$对$v$求层，即$\frac{dz}{dv}=\frac{df(v)}{dv}+\frac{df(v)}{dv}$。
假设$z=f(u)$，其中$u=g(v)$，即$z=f(g(v))$。那么要使$z$对$v$求导，即$\frac{\partial z}{\partial v}=\frac{\partial z}{\partial u}\frac{\partial u}{\partial v}$。

图例

1. 购买的项目如苹果、橘子，分别购买的个数，折扣，相当是已知条件，即输入单元，
2. 最后钱包的数，就是你需要给的钱，即输出单元。
3. 中间你需要进行加减乘除运算，相当于神经网络里的运算，即隐藏单元。

单一层神经网络

例子：
假如你想要买两个苹果，苹果每一个100元，所以就你需要花200元，如果商家给你打个9折，所以你最终需要花180元。

如上图所示，我们先计算前向推理：

• 计算2个苹果所要的价钱 $r=a\cdot b=100\cdot 2=200$。
• 计算打9折后所需要多少钱 $t=r\cdot c=200\cdot 0.9=180$。
• 你钱包要掏出多少钱 $z=t=180$。

直接下是反向传播，即计算梯度，即是求导：

• 求倒数一层的梯度，因为 $z=t$， 所以 $$\frac{dz}{dt}=1$$
• 求倒数二层的梯度，因为 $t=r\cdot c$，所以往$r$的方向的梯度为 $$\frac{\partial z}{\partial r}=\frac{\partial z}{\partial t}\frac{\partial t}{\partial r}=\frac{\partial z}{\partial t}\frac{\partial (r\cdot c)}{\partial r}=1\cdot c=0.9$$，往$c$的方向的梯度为 $$\frac{\partial z}{\partial c}=\frac{\partial z}{\partial t}\frac{\partial t}{\partial c}=\frac{\partial z}{\partial t}\frac{\partial (r\cdot c)}{\partial c}=1\cdot r=200$$
• 求倒数三层的梯度，因为 $r=a\cdot b$，所以往$a$的方向的梯度为 $$\frac{\partial z}{\partial a}=\frac{\partial z}{\partial t}\frac{\partial t}{\partial r}\frac{\partial r}{\partial a}=\frac{\partial z}{\partial t}\frac{\partial t}{\partial r}\frac{\partial (a\cdot b)}{\partial a}=1\cdot 0.9\cdot b=1\cdot 0.9\cdot 2=1.8$$，所以往$b$的方向的梯度为 $$\frac{\partial z}{\partial b}=\frac{\partial z}{\partial t}\frac{\partial t}{\partial r}\frac{\partial r}{\partial b}=\frac{\partial z}{\partial t}\frac{\partial t}{\partial r}\frac{\partial (a\cdot b)}{\partial b}=1\cdot 0.9\cdot a=1\cdot 0.9\cdot 100=90$$

多层神经网络

这里以两层隐藏层网络来举例。

如上图所示，我们先计算前向推理：

• 计算2个苹果所要的价钱 $f=a\cdot b=100\cdot 2=200$。
• 计算2个橘子所要的价钱 $g=c\cdot d=50\cdot 3=150$。
• 计算应该要付的价钱 $r=f+g=200+150=350$。
• 计算打8折后所需要多少钱 $t=r\cdot e=350\cdot 0.8=280$。
• 你钱包要掏出多少钱 $z=t=280$。

直接下是反向传播，即计算梯度，即是求导：

• 求倒数一层的梯度，因为 $z=t$， 所以 $$\frac{dz}{dt}=1$$
• 求倒数二层的梯度，因为 $t=r\cdot e$，所以往$r$的方向的梯度为 $$\frac{\partial z}{\partial r}=\frac{\partial z}{\partial t}\frac{\partial t}{\partial r}=\frac{\partial z}{\partial t}\frac{\partial (r\cdot e)}{\partial r}=1\cdot e=0.8$$，往$e$的方向的梯度为 $$\frac{\partial z}{\partial e}=\frac{\partial z}{\partial t}\frac{\partial t}{\partial e}=\frac{\partial z}{\partial t}\frac{\partial r\cdot e}{\partial e}=1\cdot r=350$$
• 求倒数三层的梯度，因为 $r=f+g$，所以往$f$的方向的梯度为 $$\frac{\partial z}{\partial f}=\frac{\partial z}{\partial t}\frac{\partial t}{\partial r}\frac{\partial r}{\partial f}=\frac{\partial z}{\partial t}\frac{\partial t}{\partial r}\frac{\partial (f+g)}{\partial f}=1\cdot 0.8\cdot (1+0)=1\cdot 0.8\cdot 1=0.8$$，所以往$g$的方向的梯度为 $$\frac{\partial z}{\partial g}=\frac{\partial z}{\partial t}\frac{\partial t}{\partial r}\frac{\partial r}{\partial g}=\frac{\partial z}{\partial t}\frac{\partial t}{\partial r}\frac{\partial (f+g)}{\partial g}=1\cdot 0.8\cdot (0+1)=1\cdot 0.8\cdot 1=0.8$$
• 求倒数四层的梯度，因为 $f=a\cdot b$，$g=c\cdot d$，所以往$a$的方向的梯度为 $$\frac{\partial z}{\partial a}=\frac{\partial z}{\partial t}\frac{\partial t}{\partial r}\frac{\partial r}{\partial f}\frac{\partial f}{\partial a}=\frac{\partial z}{\partial t}\frac{\partial t}{\partial r}\frac{\partial (f+g)}{\partial f}\frac{\partial (a\cdot b)}{\partial a}=1\cdot 0.8\cdot (1+0)\cdot b=1\cdot 0.8\cdot 1\cdot 2=1.6$$，所以往$b$的方向的梯度为 $$\frac{\partial z}{\partial b}=\frac{\partial z}{\partial t}\frac{\partial t}{\partial r}\frac{\partial r}{\partial f}\frac{\partial f}{\partial b}=\frac{\partial z}{\partial t}\frac{\partial t}{\partial r}\frac{\partial (f+g)}{\partial f}\frac{\partial (a\cdot b)}{\partial b}=1\cdot 0.8\cdot (1+0)\cdot a=1\cdot 0.8\cdot 1\cdot 100=80$$，所以往$c$的方向的梯度为 $$\frac{\partial z}{\partial c}=\frac{\partial z}{\partial t}\frac{\partial t}{\partial r}\frac{\partial r}{\partial g}\frac{\partial g}{\partial c}=\frac{\partial z}{\partial t}\frac{\partial t}{\partial r}\frac{\partial (f+g)}{\partial g}\frac{\partial (c\cdot d)}{\partial c}=1\cdot 0.8\cdot (0+1)\cdot d=1\cdot 0.8\cdot 1\cdot 3=2.4$$，所以往$d$的方向的梯度为 $$\frac{\partial z}{\partial d}=\frac{\partial z}{\partial t}\frac{\partial t}{\partial r}\frac{\partial r}{\partial g}\frac{\partial g}{\partial d}=\frac{\partial z}{\partial t}\frac{\partial t}{\partial r}\frac{\partial (f+g)}{\partial g}\frac{\partial (c\cdot d)}{\partial d}=1\cdot 0.8\cdot (0+1)\cdot c=1\cdot 0.8\cdot 1\cdot 50=40$$

以上是我的看法，不知道计算得对不对，请大家指导。