李宏毅深度学习笔记（九）BP(Back propagation)神经网络计算详解（手算）
这里我用一个实例来实现以下BP神经网络计算的过程：这个实例中输入x1=1x_1=1x1=1，x2=−1x_2=-1x2=−1，输出y=0.5y=0.5y=0.5，w1w_1w1到w6w_6w6为参数。先通过上述模型计算出各个神经元的输入与输出：构造损失函数，这里我们使用交叉熵损失函数C=−y^lnyC=-\hat ylnyC=−y^lny接下来用反向传播来求解偏导数：到这一...
·
这里我用一个实例来实现以下BP神经网络计算的过程：
这个实例中输入x1=1x_1=1x1=1，x2=−1x_2=-1x2=−1，输出y=0.5y=0.5y=0.5，w1w_1w1到w6w_6w6为参数。
先通过上述模型计算出各个神经元的输入与输出：
构造损失函数，这里我们使用交叉熵损失函数C=−ylny^C=-yln\hat yC=−ylny^，yyy为标签值，y^\hat yy^为计算出来的值。
接下来用反向传播来求解偏导数：
到这一步我们已经求出了各个参数的偏导数了，下一步就是更新参数了，我们设学习率η\etaη为0.6
可以看到更新参数之后算得的y^′\hat y'y^′比原来的y^\hat yy^更接近0.5了，接下来只要按照上述的步骤一遍一遍进行操作就可以了。结束更新的操作可以是循环了k次或者y^\hat yy^与yyy之间的距离足够小。
腾讯云面向开发者汇聚海量精品云计算使用和开发经验，营造开放的云计算技术生态圈。
更多推荐
14
0- 0
已为社区贡献4条内容
所有评论(0)