机器学习:神经网络矩阵形式,向量形式,矩阵求导
·
文章目录
神经网络向量形式:
y
=
w
T
.
x
+
b
y = w^T . x +b
y=wT.x+b
这只是一个样本的处理,行向量点乘列向量。而我们实际操作使用的是矩阵形式。
神经网络矩阵形式:

矩阵形式X放在前面,所以都是x.dot(),我们使用numoy处理都是使用矩阵。
神经网络损失函数:

求导:
求导前准备:
以下非常重要要当做基本公式使用.
公式1:

公式2:

公式3:

求解析解:


使用三个公式



感知机求∂L/∂w:

使用公式1

感知机求∂L/∂w1,∂L/∂w2:
∂L/∂w2使用公式1,∂L/∂w1使用公式1和反向传递的误差

附录:方便查寻找使用
想要完成新的任务,掌握矩阵求导必不可少。
一般处理AX型:

处理A.TA/X型:

处理AB/X型:

处理ABCX型:

处理A.T/X.T型:

更多推荐
所有评论(0)