关于卷积神经网络
·
卷积神经网络CNNs 为什么要用relu作为激活函数？
relu激活函数的优势： （1）反向传播时，可以避免梯度消失。 （2）Relu会使一部分神经元的输出为0，这样就造成了网络的稀疏性，并且减少了参数的相互依存关系， （3）相对于sigmoid激活函数，tanh激活函数，求导简单。
缺点：训练时候很“脆弱”，很容易“die” （学习率如果设置地过大或者梯度过大，会使得当前得到的W为负值，然后y=Wx+b,导致得到的y是负值，也就是会使得激活函数的输入为负值，那么ReLu的输出为0，也就是该神经元有可能不会被任何数据激活。当然， 权值也不会被更新）
为什么使用pooling？
1. 减少参数和计算量
2. 微小位移不变性
3.防止过拟合
腾讯云面向开发者汇聚海量精品云计算使用和开发经验，营造开放的云计算技术生态圈。
更多推荐
0
0- 0
已为社区贡献4条内容
所有评论(0)