Relu的变种

softplus/softrelu

  softplus 是对 ReLU 的平滑逼近的解析函数形式。
  softplus的公式:
  f(x)=ln(1+e^x)

Relu与PRelu

在这里插入图片描述
  ai是增加的参数,ai=0;为ReLU,若ai取很小的固定值,则为leaky ReLU,这个激活函数可以修正ReLU频繁出现神经元die的情形,至于哪种更好没有定论。

Logo

腾讯云面向开发者汇聚海量精品云计算使用和开发经验,营造开放的云计算技术生态圈。

更多推荐