深度学习——最常见的三种激活函数

1 tanh激活函数

1.1 函数原型

$$tanh(x)=\frac{e^x-e^{-x}}{e^x+e^{-x}}$$

1.2 函数图像

1.3 函数导数

$$tan{h}^{\prime }(x)=1-tan{h}^2(x)$$

1.4 代码实现

import numpy as np
def tanh(x):
    return (np.exp(x)-np.exp(-x))/(np.exp(x)+np.exp(-x))

2 Sigmoid激活函数

2.1 函数原型

$$sigmoid(x)=\frac{1}{1+e^{-x}}$$

2.2 函数图像

图像来源：https://www.jianshu.com/p/ebde8a644e25

2.3 函数导数

$$sigmoi{d}^{\prime }(x)=sigmoid(x)\ast (1-sigmoid(x))$$

2.4 代码实现

def sigmoid(x):
	return 1/(1+exp(-x))

3 Relu激活函数

3.1 函数原型

$$Relu(x)=max(0,x)$$

3.2 函数图像

3.3 函数导数

R e l u ′ ( x ) = { 0 ， x < = 0 1 ， x > 0 Relu'(x)=\{ \begin{matrix} 0，x<= 0\\ 1，x > 0 \end{matrix} Relu′(x)={0，x<=01，x>0​

3.4 代码实现

def relu(x):
	return (np.abs(x) + x) / 2.0