LeakyReLu是什么意思？

LeakyReLU这种激活函数被称作泄露修正线性单元，有点类似于普通的ReLU。

ReLU的公式是

$$f(x) = \begin{cases}x, \text{ if }x>0\\ 0, \text{ if }x \leq 0\end{cases}$$

画成图就是这个样子

Leaky ReLU是长这样的

$$f(x) = \begin{cases}x, \text{ if }x>0\\ \lambda x, \text{ if }x \leq 0\end{cases}$$

其中$\lambda$是Leaky ReLU的参数，一般是预先设定好的，在0到1的范围之内。

下图是$\lambda = 0.2$的例子

LeakyReLU小于0的部分，也是非0的，所以称为“泄漏”。