LeakyReLu是什么意思？-SofaSofa

神经网络中的激活函数Leaky RELu作为激活函数是什么意思？

擒贼先擒鱼 2017-11-13 08:45

1个回答

LeakyReLU这种激活函数被称作泄露修正线性单元，有点类似于普通的ReLU。

ReLU的公式是

$$f(x) = \begin{cases}x, \text{ if }x>0\\ 0, \text{ if }x \leq 0\end{cases}$$

画成图就是这个样子

Leaky ReLU是长这样的

$$f(x) = \begin{cases}x, \text{ if }x>0\\ \lambda x, \text{ if }x \leq 0\end{cases}$$

其中$\lambda$是Leaky ReLU的参数，一般是预先设定好的，在0到1的范围之内。

下图是$\lambda = 0.2$的例子

LeakyReLU小于0的部分，也是非0的，所以称为“泄漏”。

SofaSofa数据科学社区 DS面试题库 DS面经

高代兄 2017-11-14 09:15

对于一个ReLU，如果输入全小于0时，所有通过这个ReLU的梯度都是0，也就是说这个Neuron死掉了（die）。特别在网络初始化就死掉，也没机会活过来了。有个解决办法是在初始化bias时，给一个正数，比如3。为了解决这个问题，才有LeakyReLU。Neuron不会死掉，只会梯度可能很小，还是有活过来的机会。 - Zealing 2018-07-11 12:28

LeakyReLu是什么意思？

Warning

1个回答

Warning