LeakyReLu是什么意思?

  统计/机器学习 人工神经网络    浏览次数: 1262
2

神经网络中的激活函数Leaky RELu作为激活函数是什么意思?


 

擒贼先擒鱼   2017-11-13 08:45



   1个回答 
7

LeakyReLU这种激活函数被称作泄露修正线性单元,有点类似于普通的ReLU。


ReLU的公式是

$$f(x) = \begin{cases}x, \text{ if }x>0\\ 0, \text{ if }x \leq 0\end{cases}$$

画成图就是这个样子


Leaky ReLU是长这样的

$$f(x) = \begin{cases}x, \text{ if }x>0\\ \lambda x, \text{ if }x \leq 0\end{cases}$$

其中$\lambda$是Leaky ReLU的参数,一般是预先设定好的,在0到1的范围之内。

下图是$\lambda = 0.2$的例子


LeakyReLU小于0的部分,也是非0的,所以称为“泄漏”。


SofaSofa数据科学社区 DS面经 问答 实战

高代兄   2017-11-14 09:15

对于一个ReLU,如果输入全小于0时,所有通过这个ReLU的梯度都是0,也就是说这个Neuron死掉了(die)。特别在网络初始化就死掉,也没机会活过来了。有个解决办法是在初始化bias时,给一个正数,比如3。 为了解决这个问题,才有LeakyReLU。Neuron不会死掉,只会梯度可能很小,还是有活过来的机会。 - Zealing   2018-07-11 12:28


  相关主题

sigmoid, tanh, arctan这几个激活函数为什么长这么像?   1回答

elu激活函数是什么?   1回答

怎么理解神经网络中的激活函数hard sigmoid?   1回答

如果特征都是非负的,那么用RELU作为激活函数还有意义吗?   2回答

keras中怎么增加Leaky relu的激活层   1回答

多项式网络(polynomial networks)的结构和激活函数?   0回答

人工神经网络有哪些常用的激活函数?   3回答

神经网络里每层的激活函数必须是一样的吗?   1回答

激活函数ReLU和Sigmoid的优劣对比   4回答

反向传播(BP)神经网络和前馈神经网络是一回事吗   1回答

BP神经网络的疑问   1回答

什么叫成本函数?它的作用是什么?   1回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!