LeakyReLu是什么意思?

  统计/机器学习 人工神经网络    浏览次数:11112        分享
2

神经网络中的激活函数Leaky RELu作为激活函数是什么意思?


 

擒贼先擒鱼   2017-11-13 08:45



   1个回答 
8

LeakyReLU这种激活函数被称作泄露修正线性单元,有点类似于普通的ReLU。


ReLU的公式是

$$f(x) = \begin{cases}x, \text{ if }x>0\\ 0, \text{ if }x \leq 0\end{cases}$$

画成图就是这个样子


Leaky ReLU是长这样的

$$f(x) = \begin{cases}x, \text{ if }x>0\\ \lambda x, \text{ if }x \leq 0\end{cases}$$

其中$\lambda$是Leaky ReLU的参数,一般是预先设定好的,在0到1的范围之内。

下图是$\lambda = 0.2$的例子


LeakyReLU小于0的部分,也是非0的,所以称为“泄漏”。


SofaSofa数据科学社区DS面试题库 DS面经

高代兄   2017-11-14 09:15

对于一个ReLU,如果输入全小于0时,所有通过这个ReLU的梯度都是0,也就是说这个Neuron死掉了(die)。特别在网络初始化就死掉,也没机会活过来了。有个解决办法是在初始化bias时,给一个正数,比如3。 为了解决这个问题,才有LeakyReLU。Neuron不会死掉,只会梯度可能很小,还是有活过来的机会。 - Zealing   2018-07-11 12:28


  相关主题

softmin是什么激活函数?   3回答

激活函数multi-sigmoid和softmax有什么区别?   0回答

sigmoid, tanh, arctan这几个激活函数为什么长这么像?   1回答

purelin激活函数是什么?   1回答

如果特征都是非负的,那么用RELU作为激活函数还有意义吗?   2回答

多项式网络(polynomial networks)的结构和激活函数?   0回答

环境激活报错求解   0回答

人工神经网络有哪些常用的激活函数?   4回答

如果y的范围是-1到1之间,网络输出层的激活函数应该是tanh还是linear?   1回答

有没有最新的Pycharm2019专业版激活码   0回答

怎么理解所谓的dying relu?   1回答

激活函数leakyRELU和pRELU的区别是什么?   2回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!