LeakyReLu是什么意思?

  统计/机器学习 人工神经网络
1

神经网络中的激活函数Leaky RELu作为激活函数是什么意思?


 

擒贼先擒鱼   2017-11-13 08:45



   1个回答 
4

LeakyReLU这种激活函数被称作泄露修正线性单元,有点类似于普通的ReLU。


ReLU的公式是

$$f(x) = \begin{cases}x, \text{ if }x>0\\ 0, \text{ if }x \leq 0\end{cases}$$

画成图就是这个样子


Leaky ReLU是长这样的

$$f(x) = \begin{cases}x, \text{ if }x>0\\ \lambda x, \text{ if }x \leq 0\end{cases}$$

其中$\lambda$是Leaky ReLU的参数,一般是预先设定好的,在0到1的范围之内。

下图是$\lambda = 0.2$的例子


LeakyReLU小于0的部分,也是非0的,所以称为“泄漏”。


高代兄   2017-11-14 09:15



相关问题

反向传播(BP)神经网络和前馈神经网络是一回事吗   1回答

keras中怎么增加Leaky relu的激活层   1回答

感知机和逻辑回归的关系   0回答

sklearn模块有神经网络的类可以调用吗?   1回答

神经网络中的dense和sparse是什么意思?   2回答

前馈神经网络如何选择隐藏层的数量   2回答

深度学习和人工神经网络是一回事吗?   1回答

神经网络中的Dropout和Bagging   1回答

人工神经网络有哪些常用的激活函数?   2回答

pytorch 的交叉熵损失总是报错,同样的结构改成MSELoss就没有问题   1回答

多项式网络(polynomial networks)的结构和激活函数?   0回答

神经网络中的gradient check是什么意思?   2回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!