LeakyReLu是什么意思?

  统计/机器学习 人工神经网络    浏览次数: 294
2

神经网络中的激活函数Leaky RELu作为激活函数是什么意思?


 

擒贼先擒鱼   2017-11-13 08:45



   1个回答 
5

LeakyReLU这种激活函数被称作泄露修正线性单元,有点类似于普通的ReLU。


ReLU的公式是

$$f(x) = \begin{cases}x, \text{ if }x>0\\ 0, \text{ if }x \leq 0\end{cases}$$

画成图就是这个样子


Leaky ReLU是长这样的

$$f(x) = \begin{cases}x, \text{ if }x>0\\ \lambda x, \text{ if }x \leq 0\end{cases}$$

其中$\lambda$是Leaky ReLU的参数,一般是预先设定好的,在0到1的范围之内。

下图是$\lambda = 0.2$的例子


LeakyReLU小于0的部分,也是非0的,所以称为“泄漏”。


高代兄   2017-11-14 09:15



  相关主题

elu激活函数是什么?   1回答

keras中怎么增加Leaky relu的激活层   1回答

神经网络里每层的激活函数必须是一样的吗?   1回答

人工神经网络有哪些常用的激活函数?   2回答

多项式网络(polynomial networks)的结构和激活函数?   0回答

激活函数ReLU和Sigmoid的优劣对比   4回答

反向传播(BP)神经网络和前馈神经网络是一回事吗   1回答

怎么在keras中加载MNSIT数据集?   2回答

感知机和逻辑回归的关系   2回答

sklearn模块有神经网络的类可以调用吗?   1回答

图像分割的深度学习训练,把数据库格式从jpg改成png之后报错如图,求解。   1回答

神经网络中的Dropout和Bagging   1回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!