神经网络中的激活函数Leaky RELu作为激活函数是什么意思？
1个回答
LeakyReLU这种激活函数被称作泄露修正线性单元，有点类似于普通的ReLU。
ReLU的公式是
$$f(x) = \begin{cases}x, \text{ if }x>0\\ 0, \text{ if }x \leq 0\end{cases}$$
画成图就是这个样子
Leaky ReLU是长这样的
$$f(x) = \begin{cases}x, \text{ if }x>0\\ \lambda x, \text{ if }x \leq 0\end{cases}$$
其中$\lambda$是Leaky ReLU的参数，一般是预先设定好的，在0到1的范围之内。
下图是$\lambda = 0.2$的例子
LeakyReLU小于0的部分，也是非0的，所以称为“泄漏”。
高代兄
2017-11-14 09:15
相关主题
怎么理解神经网络中的激活函数hard sigmoid？
1回答
如果特征都是非负的，那么用RELU作为激活函数还有意义吗？
2回答
elu激活函数是什么？
1回答
多项式网络(polynomial networks)的结构和激活函数？
0回答
什么叫成本函数？它的作用是什么？
1回答
我们谢绝在回答前讲“生动”的故事。
我们谢绝“这么简单，你自己想”、“书上有的，你认真看”这类的回答；如果你认为对方的提问方式或者内容不妥，你可以直接忽略该问题，不用进行任何作答，甚至可以对该问题投反对票。
我们谢绝答非所问。
我们谢绝自己不会、硬要回答。
我们感激每一个用户在编写答案时的努力与付出！
