神经网络中的激活函数Leaky RELu作为激活函数是什么意思?
1个回答
LeakyReLU这种激活函数被称作泄露修正线性单元,有点类似于普通的ReLU。
ReLU的公式是
$$f(x) = \begin{cases}x, \text{ if }x>0\\ 0, \text{ if }x \leq 0\end{cases}$$
画成图就是这个样子
Leaky ReLU是长这样的
$$f(x) = \begin{cases}x, \text{ if }x>0\\ \lambda x, \text{ if }x \leq 0\end{cases}$$
其中$\lambda$是Leaky ReLU的参数,一般是预先设定好的,在0到1的范围之内。
下图是$\lambda = 0.2$的例子
LeakyReLU小于0的部分,也是非0的,所以称为“泄漏”。
相关主题
softmin是什么激活函数?
3回答
激活函数multi-sigmoid和softmax有什么区别?
0回答
sigmoid, tanh, arctan这几个激活函数为什么长这么像?
1回答
purelin激活函数是什么?
1回答
如果特征都是非负的,那么用RELU作为激活函数还有意义吗?
2回答
多项式网络(polynomial networks)的结构和激活函数?
0回答
环境激活报错求解
0回答
我们谢绝在回答前讲“生动”的故事。
我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。
我们谢绝答非所问。
我们谢绝自己不会、硬要回答。
我们感激每一个用户在编写答案时的努力与付出!