激活函数leakyRELU和pRELU的区别是什么?

  统计/机器学习 人工神经网络    浏览次数:4895        分享
1

leakyRELU和pRELU的公式都是

如果 x <   0:f(x) = ax

如果 x >= 0:f(x) = x

感觉它们两个完全等价吧,那为什么又会有两个不同的名字呢

 

cv菜鸟   2019-06-21 23:11



   2个回答 
8

并不完全等价,leakyrelu的a是固定的, prelu可以看作是leakyrelu的一个变体,a是根据网络训练得到的,而非预先定义的。

SofaSofa数据科学社区DS面试题库 DS面经

zlsama   2019-06-23 19:54

4

两个激活函数都是对RELU的进一步推广。

对于LeakyRELU,$f(x)=\alpha x$中的是固定的,是模型训练前提前设定的。

对于pRELU,$f(x)=\alpha x$中的是未知的,是模型训练中得到的。

更简洁一点说,LeakyRELU中$\alpha$是超参,pRELU中$\alpha$是参数。(两者的区别看这里hyperparameter与parameter

SofaSofa数据科学社区DS面试题库 DS面经

LiShanfei   2019-06-27 07:20



  相关主题

怎么理解所谓的dying relu?   1回答

怎么理解神经网络中的激活函数hard sigmoid?   1回答

环境激活报错求解   0回答

如果特征都是非负的,那么用RELU作为激活函数还有意义吗?   2回答

多项式网络(polynomial networks)的结构和激活函数?   0回答

softmin是什么激活函数?   3回答

神经网络里每层的激活函数必须是一样的吗?   1回答

sigmoid, tanh, arctan这几个激活函数为什么长这么像?   1回答

有没有最新的Pycharm2019专业版激活码   0回答

如果y的范围是-1到1之间,网络输出层的激活函数应该是tanh还是linear?   1回答

LeakyReLu是什么意思?   1回答

激活函数multi-sigmoid和softmax有什么区别?   0回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!