leakyRELU和pRELU的公式都是
如果 x < 0：f(x) = ax
如果 x >= 0：f(x) = x
感觉它们两个完全等价吧，那为什么又会有两个不同的名字呢
2个回答
并不完全等价，leakyrelu的a是固定的， prelu可以看作是leakyrelu的一个变体，a是根据网络训练得到的，而非预先定义的。
SofaSofa数据科学社区DS面试题库 DS面经
zlsama
2019-06-23 19:54
两个激活函数都是对RELU的进一步推广。
对于LeakyRELU，$f(x)=\alpha x$中的是固定的，是模型训练前提前设定的。
对于pRELU，$f(x)=\alpha x$中的是未知的，是模型训练中得到的。
更简洁一点说，LeakyRELU中$\alpha$是超参，pRELU中$\alpha$是参数。（两者的区别看这里hyperparameter与parameter）
SofaSofa数据科学社区DS面试题库 DS面经
LiShanfei
2019-06-27 07:20
相关主题
怎么理解神经网络中的激活函数hard sigmoid？
1回答
环境激活报错求解
0回答
如果特征都是非负的，那么用RELU作为激活函数还有意义吗？
2回答
多项式网络(polynomial networks)的结构和激活函数？
0回答
softmin是什么激活函数？
3回答
sigmoid, tanh, arctan这几个激活函数为什么长这么像？
1回答
如果y的范围是-1到1之间，网络输出层的激活函数应该是tanh还是linear？
1回答
LeakyReLu是什么意思？
1回答
我们谢绝在回答前讲“生动”的故事。
我们谢绝“这么简单，你自己想”、“书上有的，你认真看”这类的回答；如果你认为对方的提问方式或者内容不妥，你可以直接忽略该问题，不用进行任何作答，甚至可以对该问题投反对票。
我们谢绝答非所问。
我们谢绝自己不会、硬要回答。
我们感激每一个用户在编写答案时的努力与付出！