leakyRELU和pRELU的公式都是
如果 x < 0：f(x) = ax
如果 x >= 0：f(x) = x
感觉它们两个完全等价吧，那为什么又会有两个不同的名字呢
2个回答
并不完全等价，leakyrelu的a是固定的， prelu可以看作是leakyrelu的一个变体，a是根据网络训练得到的，而非预先定义的。
SofaSofa数据科学社区DS面试题库 DS面经
zlsama
2019-06-23 19:54
两个激活函数都是对RELU的进一步推广。
对于LeakyRELU，$f(x)=\alpha x$中的是固定的，是模型训练前提前设定的。
对于pRELU，$f(x)=\alpha x$中的是未知的，是模型训练中得到的。
更简洁一点说，LeakyRELU中$\alpha$是超参，pRELU中$\alpha$是参数。（两者的区别看这里hyperparameter与parameter）
SofaSofa数据科学社区DS面试题库 DS面经
LiShanfei
2019-06-27 07:20
相关讨论
随便看看