如果特征都是非负的,那么用RELU作为激活函数还有意义吗?

  统计/机器学习 人工神经网络    浏览次数:4007        分享
0

在用神经网络训练的时候,如果训练集里的特征的数值都是非负的,那么用RELU作为激活函数还有意义吗?

是不是和没有激活函数的效果一样的?

 

一棵海草   2018-08-03 22:21



   2个回答 
5

激活函数的输入是$x^Tw$,$w$是网络参数,可正可负;$x$是输入,全为正。明显$x^Tw$的范围是实数,ReLU肯定有用。


SofaSofa数据科学社区DS面试题库 DS面经

Zealing   2018-08-04 10:08

3

当然不是,relu的输入时特征和参数相乘,参数矩阵一般给到随机值作为初始,所以输入是正是负不可知,但肯定有正有负;就算特征全正,参数一开始给全1矩阵,也会在梯度下降过程调参也有可能把参数调参成负值来拟合模型;只有在非常特殊的情况下,relu表现和无激活函数一样;这种情况也许都不一定要使用高级神经网络

SofaSofa数据科学社区DS面试题库 DS面经

ausar109   2018-08-09 05:24



  相关主题

elu激活函数是什么?   1回答

softmin是什么激活函数?   3回答

激活函数multi-sigmoid和softmax有什么区别?   0回答

环境激活报错求解   0回答

swish激活函数的公式是什么?   2回答

如果y的范围是-1到1之间,网络输出层的激活函数应该是tanh还是linear?   1回答

激活函数RELU在0点的导数是多少?   3回答

有没有最新的Pycharm2019专业版激活码   0回答

怎么理解所谓的dying relu?   1回答

sigmoid, tanh, arctan这几个激活函数为什么长这么像?   1回答

purelin激活函数是什么?   1回答

激活函数leakyRELU和pRELU的区别是什么?   2回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!