如果特征都是非负的,那么用RELU作为激活函数还有意义吗?

  统计/机器学习 人工神经网络    浏览次数: 226
0

在用神经网络训练的时候,如果训练集里的特征的数值都是非负的,那么用RELU作为激活函数还有意义吗?

是不是和没有激活函数的效果一样的?

 

一棵海草   2018-08-03 22:21



   2个回答 
5

激活函数的输入是$x^Tw$,$w$是网络参数,可正可负;$x$是输入,全为正。明显$x^Tw$的范围是实数,ReLU肯定有用。


Zealing   2018-08-04 10:08

3

当然不是,relu的输入时特征和参数相乘,参数矩阵一般给到随机值作为初始,所以输入是正是负不可知,但肯定有正有负;就算特征全正,参数一开始给全1矩阵,也会在梯度下降过程调参也有可能把参数调参成负值来拟合模型;只有在非常特殊的情况下,relu表现和无激活函数一样;这种情况也许都不一定要使用高级神经网络

ausar109   2018-08-09 05:24



  相关主题

LeakyReLu是什么意思?   1回答

elu激活函数是什么?   1回答

怎么理解神经网络中的激活函数hard sigmoid?   1回答

keras中怎么增加Leaky relu的激活层   1回答

人工神经网络有哪些常用的激活函数?   3回答

多项式网络(polynomial networks)的结构和激活函数?   0回答

神经网络里每层的激活函数必须是一样的吗?   1回答

激活函数ReLU和Sigmoid的优劣对比   4回答

反向传播(BP)神经网络和前馈神经网络是一回事吗   1回答

什么叫成本函数?它的作用是什么?   1回答

怎么在keras中加载MNSIT数据集?   2回答

如何理解神经网络的Universal approximation theorem?   1回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!