elu激活函数是什么?

  统计/机器学习 人工神经网络    浏览次数:5847        分享
2

elu激活函数是什么?听说过relu,不知道elu这个是什么意思。


 

cyh   2018-03-27 10:46



   1个回答 
9

elu和relu很相似。大于0的时候,是恒等函数;不过小于0的时候,就是一个指数函数-1的形式。elu就是exponential linear unit。

外国一个网站上看到的插图,描述的就是elu

蓝色是elu,红色是relu

对比relu,elu的好处就是让负输入值也能返回一些信息,而且elu能让整体的输出值的均值在0附近,更robust。



SofaSofa数据科学社区DS面试题库 DS面经

姜金杰   2018-03-29 11:26

这个图挺有意思啊 - kidd23   2018-03-29 11:34


  相关主题

激活函数RELU在0点的导数是多少?   3回答

softmin是什么激活函数?   3回答

激活函数multi-sigmoid和softmax有什么区别?   0回答

sigmoid, tanh, arctan这几个激活函数为什么长这么像?   1回答

环境激活报错求解   0回答

有没有最新的Pycharm2019专业版激活码   0回答

如果特征都是非负的,那么用RELU作为激活函数还有意义吗?   2回答

多项式网络(polynomial networks)的结构和激活函数?   0回答

神经网络里每层的激活函数必须是一样的吗?   1回答

怎么理解神经网络中的激活函数hard sigmoid?   1回答

如果y的范围是-1到1之间,网络输出层的激活函数应该是tanh还是linear?   1回答

怎么理解所谓的dying relu?   1回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!