elu激活函数是什么？

  统计/机器学习 人工神经网络    浏览次数： 520
  机器学习面试也能刷题？
2

elu激活函数是什么？听说过relu，不知道elu这个是什么意思。


 

cyh   2018-03-27 10:46


   1个回答 
7

elu和relu很相似。大于0的时候，是恒等函数；不过小于0的时候，就是一个指数函数-1的形式。elu就是exponential linear unit。

外国一个网站上看到的插图，描述的就是elu

蓝色是elu，红色是relu

对比relu，elu的好处就是让负输入值也能返回一些信息，而且elu能让整体的输出值的均值在0附近，更robust。



姜金杰   2018-03-29 11:26

这个图挺有意思啊 - kidd23   2018-03-29 11:34


  相关主题

如果特征都是非负的，那么用RELU作为激活函数还有意义吗？   2回答

LeakyReLu是什么意思？   1回答

keras中怎么增加Leaky relu的激活层   1回答

怎么理解神经网络中的激活函数hard sigmoid？   1回答

人工神经网络有哪些常用的激活函数？   3回答

多项式网络(polynomial networks)的结构和激活函数？   0回答

神经网络里每层的激活函数必须是一样的吗？   1回答

激活函数ReLU和Sigmoid的优劣对比   4回答

什么叫成本函数？它的作用是什么？   1回答

反向传播(BP)神经网络和前馈神经网络是一回事吗   1回答

怎么在keras中加载MNSIT数据集？   2回答

如何理解神经网络的Universal approximation theorem？   1回答

回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单，你自己想”、“书上有的，你认真看”这类的回答；如果你认为对方的提问方式或者内容不妥，你可以直接忽略该问题，不用进行任何作答，甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出！