sigmoid, tanh, arctan这几个激活函数为什么长这么像?

  统计/机器学习 人工神经网络    浏览次数:7186        分享
0

sigmoid, tanh, arctan这几个激活函数为什么长这么像?

它们是等价的吗?或者只是一个平移的关系吗?

 

huanx8t   2018-10-27 13:01



   1个回答 
5

它们都是S型的。

$\text{arctan}(x)$的范围是$(-\frac{\pi}{2}, \frac{\pi}{2})$

$\text{tanh}(x)$的范围是$(-1, 1)$

$\text{sigmoid}(x)$的范围是$(0, 1)$

如果我们通过平移、缩放把它们的范围都限制在$(-1, 1)$,再对比一下,发现它们也没有重合

其实$\text{tanh}(x)$和$\text{sigmoid}(x)$还是有伸缩的关系,因为

$$\text{tanh}(x)=\frac{1-e^{-2x}}{1+e^{-2x}}=\frac{2}{1+e^{-2x}}-\frac{1+e^{-2x}}{1+e^{-2x}}=2\text{sigmoid}(2x)-1$$

SofaSofa数据科学社区DS面试题库 DS面经

东布东   2018-10-28 05:06

谢谢大佬 - huanx8t   2018-11-01 21:39


  相关主题

激活函数leakyRELU和pRELU的区别是什么?   2回答

如果特征都是非负的,那么用RELU作为激活函数还有意义吗?   2回答

怎么理解神经网络中的激活函数hard sigmoid?   1回答

elu激活函数是什么?   1回答

如果y的范围是-1到1之间,网络输出层的激活函数应该是tanh还是linear?   1回答

人工神经网络有哪些常用的激活函数?   4回答

LeakyReLu是什么意思?   1回答

激活函数RELU在0点的导数是多少?   3回答

softmin是什么激活函数?   3回答

purelin激活函数是什么?   1回答

神经网络里每层的激活函数必须是一样的吗?   1回答

激活函数multi-sigmoid和softmax有什么区别?   1回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!