sigmoid, tanh, arctan这几个激活函数为什么长这么像?

  统计/机器学习 人工神经网络    浏览次数: 290
0

sigmoid, tanh, arctan这几个激活函数为什么长这么像?

它们是等价的吗?或者只是一个平移的关系吗?

 

huanx8t   2018-10-27 13:01



   1个回答 
4

它们都是S型的。

$\text{arctan}(x)$的范围是$(-\frac{\pi}{2}, \frac{\pi}{2})$

$\text{tanh}(x)$的范围是$(-1, 1)$

$\text{sigmoid}(x)$的范围是$(0, 1)$

如果我们通过平移、缩放把它们的范围都限制在$(-1, 1)$,再对比一下,发现它们也没有重合

其实$\text{tanh}(x)$和$\text{sigmoid}(x)$还是有伸缩的关系,因为

$$\text{tanh}(x)=\frac{1-e^{-2x}}{1+e^{-2x}}=\frac{2}{1+e^{-2x}}-\frac{1+e^{-2x}}{1+e^{-2x}}=2\text{sigmoid}(2x)-1$$

SofaSofa数据科学社区 DS面经 问答 实战

东布东   2018-10-28 05:06

谢谢大佬 - huanx8t   2018-11-01 21:39


  相关主题

elu激活函数是什么?   1回答

如果特征都是非负的,那么用RELU作为激活函数还有意义吗?   2回答

怎么理解神经网络中的激活函数hard sigmoid?   1回答

keras中怎么增加Leaky relu的激活层   1回答

LeakyReLu是什么意思?   1回答

多项式网络(polynomial networks)的结构和激活函数?   0回答

人工神经网络有哪些常用的激活函数?   3回答

神经网络里每层的激活函数必须是一样的吗?   1回答

激活函数ReLU和Sigmoid的优劣对比   4回答

反向传播(BP)神经网络和前馈神经网络是一回事吗   1回答

什么叫成本函数?它的作用是什么?   1回答

BP神经网络的疑问   1回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!