sigmoid, tanh, arctan这几个激活函数为什么长这么像?

  统计/机器学习 人工神经网络    浏览次数:10870        分享
2

sigmoid, tanh, arctan这几个激活函数为什么长这么像?

它们是等价的吗?或者只是一个平移的关系吗?

 

huanx8t   2018-10-27 13:01



   1个回答 
9

它们都是S型的。

$\text{arctan}(x)$的范围是$(-\frac{\pi}{2}, \frac{\pi}{2})$

$\text{tanh}(x)$的范围是$(-1, 1)$

$\text{sigmoid}(x)$的范围是$(0, 1)$

如果我们通过平移、缩放把它们的范围都限制在$(-1, 1)$,再对比一下,发现它们也没有重合

其实$\text{tanh}(x)$和$\text{sigmoid}(x)$还是有伸缩的关系,因为

$$\text{tanh}(x)=\frac{1-e^{-2x}}{1+e^{-2x}}=\frac{2}{1+e^{-2x}}-\frac{1+e^{-2x}}{1+e^{-2x}}=2\text{sigmoid}(2x)-1$$

SofaSofa数据科学社区DS面试题库 DS面经

东布东   2018-10-28 05:06

谢谢大佬 - huanx8t   2018-11-01 21:39
涨知识了 - 1point3acres   2022-04-07 00:15


  相关讨论

怎么理解所谓的dying relu?

如果特征都是非负的,那么用RELU作为激活函数还有意义吗?

激活函数multi-sigmoid和softmax有什么区别?

激活函数RELU在0点的导数是多少?

purelin激活函数是什么?

激活函数leakyRELU和pRELU的区别是什么?

怎么理解神经网络中的激活函数hard sigmoid?

softmin是什么激活函数?

elu激活函数是什么?

LeakyReLu是什么意思?

  随便看看

pip install opencv-python失败,难道非要编译安装?

pandas把一列日期转换为星期

lightgbm.LGBMModel和lightgbm.LGBMClassifier该用哪个?

sklearn SGDClassifier的partial_fit是什么意思?

python里清除已经定义过的变量