sigmoid, tanh, arctan这几个激活函数为什么长这么像？

它们都是S型的。

$\text{arctan}(x)$的范围是$(-\frac{\pi}{2}, \frac{\pi}{2})$

$\text{tanh}(x)$的范围是$(-1, 1)$

$\text{sigmoid}(x)$的范围是$(0, 1)$

如果我们通过平移、缩放把它们的范围都限制在$(-1, 1)$，再对比一下，发现它们也没有重合

其实$\text{tanh}(x)$和$\text{sigmoid}(x)$还是有伸缩的关系，因为

$$\text{tanh}(x)=\frac{1-e^{-2x}}{1+e^{-2x}}=\frac{2}{1+e^{-2x}}-\frac{1+e^{-2x}}{1+e^{-2x}}=2\text{sigmoid}(2x)-1$$