logit和sigmoid是互为反函数的关系。逻辑回归里的sigmoid和深度学习里的sigmoid是一回事。

$$\text{logit}(x)=\log\frac{x}{1-x}$$

对上面的式子求反函数，得到

$$x=\frac{1}{1+e^{-\text{logit}(x)}}$$

这个就等价于sigmoid

$$\text{sigmoid}(x)=\frac{1}{1+e^{-x}}$$

本质上是因为逻辑回归可以写成

$$\text{logit}(p)=ax+b$$

或者

$$p=\text{sigmoid}(ax+b)$$

所以很明显，它们是互为反函数

logit和sigmoid是反函数的关系。画图就可以看出来了，因为它们关于$y=x$对称。

生成上面图像的代码如下：

import numpy as np
import matplotlib.pyplot as plt

def logit(x):
    return np.log(x/(1-x))

def sigmoid(x):
    return 1/(1+np.exp(-x))


x1 = np.linspace(0.001, 0.999, 10000)
y1 = logit(x1)

x2 = np.linspace(-7, 7, 100000)
y2 = sigmoid(x2)

plt.figure(figsize=(6, 6))
plt.axis('equal')
plt.plot(x1, y1, label='logit')
plt.plot(x2, y2, label='sigmoid')
plt.plot([-8, 8], [-8, 8], color='r', ls='--')
plt.legend()
plt.show()