logit函数和sigmoid函数是什么关系?

  统计/机器学习 监督式学习 人工神经网络    浏览次数:840        分享
0

logit函数和sigmoid函数是什么关系?感觉在logistics regression里是logit,在深度学习里是sigmoid,不知道我理解的对不对。

 

robin_he   2019-05-02 11:16



   2个回答 
8

logit和sigmoid是互为反函数的关系。逻辑回归里的sigmoid和深度学习里的sigmoid是一回事。

$$\text{logit}(x)=\log\frac{x}{1-x}$$

对上面的式子求反函数,得到

$$x=\frac{1}{1+e^{-\text{logit}(x)}}$$

这个就等价于sigmoid

$$\text{sigmoid}(x)=\frac{1}{1+e^{-x}}$$

本质上是因为逻辑回归可以写成

$$\text{logit}(p)=ax+b$$

或者

$$p=\text{sigmoid}(ax+b)$$

所以很明显,它们是互为反函数

SofaSofa数据科学社区DS面试题库 DS面经

zl_pku   2019-05-05 13:26

3

logit和sigmoid是反函数的关系。画图就可以看出来了,因为它们关于$y=x$对称。

生成上面图像的代码如下:

import numpy as np
import matplotlib.pyplot as plt

def logit(x):
    return np.log(x/(1-x))

def sigmoid(x):
    return 1/(1+np.exp(-x))


x1 = np.linspace(0.001, 0.999, 10000)
y1 = logit(x1)

x2 = np.linspace(-7, 7, 100000)
y2 = sigmoid(x2)

plt.figure(figsize=(6, 6))
plt.axis('equal')
plt.plot(x1, y1, label='logit')
plt.plot(x2, y2, label='sigmoid')
plt.plot([-8, 8], [-8, 8], color='r', ls='--')
plt.legend()
plt.show()
SofaSofa数据科学社区DS面试题库 DS面经

Willyd   2019-05-30 14:36



  相关主题

BP神经网络的疑问   1回答

什么叫成本函数?它的作用是什么?   1回答

为什么最大值池化比均值池化好(更常用)?   1回答

反向传播(BP)神经网络和前馈神经网络是一回事吗   1回答

为什么神经网络模型需要大量的样本?   1回答

常提到的LeNet是什么意思?   2回答

感知机和逻辑回归的关系   2回答

pytorch里的new_ones有什么用?   2回答

關於pytorch cnn輸出層。   2回答

pytorch里view(-1, 1)什么意思?   1回答

二分类神经网络模型还需要进行概率校正(probability calibration)吗   1回答

用神经网络做二元分类,输出层用Sigmoid还是Softmax?   3回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!