用SGD计算逻辑回归时的迭代公式是什么?

  统计/机器学习 回归分析 监督式学习 损失函数    浏览次数:5348        分享
0

SGD的公式如下,alpha后面的是在xi, yi点的损失函数的梯度


但是具体对于逻辑回归来说,迭代公式是什么?也就是说逻辑回归损失函数的梯度应该是什么?

 

huanx8t   2018-07-27 17:20



   2个回答 
5

$\triangledown _{\theta }J( \theta;x_{i},y_{i})$

=$-\frac{\partial }{\partial \theta}(y_{i}log(h_{ \theta}(x_{i}))+(1-y_{i})log(1-h_{ \theta}(x_{i})))$ (交叉熵损失)

=$-\frac{y_i}{h_{ \theta}(x_i)}\frac{\partial h_{ \theta}(x_i)}{\partial \theta}+\frac{1-y_i}{1-h_{ \theta}(x_i)}\frac{\partial h_{\theta}(x_i))}{\partial \theta}$ 

=$-\frac{y_i}{h_{\theta}(x_i)}h_{\theta}(x_i)(1-h_{\theta}(x_i)))x_i+\frac{1-y_i}{1-h_{\theta}(x_i)}h_{\theta}(x_i)(1-h_{\theta}(x_i))x_i$(sigmoid的导数公式)

=$-y_i(1-h_{\theta}(x_i))x_i)+(1-y_i)h_{\theta}(x_i)x_i$

=$-y_ix_i+y_ih_{\theta}(x_i)x_i+h_{\theta}(x_i)x_i1y_ih_{\theta}(x_i)x_i$

=$(h_{\theta}(x_i)-y)x_i$

SofaSofa数据科学社区DS面试题库 DS面经

nobodyoo1   2018-07-29 16:24

4

第$j$个coefficient update的公式

$$\theta_j:=\theta_j - \alpha (h_\theta(x^r) - y^r)x^r_j$$

$h_\theta(x^r)$是当前模型对某个随机样本$x^r$的预测值,$x^r_j$是第$r$个样本中第$j$个变量


写成向量的形式就是

$$\theta:=\theta - \alpha (h_\theta(x^r) - y^r)x^r$$

SofaSofa数据科学社区DS面试题库 DS面经

GuoLinhui   2018-07-27 23:53



  相关讨论

逻辑回归的损失函数是怎么来的

LR中若标签为+1和-1,损失函数如何推导,求大佬解答

泊松回归(poission regression)的损失函数是什么?

huber loss是什么?什么时候用?

线性回归梯度下降函数微分推导疑惑

最小二乘回归和线性回归

python里有没有huber loss的线性回归

logloss的取值范围是多少?一般好的分类器能达到多少?

Hamming Loss汉明损失的计算公式是什么?

怎么理解surrogate loss function代理损失函数?

  随便看看

特征归一化对K Means有影响吗?

协方差矩阵一定是满秩的吗?

分类变量,进行One hot编码,维度升高,如何处理?

行数很多的pandas DataFrame如何在jupyter中完整显示?

yolo v4和yolo v3的主要区别是什么?