用SGD计算逻辑回归时的迭代公式是什么?

  统计/机器学习 回归分析 监督式学习 损失函数    浏览次数: 362
0

SGD的公式如下,alpha后面的是在xi, yi点的损失函数的梯度


但是具体对于逻辑回归来说,迭代公式是什么?也就是说逻辑回归损失函数的梯度应该是什么?

 

huanx8t   2018-07-27 17:20



   2个回答 
4

第$j$个coefficient update的公式

$$\theta_j:=\theta_j - \alpha (h_\theta(x^r) - y^r)x^r_j$$

$h_\theta(x^r)$是当前模型对某个随机样本$x^r$的预测值,$x^r_j$是第$r$个样本中第$j$个变量


写成向量的形式就是

$$\theta:=\theta - \alpha (h_\theta(x^r) - y^r)x^r$$

SofaSofa数据科学社区 DS面经 问答 实战

GuoLinhui   2018-07-27 23:53

3

$\triangledown _{\theta }J( \theta;x_{i},y_{i})$

=$-\frac{\partial }{\partial \theta}(y_{i}log(h_{ \theta}(x_{i}))+(1-y_{i})log(1-h_{ \theta}(x_{i})))$ (交叉熵损失)

=$-\frac{y_i}{h_{ \theta}(x_i)}\frac{\partial h_{ \theta}(x_i)}{\partial \theta}+\frac{1-y_i}{1-h_{ \theta}(x_i)}\frac{\partial h_{\theta}(x_i))}{\partial \theta}$ 

=$-\frac{y_i}{h_{\theta}(x_i)}h_{\theta}(x_i)(1-h_{\theta}(x_i)))x_i+\frac{1-y_i}{1-h_{\theta}(x_i)}h_{\theta}(x_i)(1-h_{\theta}(x_i))x_i$(sigmoid的导数公式)

=$-y_i(1-h_{\theta}(x_i))x_i)+(1-y_i)h_{\theta}(x_i)x_i$

=$-y_ix_i+y_ih_{\theta}(x_i)x_i+h_{\theta}(x_i)x_i1y_ih_{\theta}(x_i)x_i$

=$(h_{\theta}(x_i)-y)x_i$

SofaSofa数据科学社区 DS面经 问答 实战

nobodyoo1   2018-07-29 16:24



  相关主题

LR中若标签为+1和-1,损失函数如何推导,求大佬解答   3回答

逻辑回归的损失函数是怎么来的   2回答

泊松回归(poission regression)的损失函数是什么?   1回答

huber loss是什么?什么时候用?   1回答

最小二乘回归和线性回归   2回答

python里有没有huber loss的线性回归   1回答

二元分类为什么不能用MSE做为损失函数?   6回答

怎么理解surrogate loss function代理损失函数?   2回答

关于损失函数h(x), J(x), cost的概念问题   1回答

Hamming Loss汉明损失的计算公式是什么?   1回答

cross entropy是什么意思?   1回答

如何理解GBDT里面“损失函数的负梯度在当前模型的值,可以作为残差的估计”?   1回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!