线性回归的变量归一化的问题

  统计/机器学习 回归分析 监督式学习 数据预处理    浏览次数: 842
0

我在看吴恩达的网上课程,上面说线性回归一般有两种解法,一种是利用随机梯度下降方法、一种是利用矩阵的正规解法。

为什么第一种方法的时候需要对特征进行归一化处理?然后用矩阵解的时候却不需要?

最后它们的结果会是一样的吗?


 

yukio   2018-02-19 10:16



   1个回答 
2

随机梯度下降之所以要标准化或者归一化,是为了加速收敛、提高它的计算效率。而解矩阵这种解法是不需要这种迭代计算的,所以不要进行归一化。

是否归一化只是优化上的考虑,和模型的表现没有什么关系。

从结果上来说,我们期望它们是一样的,但是实际上会不大一样,因为SGD是具有随机性的,所以回归模型的参数自然具有随机性。


SofaSofa数据科学社区 DS面经 问答 实战

Marvin_THU   2018-02-26 10:24



  相关主题

对进行回归分析之前,如何处理不同类型的变量?   1回答

statsmodels里的ols怎么处理分类变量?   1回答

对于数值型变量模型怎么知道是连续变量还是离散变量?   2回答

数据一样,y却不一样的样本该怎么处理?   2回答

dummy variable是n个还是n-1个   2回答

什么时候需要对y或者特征进行对数变换?   1回答

在训练前数据处理的时候,怎么剔除异常值?   2回答

在数据预处理阶段,特征的标准化有哪些方法?   1回答

z-score标准化不适用于处理什么样的数据?   1回答

python中怎么把千位分隔符以及货币符号去掉转成数值形式?   1回答

怎麼將dataframe 欄位 對應到原有的csv檔 而寫入   1回答

怎么把dataframe的一列转成整数类型   2回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!