坐标下降法和最小角回归求取L1范数正则化问题时的优劣?

  统计/机器学习 回归分析 监督式学习 开放问题    浏览次数:698        分享
0

坐标下降法和最小角回归(经过修正)都能用于处理L1范数正则化的问题,那么这两个方法在计算效率上哪个更高呢?

另外,由于严格意义上坐标下降法对于不可微的凸函数是不一定能获得全局最优解的,在这个意义上来说,是不是说利用坐标下降法求解L1范数正则化问题得到的结果相较于最小角回归得到的结果可信度更不高呢?

 

CE_PAUL   2019-02-24 22:05



   1个回答 
1

从工程地角度说,sklearn里的LASSO默认是用坐标下降法。官方文档看这里。我猜测是坐标下降更快。

但是sklearn也提供了基于最小角回归的实现。

你可以自己比较一下:sklearn.linear_model.Lassosklearn.linear_model.Lars

SofaSofa数据科学社区DS面试题库 DS面经

Josh_Josh   2019-02-24 22:57

多谢多谢 - CE_PAUL   2019-02-25 08:58


  相关主题

tsne被忽视?tsne有什么缺点?   2回答

kNN算法有哪些缺点?   6回答

二阶优化算法比一阶的优化算法比有什么优缺点?   2回答

最小角回归是天然的LASSO化?正则化参数怎么体现?   3回答

如何理解“迭代步骤本身就是一个正则化的过程”   2回答

正则项里的L1,L2是什么意思?   1回答

L1范数回归与TV正则化哪个的回归效果更好?   1回答

L1正则化和L2正则化的区别?L1为啥具有稀疏性?   5回答

为什么正则项通常都是用L1或者L2,而不是其他的?   2回答

L0 norm 正则是什么意思?   2回答

Lasso和岭回归的正则项包含截距(常数项)吗?   2回答

如何简单理解正则化   4回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!