坐标下降法和最小角回归求取L1范数正则化问题时的优劣?

  统计/机器学习 回归分析 监督式学习 开放问题    浏览次数:3708        分享
0

坐标下降法和最小角回归(经过修正)都能用于处理L1范数正则化的问题,那么这两个方法在计算效率上哪个更高呢?

另外,由于严格意义上坐标下降法对于不可微的凸函数是不一定能获得全局最优解的,在这个意义上来说,是不是说利用坐标下降法求解L1范数正则化问题得到的结果相较于最小角回归得到的结果可信度更不高呢?

 

CE_PAUL   2019-02-24 22:05



   1个回答 
2

从工程地角度说,sklearn里的LASSO默认是用坐标下降法。官方文档看这里。我猜测是坐标下降更快。

但是sklearn也提供了基于最小角回归的实现。

你可以自己比较一下:sklearn.linear_model.Lassosklearn.linear_model.Lars

SofaSofa数据科学社区DS面试题库 DS面经

Josh_Josh   2019-02-24 22:57

多谢多谢 - CE_PAUL   2019-02-25 08:58


  相关讨论

最小角回归是天然的LASSO化?正则化参数怎么体现?

为什么正则项通常都是用L1或者L2,而不是其他的?

如何理解“迭代步骤本身就是一个正则化的过程”

L1范数回归与TV正则化哪个的回归效果更好?

kNN算法有哪些缺点?

L0 norm 正则是什么意思?

正则项里的L1,L2是什么意思?

决策树有哪些缺点?

L1正则化和L2正则化的区别?L1为啥具有稀疏性?

Lasso和岭回归的正则项包含截距(常数项)吗?

  随便看看

sklearn模型当中的verbose是什么意思?

numpy里矩阵乘法matmul,@和dot的区别?

sklearn可以用gpu加速吗?

线性回归需要满足哪些基本前提假设

怎么利用permutation importance来解释xgboost模型的特征?