如何简单理解正则化

  统计/机器学习 数据降维    浏览次数: 727
0

可以从几何意义来理解这一类的问题?可以从哪几方面理解的

 

kevin_wu   2017-11-21 16:56



   4个回答 
3

从模型复杂度来理解的话,正则化就是奥卡姆剃刀

正则化是奥卡姆剃刀的具体实现,在保持预测能力相当时,降低模型复杂度


SofaSofa数据科学社区 DS面经 问答 实战

花生糖   2017-11-21 22:10

2

正则化是指,在待优化的目标函数中,加入对函数参数解空间(w,b)的惩罚,从而一定程度上约束模型的复杂度,从而使得学得的模型在具有predictive power的同时,并不会过度拟合。

从数学方面简单理解,你可以画L1-norm和L2-norm的二维图像,可以观察到分别是菱形和圆形的取值空间,而argminloss求出来的最优解(w,b)在二维图像上表现为等高线,等高线上的点就是argminloss的解,从而我们希望最优解也落在施加约束后解空间上,所以等高线会和约束后的解空间寻求交点,从而找到最优解。

只能以文字语言讲述啦!希望共同进步!

SofaSofa数据科学社区 DS面经 问答 实战

qchaos   2019-02-22 01:00

1

从数学来讲,相当于给你的损失函数之后再加了一项代表模型复杂度的项,不同的正则化方式有不同的模型复杂度的表征方式(比如L1,L2),这样你的模型在训练的时候,除了考虑本身的损失函数,还要去尝试优化模型复杂度这一项,最终得到的结果是损失函数和模型复杂的一个trade-off,降低了过拟合的风险/

SofaSofa数据科学社区 DS面经 问答 实战

tianjiayang0711   2018-08-23 12:45

0

正则化就是金融中的对冲。

SofaSofa数据科学社区 DS面经 问答 实战

quentin   2019-02-14 11:07

此话怎讲? - maxroot   2019-02-14 11:08
假设持有一家公司的大量股票,也就是看多这家公司,但是最近大环境不好,跌跌不休。这个时候你不想卖出股票,但是想降低跌更多的风险,那就可以在买入这家公司股票(买多)的同时买空这家公司。这样一来,当股价下跌时你买的股票是跌的,但是你买空的部分却是有收益的,所以当股票下跌时你的损失就不会那么大,当然了股票上涨你的收益也没那么多。这就是在对冲你买股票(看多)所产生的风险。同理,正则化就是对冲模型的高复杂度所产生的风险——过拟合,也就是做空复杂度。 - quentin   2019-02-18 18:08


  相关主题

L1正则化和L2正则化的区别?L1为啥具有稀疏性?   5回答

L1范数回归与TV正则化哪个的回归效果更好?   1回答

最小角回归是天然的LASSO化?正则化参数怎么体现?   3回答

L0 norm 正则是什么意思?   1回答

正则项里的L1,L2是什么意思?   1回答

为什么正则项通常都是用L1或者L2,而不是其他的?   2回答

Lasso和岭回归的正则项包含截距(常数项)吗?   2回答

XGBoost损失函数中正则项的理解   1回答

无监督学习(比如K Means)里怎么加正则项来防止过拟合   3回答

线下训练集和测试集防过拟合   1回答

为什么过拟合不好?   8回答

训练集加入噪声防止over fitting还是加剧overfitting?   3回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!