可以从几何意义来理解这一类的问题?可以从哪几方面理解的
4个回答
正则化是指,在待优化的目标函数中,加入对函数参数解空间(w,b)的惩罚,从而一定程度上约束模型的复杂度,从而使得学得的模型在具有predictive power的同时,并不会过度拟合。
从数学方面简单理解,你可以画L1-norm和L2-norm的二维图像,可以观察到分别是菱形和圆形的取值空间,而argminloss求出来的最优解(w,b)在二维图像上表现为等高线,等高线上的点就是argminloss的解,从而我们希望最优解也落在施加约束后解空间上,所以等高线会和约束后的解空间寻求交点,从而找到最优解。
只能以文字语言讲述啦!希望共同进步!
SofaSofa数据科学社区 DS面经 问答 实战从数学来讲,相当于给你的损失函数之后再加了一项代表模型复杂度的项,不同的正则化方式有不同的模型复杂度的表征方式(比如L1,L2),这样你的模型在训练的时候,除了考虑本身的损失函数,还要去尝试优化模型复杂度这一项,最终得到的结果是损失函数和模型复杂的一个trade-off,降低了过拟合的风险/
SofaSofa数据科学社区 DS面经 问答 实战正则化就是金融中的对冲。
SofaSofa数据科学社区 DS面经 问答 实战 相关主题
最小角回归是天然的LASSO化?正则化参数怎么体现?
3回答
L0 norm 正则是什么意思?
1回答
正则项里的L1,L2是什么意思?
1回答
无监督学习(比如K Means)里怎么加正则项来防止过拟合
3回答
线下训练集和测试集防过拟合
1回答
为什么过拟合不好?
8回答
我们谢绝在回答前讲“生动”的故事。
我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。
我们谢绝答非所问。
我们谢绝自己不会、硬要回答。
我们感激每一个用户在编写答案时的努力与付出!