如何简单理解正则化

从模型复杂度来理解的话，正则化就是奥卡姆剃刀

正则化是奥卡姆剃刀的具体实现，在保持预测能力相当时，降低模型复杂度

正则化是指，在待优化的目标函数中，加入对函数参数解空间（w，b）的惩罚，从而一定程度上约束模型的复杂度，从而使得学得的模型在具有predictive power的同时，并不会过度拟合。

从数学方面简单理解，你可以画L1-norm和L2-norm的二维图像，可以观察到分别是菱形和圆形的取值空间，而argminloss求出来的最优解（w，b）在二维图像上表现为等高线，等高线上的点就是argminloss的解，从而我们希望最优解也落在施加约束后解空间上，所以等高线会和约束后的解空间寻求交点，从而找到最优解。

只能以文字语言讲述啦！希望共同进步！

从数学来讲，相当于给你的损失函数之后再加了一项代表模型复杂度的项，不同的正则化方式有不同的模型复杂度的表征方式（比如L1,L2），这样你的模型在训练的时候，除了考虑本身的损失函数，还要去尝试优化模型复杂度这一项，最终得到的结果是损失函数和模型复杂的一个trade-off，降低了过拟合的风险/

正则化就是金融中的对冲。