L0范数是指向量中非0元素的个数

L1范数是向量中各个元素的绝对值求和

L2范数是指向量的各个元素平方求和然后取和的平方根

机器学习的目的是使学习到的模型不仅对已知的数据而且对未知的数据有很好的预测能力，不同的学习方法会给出不同的模型，当损失函数给定的时候，损失函数的模型的训练误差和测试误差就是学习方法优劣的评估标准，机器学习的最终目的是为了让测试误差达到最小，训练误差的大小对判定问题是不是一个容易学习的问题有意义，但本质上是不重要的。在机器学习的过程中，我们希望学习到一个能够很好的解释已知数据，并且十分简单的模型（奥卡姆剃刀(Occam's razor)原理）。

在机器学习模型选择的经典方法是正则化，正则化是结构风险最小的策略的实现，是在经验风险上加一个正则化项或者罚项，正则化项一般是模型复杂度的单调递增函数，模型越复杂，正则化项的值就越大。

我们让结构风险L(w)=经验风险+正则化项，这样我们要让L(w)最小，需要经验风险和正则化项同时都小，这样由正则化项和模型复杂度之间的关系，我们可以有效的防止模型过度复杂，就有效的防止了过拟合。

注：过拟合是指训练误差很小，而测试误差很大的情况，是指学习到的模型能够很好的吻合训练数据，但是却对测试数据的预测效果很差。

对于正则化项的选择，在这篇博文中有详细的讲解，有需要的伙伴可以去详细了解。