机器学习基石笔记:12 Nonlinear Transformation

原文地址:https://www.jianshu.com/p/11c00e290c22

一、二次假设

实际上线性假设的模型复杂度是受到限制的,需要高次假设打破这个限制。

机器学习基石笔记:12 Nonlinear Transformation

假设数据不是线性可分的,但是可以被一个圆心在原点的圆分开,需要我们重新设计基于该圆的PLA等算法吗?

机器学习基石笔记:12 Nonlinear Transformation

不用,只需要通过非线性转换将\(X\)域圆形可分变为\(Z\)域线性可分!

机器学习基石笔记:12 Nonlinear Transformation
机器学习基石笔记:12 Nonlinear Transformation
机器学习基石笔记:12 Nonlinear Transformation

二、非线性转换

机器学习基石笔记:12 Nonlinear Transformation
机器学习基石笔记:12 Nonlinear Transformation
机器学习基石笔记:12 Nonlinear Transformation

三、非线性转换的代价

计算/存储代价:次数越高,代价越大。

机器学习基石笔记:12 Nonlinear Transformation

模型复杂度代价:次数越高,代价越大。

机器学习基石笔记:12 Nonlinear Transformation

高次假设能使样本内代价更小;低次假设能保证泛化误差更小。

机器学习基石笔记:12 Nonlinear Transformation

可视化数据后再选择:
一是数据维度高时难以可视化;
二是可视化后再选择实际上人脑里产生的模型复杂度代价并没有算进去,加上后实际代价不一定很低。

机器学习基石笔记:12 Nonlinear Transformation

四、结构化假设集

低次假设集合是包含在高次假设集合中的。

机器学习基石笔记:12 Nonlinear Transformation
机器学习基石笔记:12 Nonlinear Transformation

先线性模型,效果不好的话,再使用更高次的模型。

机器学习基石笔记:12 Nonlinear Transformation

上一篇:2.单例模式


下一篇:Chap04——Nonlinear Programming Concepts Algorithms and Application to Chemical Process