Optimization for Data Science学习笔记-8

课程8

是和梯度下降法不同的另一种解决无约束问题的算法——牛顿法

和梯度下降法一样,牛顿法也是寻找导数为0的点,同样是一种迭代法。核心思想是在某点处用二次函数来近似目标函数,得到导数为0的方程,求解该方程,得到下一个迭代点。因为是用二次函数近似,因此可能会有误差,需要反复这样迭代,直到到达导数为0的点处。
参考:https://zhuanlan.zhihu.com/p/37588590
做泰勒展开,得到近似的二次函数

机器学习

classification
binary classification 里perceptron是basiccalculation unit in learning machines
然后就是有multilayer perception networks 有input、hidden、output layer。通过backpropagation algorithm来train
还有 径向基函数网络 RBFN radial basis function networks
参考:https://blog.csdn.net/weixin_42398658/article/details/83215916

支持向量机SVM
泛化 generalization 机器学习需要评估算法的泛化性

参考:https://zhuanlan.zhihu.com/p/37588590
https://blog.csdn.net/weixin_42398658/article/details/83215916

上一篇:Pruning of Deep Spiking Neural Networks through Gradient Rewiring


下一篇:新安装Centos无法联网解决办法