详解机器学习的凸优化、图神经网络、强化学习、贝叶斯方法等四大主题

1. 凸优化部分


凸优化在人工智能领域有着举足轻重的地位,对于模型的训练实际上等同于对模型的优化。我们平时使用的sgd, adam, adagrad, l-bfgs这类算法均属于优化范畴。在AI的应用中,当我们构造了目标函数之后,接下来的工作就是优化部分。那为什么凸优化这么重要呢?设想一下,如果你想设计一个新的模型,或者在原有的模型基础做一些创新,那对于新构造的目标函数,你需要懂得如何去优化,以及用什么样的优化算法才能解出更好的局部最优解。所以,对于想进阶的AI工程师来说,凸优化是必备课,必须要掌握的内容。

课程大纲第一周:凸优化基础学习目标:了解凸优化技术以及应用场景,理解凸优化技术的类别、技术范畴、以及能把凸优化技术跟生活和工作中的问题联系在一起。同时,深入理解线性规划技术,以及它在不同场景中的应用,并能够实现。学习安排- 从优化角度理解机器学习- 凸优化的重要性- 常见的凸优化问题- 线性规划以及Simplex Method- Stochastic LP- P,NP,NPC问题- 案例分析:运输中的优化问题- 案例分析:打车中的优化问题

- 案例分析:投放运营中的优化问题


第二周:凸优化基础学习目标:学习如何识别凸函数和如果判定凸函数,这里会涉及到三种不同的方法以及多个案例讲解。同时,本周能学到二次规划相关的知识,以及能够用二次规划去模拟的实际问题以及求解方式。 学习安排- 如何判断一个集合是凸集- 各类凸集以及证明- 方法1:Prove by Definition- 方法2:First-order Convexity- 方法3:Second-order Convexity- 二次规划问题以及凸函数证明- 最小二乘问题详解

- 案例分析:WDM距离计算- 案例分析:股票投资组合优化问题


第三周:常见的凸优化问题学习目标:学习如何识别凸函数和如果判定凸函数,这里会涉及到三种不同的方法以及多个案例讲解。同时,本周能学到二次规划相关的知识,以及能够用二次规划去模拟的实际问题以及求解方式。 学习安排- 常见的凸优化问题类别- 半正定规划问题(SDP)- 几何规划问题(GP)- 非凸函数的优化方法- 非凸函数的松弛华- 整数规划以及松弛华- 案例分析:Set Cover问题

- 案例分析:Vertex Cover问题- 案例分析:0-1 Knapsack问题- 案例分析:Cutting-stock问题- 案例分析:Max-cut问题


第四周:优化与量化投资学习目标:作为一个案例章节,主要学习优化在量化投资中的应用,同时也学习常见的量化投资策略。这一章的学习一方面可以带来对新的领域的学习,同时也给其他领域的问题提供思路。  学习安排- 量化投资介绍- 如何阅读K线图- 基于规则的量化策略- 基于机器学习模型的量化策略- 基于LP、QP优化的量化策略- Efficient Frontier, Sharp Ratio- 量化平台介绍


第五周:对偶(Duality)学习目标:掌握对偶相关的知识,对偶可以算是优化领域最为经典的一套方法论。学完本部分之后,可以对已有的模型做改进,同时能够灵活做对偶转换。深入理解对偶领域中的Lower Bound Property,KKT条件,Weak Duality等基本理论。一句话,Duality是优化的精华! 学习安排- 拉格朗日对偶函数- 对偶的几何意义- Lower Bound Property- Weak and Strong Duality- KKT条件- LP、QP、SDP的对偶转换- 对偶的一些应用场景- 经典机器学习模型的对偶转换- 案例分析:SVM的完整对偶转换- 案例分析:不同损失函数的分析


第六周:对偶(Duality)学习目标:掌握对偶相关的知识,对偶可以算是优化领域最为经典的一套方法论。学完本部分之后,可以对已有的模型做改进,同时能够灵活做对偶转换。深入理解对偶领域中的Lower Bound Property,KKT条件,Weak Duality等基本理论。一句话,Duality是优化的精华! 学习安排- Gradient Descent- GD的收敛分析- Subgradient Method- Proximal Gradient Descent- Projected Gradient Descent- Stochastic Gradient Descent- Newton's Method- Quasi-Newton Method- L-BFGS- 案例分析:ADMM的分析

- 案例分析:Adadelta, Adam的比较


第七周:优化技术进阶学习目标:掌握其他主流的优化技术,这些都属于比较进阶的内容,需要前面内容的基础。主要掌握Interior Point Method,ADMM等模型。 学习安排- Mirror Ascent- 分布式梯度下降法- Interior Point Method- ADMM方法- Sparsity与优化关系- Combinatorial优化




上一篇:让外卖小哥15分钟训练出AI模型的深思平台,如何让传统企业轻松拥抱AI?


下一篇:23、Python与设计模式--设计原则