李宏毅机器学习第一次作业

1. 什么是机器学习？

略

2. 中心极限定理、正态分布、最大似然估计

略

3. 线性回归 Loss Function 推导

4. 损失函数和凸函数之间的关系

损失函数，即判断这个网络性能的函数，表示为L(a,y)

5. 全局最优和局部最优

全局最优，理解为整个的最优化，局部最优，找到一个某个范围的最优化参数

6. 导数、泰勒展开

略

7. 梯度下降及python 实现

参考问题3

8. L2-Norm、L1-Norm、L0-Norm

L0范数是指向量中非0的元素的个数
L1范数是指向量中各个元素绝对值之和，又称曼哈顿距离
L2范数: ||W||2。就是欧几里德距离

9. 正则化

L2正则化，预防过拟合，减少方差