《Andrew Ng深度学习》笔记2

神经网络基础

1.图计算

《Andrew Ng深度学习》笔记2

计算时有两种方法:正向传播和反向传播。正向传播是从底层到顶层的计算过程,逐步推出所求公式。反向传播是从顶层到底层,从已知的式子求出因变量的影响关系。

在这里用到的反向传播算法就是为了通过似然函数(成本函数)来确定要计算的参数。

《Andrew Ng深度学习》笔记2

在这里,logistic回归应用了反向传播,主要是为了方便梯度下降算法的计算,来逐次逼近w和b。通过图片看到,反向传播其实就是微积分里的“链式法则”。这块可能要补补微积分才能更深入学习。这里先跳过,反正是明白了logistic回归中的梯度下降应用了反向传播计算。

2.向量化

《Andrew Ng深度学习》笔记2

向量化的目的是加快计算速度。避免for之类的循环,消耗性能。在python中,使用np.function()函数实现向量化。

通过向量方式的形式表达,可以简化计算,比如使用Python中的numpy库,针对这些计算可以简化为1行代码,减少for之类的循环编写,简化计算。说到这里,很有必要深入学学python。

3.Python中numpy的应用

《Andrew Ng深度学习》笔记2

这里只是Python对向量化操作的一个例子,详细是在numpy库中,里面的函数主要是为了矩阵等计算,方便代码开发,加快速度。

Python中向量化的实质是,会把R变为向量化(SMID 并行多数据流),主要是把变量变为广播形式。

《Andrew Ng深度学习》笔记2

在logistic回归中,上图左边是一般的计算流程,右边是经过向量化后的计算流程,很明显减少for循环,只要是用到了numpy库里的函数。

但是在实际中药用好numpy库的向量化,里面有一些坑。在行向量和列向量求和应该是出错的,但是在python的numpy库中会得到一个矩阵。所以在使用时要小心谨慎。

上一篇:Andrew Ng - 深度学习工程师 - Part 1. 神经网络和深度学习(Week 1. 深度学习概论)


下一篇:《Andrew Ng深度学习》笔记5