Andrew Ng - 深度学习工程师 - Part 1. 神经网络和深度学习(Week 1. 深度学习概论)

 =================第1周 循环序列模型===============

===1.1 欢迎来到深度学习工程师微专业===

  我希望可以培养成千上万的人使用人工智能,去解决真实世界的实际问题,创造一个人工智能驱动的社会。

===1.2 什么是神经网络===

  实际上隐藏节点可能并没有左图那样明确的定义,你让神经网络自己决定这个节点是什么,我们只给你四个输入特征 随便你怎么计算。注意,当我们计算层数的时候,不计算输出层。

Andrew Ng - 深度学习工程师 - Part 1. 神经网络和深度学习(Week 1. 深度学习概论)Andrew Ng - 深度学习工程师 - Part 1. 神经网络和深度学习(Week 1. 深度学习概论)

===1.3 用神经网络进行监督学习===

  And then, for more complex applications, like autonomous driving, where you have an image, that might suggest more of a CNN structure, and radar info which is something quite different. You might end up with a more custom, or some more complex, hybrid neural network architecture.

Andrew Ng - 深度学习工程师 - Part 1. 神经网络和深度学习(Week 1. 深度学习概论)

  结构化数据 意味着每个特征比如说房屋大小、卧房数量等都有着清晰的定义。相反 非结构化数据指的是比如音频、原始音频、图像,where you might want to recognize what's in the image or text.这里的特征 可能是图像中的像素值,or the individual words in a piece of text. 从历史角度看,计算机更难理解非结构化数据。和之前相比,神经网络是计算机可以更好理解这些数据。But it turns out that a lot of short term economic value that NN are creating has also been on structured data, such as much better advertising systems, much better profit recommendations, and just a much better ability to process the giant databases that many companies have to make accurate predictions from them. 在这门课中 我们会学到很多技巧,对于两类数据都适用。

Andrew Ng - 深度学习工程师 - Part 1. 神经网络和深度学习(Week 1. 深度学习概论)

  神经网络改变了监督学习,正在创造巨大的经济价值。其实呢 基本的神经网络背后的技术理念大部分都不是新概念 有些甚至有几十年历史了。那么 为什么它们现在才流行,下节见。

===1.4 为什么深度学习会兴起===

  过去20年,很多应用中我们收集到了大量的数据,远超过传统学习算法能发挥作用的规模。要达到下图中的黑点,至少要亮点,to train a big enough neural network, take advantage of the huge amount of data。提升规模(data and NN)已经让我们在深度学习的世界中获得了大量进展。训练集较小时,各种算法的性能相对排名不是很确定,效果经常会取决于你手工设计的组件。If someone training an SVM,可能是因为手工设计组件很厉害,有些人训练的规模会大一些却没有SVM效果好。对于小训练集,最终的性能 更多取决于手工设计组件的技能以及算法处理方面的一些细节。在数据量足够大时,我们才看到NN稳定地优于其他算法。

Andrew Ng - 深度学习工程师 - Part 1. 神经网络和深度学习(Week 1. 深度学习概论)

  有趣的是 许多算法方面的创新都为了让神经网络运行得更快。举个例子,神经网络方面的一个巨大突破是从sigmoid函数转换到ReLU函数,前者会遇到梯度消失,导致学习得非常慢。还有很多其他算法创新的例子,所带来的影响是是增加计算速度,使得代码运行得更快,这也使得我们 能够训练规模更大的神经网络,或者在合理的时间内完成计算,即使在数据量很大 网络也很大的场合。The other reason that fast computation is important is that it turns out the process of training your network 很多时候是凭直觉的,有了一个idea就去试,因此加快这样的迭代过程是很重要的,能更快地改进你d的想法。

Andrew Ng - 深度学习工程师 - Part 1. 神经网络和深度学习(Week 1. 深度学习概论)

===1.5 关于这门课===

  希望你去完成对应的课堂测试和编程练习,那会很过瘾。

Andrew Ng - 深度学习工程师 - Part 1. 神经网络和深度学习(Week 1. 深度学习概论)

===1.6 课程资源===

  可以去coursera,里面的论坛是一个很好的互相交流学习平台。

上一篇:Andrew Ng - 深度学习工程师 - Part 2. 改善深层神经网络:超参数调试、正则化以及优化(Week 2. 优化算法)


下一篇:《Andrew Ng深度学习》笔记2