神经网络与深度学习
文章目录
ReLu function(rectified linear unit)
例如房屋价格总不能是负的
rectified 修正表示的取的都是不小于零的值
sigma函数（取值0~1)
sigma函数和Relu函数都是active function
很明显可以看到 sigma函数在x>0的时候，梯度会逐渐趋近与0
所以Relu函数会使得梯度下降有更快的运算速度
一个基本的神经网络
神经元的核心是找到不同的特征作为输入 通过神经元的计算 得到y 不论训练集有多大
对于一个神经网络 在监督学习的环境下 我们给出x 神经网络都可以帮我们将其映射成为y
一个典型的应用
目前的能够创造经济价值的神经网络应用大多都是基于监督学习环境下的，神经网络一个最为典型的应用就是网站的在线广告推送，其能够推送出用户最愿意去点击的广告.
深度学习在监督学习下的主要应用（CNN RNN(适用于一维度序列数据(例如时间序列)) SNN CUSTOM/HYBRID NN）
SNN CNN RNN的表示图
监督学习下的数据分类
神经网络使得计算机能够更好地理解非结构化数据（人类生来就有的天赋）
为什么深度学习突然兴起了？？
以前不是数字化社会，很多问题的数据较小，传统的机器学习算法也只能处理不大的数据集.
现在互联网时代，各种数据很多，数据更加容易去收集，而神经网络恰恰是一种需要大数据集的算法，所以神经网络兴起了.
-
投入更多的数据 更大的神经网络 是一种最简单有效提高模型表现的方法
-
图像的左边，各种算法的表现基本相同，是因为在小数据量的情况下，算法的效能基本取决于自己设计的手工组件和一些细节的处理.而只有在大数据集的情况下，各种算法的性能才能够得以被区分开来
深度学习的三要素(Data computation algorithms)
其中algorithms主要的作用是推动computation 也就是计算速度(训练模型速度)的提高
设计深度学习的过程
很多时候，决定神经网络工作效率的关键是我们在实验过程中神经网络的迭代过程
而computation(计算速度)就决定了我们迭代速度的快慢，而迭代速度的快慢就决定了我们是否能够更加高效地对我们的想法进行验证和不断迭代，最终得到一个我们想要的模型.
典型例题集
这道题应该选择AD 正如我在为什么深度学习突然兴起了那里所提到的