人工智能、深度学习领域数学基础

偏导数、方向导数、梯度、微积分

一、偏导数

对于一元函数y=f(x)只存在y随x的变化，但是二元函数z=f(x,y)存在z随x变化的变化率，随y变化的变化率，随x﹑y同时变化的变化率。如下图所示

　　

1、偏导数定义

设函数z=f(x,y)z=f(x,y)在点(x₀,y₀)的某个邻域内有定义，定y=y₀，一元函数f(x0,y0)f(x0,y0)在点x=x₀处可导，即极限limΔx→0f(x0+Δx,y0)−f(x0,y0)Δx=AlimΔx→0f(x0+Δx,y0)−f(x0,y0)Δx=A。

则称A为函数z=f(x,y)z=f(x,y)在点(x₀,y₀)处关于自变量x的偏导数。记作：fx(x0,y0)fx(x0,y0)、∂z∂x∣∣∣x=x0y=y0∂z∂x|x=x0y=y0、∂f∂x∣∣∣x=x0y=y0∂f∂x|x=x0y=y0或者zx∣∣∣x=x0y=y0zx|x=x0y=y0

2、几何意义：

偏导数fx(x0,y0)fx(x0,y0)就是曲面被平面y=y0y=y0所截得的曲线在点M₀处的切线M₀T_x对x轴的斜率，偏导数fy(x0,y0)fy(x0,y0)就是曲面被平面x=x0x=x0所截得的曲线在点M₀处的切线M₀Ty对y轴的斜率。如下图所示

　　

3、例题

求f(x,y)=x2+3xy+y2f(x,y)=x2+3xy+y2在点（1，2）的偏导数。

　　

二、方向导数

1、介绍

在函数定义域的内点，对某一方向求导得到的导数。一般为二元函数和三元函数的方向导数，方向导数可分为沿直线方向和沿曲线方向的方向导数。现在假设如下图所示，有两火苗分别沿x、y轴蔓延，问蚂蚁沿什么方向跑才能存活？

　　

可以很容易想到沿矩形的对角线跑。现在有函数z=f(x,y)z=f(x,y)

　　

可以得出距离|PP′|=ρ=(Δx2)+(Δy2)−−−−−−−−−−−−√|PP′|=ρ=(Δx2)+(Δy2)，然后可以得出函数值的增量Δz=f(x+Δx,y+Δy)−f(x,y)Δz=f(x+Δx,y+Δy)−f(x,y)。

如果函数的增量，与这两点距离的比例存在，则称此为在P点沿着L的方向导数，用公式表达就是∂f∂l=limρ→0f(x+Δx,y+Δy)−f(x,y)ρ∂f∂l=limρ→0f(x+Δx,y+Δy)−f(x,y)ρ

特别的，函数f(x,y)f(x,y)在X轴正向e1→e1→={1,0}，Y轴正向e2→e2→={0,1}的方向导数分别为fx,fyfx,fy，负方向导数为−fx,−fy−fx,−fy

2、定理

如果函数z=f(x,y)z=f(x,y)在点P(x,y)P(x,y)是可微分的，那么在该点沿任意方向L的方向导数都存在，公式表达为∂f∂l=∂f∂xcosφ+∂f∂ysinφ∂f∂l=∂f∂xcos⁡φ+∂f∂ysin⁡φ，φφ为X轴到L的角度。

　　

3、例题

求函数z=xe2yz=xe2y在点P(1,0)P(1,0)处沿从点P(1,0)P(1,0)到点Q(2,−1)Q(2,−1)的方向的方向导数。

示意图如下：

　　

求解过程如下：

　　

三、梯度

1、梯度

函数z=f(x,y)z=f(x,y)在平面域内具有连续的一阶偏导数，对于其中每一个点P(x,y)P(x,y)都有向量∂f∂xi⃗ +∂f∂yj⃗ ∂f∂xi→+∂f∂yj→，则其称为函数在点P的梯度。梯度的本意是一个向量（矢量），表示某一函数在该点处的方向导数沿着该方向取得最大值，即函数在该点处沿着该方向（此梯度的方向）变化最快，变化率最大（为该梯度的模）。用公式表达来就是：

gradf(x,y)=∂f∂xi⃗ +∂f∂yj⃗ gradf(x,y)=∂f∂xi→+∂f∂yj→。

设e⃗ =cosφi⃗ +sinφj⃗ e→=cos⁡φi→+sin⁡φj→是方向L上的单位向量。

由方向导数公式可知：∂f∂l=∂f∂xcosφ+∂f∂ysinφ={∂f∂x,∂f∂y}⋅{cosφ,sinφ}=gradf(x,y)⋅e⃗ =|gradf(x,y)|cosθ∂f∂l=∂f∂xcos⁡φ+∂f∂ysin⁡φ={∂f∂x,∂f∂y}⋅{cos⁡φ,sin⁡φ}=gradf(x,y)⋅e→=|gradf(x,y)|cos⁡θ。

其中θ=(gradf(x,y),e⃗ )θ=(gradf(x,y),e→)。

2、结论

只有cos(gradf(x,y),e⃗ )=1cos⁡(gradf(x,y),e→)=1，∂f∂l∂f∂l才有最大值。

函数在某点的梯度是一个向量，它的方向与方向导数最大值取得的方向一致，从而而它的模正好是最大的方向导数，也就是方向导数的最大值。

　　

3、例题

设u=xyz+x2+5u=xyz+x2+5，求graduu，并求在点M(0,1,−1)M(0,1,−1)处方向导数的最大（小）值。

　　

4、小结

（1）、方向导数的概念，注意方向导数与一般所说偏导数的区别
（2）、注意梯度其实是一个向量。
（3）、方向导数与梯度的关系，梯度的方向就是函数f(x，y)在这点增长最快的方向，梯度的模就是方向导数的最大值。

四、微积分

1、介绍

微积分诞生于17世纪，主要帮助人们解决各种速度，面积等实际问题，如下图所示，怎么才能求得曲线的面积呢？

　　

首先对于一个矩形来说，我们可以轻松求得其面积，那能不能用矩形代替曲线形状呢？如果能行的话，那应该用多少个矩形来代替曲线呢？

 　　

在ab之间插入若干个点，这样就得到了n个小区间，这样的话每一个小矩形的面积为：Ai=f(ξi)ΔxiAi=f(ξi)Δxi，这样的话对每个小矩形的面积求和的话就可以近似得到曲线的面积：A≈∑i=1nf(ξi)ΔxiA≈∑i=1nf(ξi)Δxi

 　　

当分割无限加细，每个小区间的最大长度为λλ，此时λ→0λ→0。由此可得曲线的面积为：A=limλ→0∑i=1nf(ξi)ΔxiA=limλ→0∑i=1nf(ξi)Δxi

从求和角度来看，我们需要尽可能的将每一个矩形的底边无穷小，而莱布尼兹为了体现求和的感觉，给S拉长了，简写成∫f(x)dx∫f(x)dx

　　

2、微分：

由于无穷小的概念，dx,dy都叫做微分。所谓微积分就是把这些微分积起来。

　　

微分是什么？其实很简单，用两个式子就可以很简单的描述了：limΔx→0dy=0,limΔx→0dx=0limΔx→0dy=0,limΔx→0dx=0

　　

3、定积分

当|Δx|—>0时，总和S总是趋于确定的极限I，则称极限I为函数f(x)在曲线[a，b]上的定积分

　　

其中，积分值和被积函数与积分曲线有关，与积分变量字母无关。

　　

当函数f(x)在区间[a，b]上的定积分存在时，称f(x)在区间[a，b]上可积。

4、定积分几何含义

面积的正负值：f(x)>0,f(x)<0,∫baf(x)dx=A∫baf(x)dx=−Af(x)>0,∫abf(x)dx=Af(x)<0,∫abf(x)dx=−A

也就是说如果定积分的值为正值，那它就表示曲边梯形的面积，如果求出来是负值的话，那它就表示曲边梯形的面积的负值

　　

5、定积分性质：

1、∫ba[f(x)±g(x)]dx=∫baf(x)dx±∫bag(x)dx.∫ab[f(x)±g(x)]dx=∫abf(x)dx±∫abg(x)dx.

2、∫bakf(x)dx=k∫baf(x)dx∫abkf(x)dx=k∫abf(x)dx，k为常数。

3、假设a<c<b，则∫baf(x)dx=∫caf(x)dx+∫bcf(x)dx∫abf(x)dx=∫acf(x)dx+∫cbf(x)dx。

4、如果在区间[a，b]上f(x)⩾0f(x)⩾0，则∫baf(x)dx⩾0.(a<b)∫abf(x)dx⩾0.(a<b)。

数学基础系列(六)----特征值分解和奇异值分解(SVD) 摘要：一、介绍 特征值和奇异值在大部分人的印象中，往往是停留在纯粹的数学计算中。而且线性代数或者矩阵论里面，也很少讲任何跟特征值与奇异值有关的应用背景。 奇异值分解是一个有着很明显的物理意义的一种方法，它可以将一个比较复杂的矩阵用更小更简单的几个子矩阵的相乘来表示，这些小矩阵描述的是矩阵的重要的特性。就像 阅读全文 posted @ 2020-01-19 19:08 |旧市拾荒| 阅读 (144) | 评论 (0) 编辑 数学基础系列(五)----矩阵、矩阵的秩、向量、特征值与特征向量 摘要：一、矩阵 1、系数矩阵 前面学习了矩阵很多基础知识，那么遇到具体的线性方程组该怎么办呢？该怎么转换为矩阵来求解呢？如下图所示，A为系数矩阵，X是未知数矩阵，B是常数矩阵。 2、矩阵转置 简单来说就是矩阵的行元素和列元素互相调换一下。 下面列出一些矩阵转置常用的公式 这些都没有什么好说的，都比较好理解 阅读全文 posted @ 2020-01-12 23:23 |旧市拾荒| 阅读 (200) | 评论 (0) 编辑 数学基础系列(四)----拉格朗日乘子法、行列式、矩阵基础 摘要：一、拉格朗日乘子法 1、通俗解释 给个函数：Z=f(x,y)Z=f(x,y)如何求出它的极值点呢？有了前面的知识，简单来说直接求它的偏导不就OK了吗？ 那现在假如说对这个函数加上一个约束条件呢？也就说现在假如有这样一个约束条件2xy+2yz+2zx=S2xy+2yz+2zx=S，那该怎么样求出函数Z(x,y,z)=xyzZ(x,y,z)=xyz的最大值 阅读全文 posted @ 2020-01-05 17:04 |旧市拾荒| 阅读 (222) | 评论 (0) 编辑 数学基础系列(三)----第一中值定理、微积分基本定理、牛莱公式、泰勒公式 摘要：一、第一中值定理 如果函数f(x)在闭区间[a，b]上连续，则在积分区间[a，b]上至少存在一个点ξξ，使得∫baf(x)dx=f(ξ)(b−a).(a⩽ξ⩽b)∫abf(x)dx=f(ξ)(b−a).(a⩽ξ⩽b) 二、微积分基本定理 积分上限函数：函数f(x)在区间[a， 阅读全文 posted @ 2019-12-28 21:46 |旧市拾荒| 阅读 (534) | 评论 (2) 编辑 数学基础系列(二)----偏导数、方向导数、梯度、微积分 摘要：一、偏导数 对于一元函数y=f(x)只存在y随x的变化，但是二元函数z=f(x,y)存在z随x变化的变化率，随y变化的变化率，随x﹑y同时变化的变化率。如下图所示 1、偏导数定义 设函数z=f(x,y)z=f(x,y)在点(x0,y0)的某个邻域内有定义，定y=y0，一元函数f(x0,y0)f(x0,y0)在点 阅读全文 posted @ 2019-12-23 19:48 |旧市拾荒| 阅读 (328) | 评论 (0) 编辑 数学基础系列(一)----函数、极限、连续性、导数 摘要：为了加深在人工智能、深度学习领域的学习，接下来会推出数学基础系列博客，加深自己在这领域的基础知识。 一、函数 1、函数的定义 函数表示量与量之间的关系如：A=πr2A=πr2。更普遍的是用y=f(x)y=f(x)表示，其中x表示自变量，y表示因变量。函数在x0处取得的函数值$y_{0}=y\mid _ 阅读全文 posted @ 2019-12-10 22:28 |旧市拾荒| 阅读 (516) | 评论 (0) 编辑