阅读量:1
目标函数的等值图与等高线图的关系
目标函数的等值图（等值线图）和等高线图是相似的概念，只是应用领域不同。等高线图用于地形图中表示高度，而等值图用于表示某个函数在不同点的取值。
等值图（等值线图）
- 定义：对于一个函数 f ( x , y ) f(x, y) f(x,y) ，等值线是由满足 f ( x , y ) = c f(x, y) = c f(x,y)=c 的点组成的曲线，其中 c c c 是常数。在等值线上的所有点，函数 f f f 的值都相同。
- 表示方法：在二维图中，等值线图使用一系列曲线来表示函数 f ( x , y ) f(x, y) f(x,y) 的不同值。例如，不同的 c c c 值对应不同的等值线。
等高线图
- 定义：等高线是指地表高度相同的点连成的曲线。
- 应用：在地形图中，等高线用于表示地形的起伏。每条等高线代表一个固定的高度，线与线之间的间隔表示高度差。
为什么等值图可以绘制成多个椭圆形或多个圆形？
许多解释随机梯度下降（SGD）的例子使用等值图，这些图通常呈现多个椭圆形或圆形。这是因为这些等值图通常来源于二次型目标函数。下面详细解释：
二次型目标函数
二次型目标函数通常具有以下形式：
f ( x , y ) = a x 2 + b x y + c y 2 + d x + e y + f f(x, y) = ax^2 + bxy + cy^2 + dx + ey + f f(x,y)=ax2+bxy+cy2+dx+ey+f
对于这样的函数，等值线由方程 a x 2 + b x y + c y 2 = k ax^2 + bxy + cy^2 = k ax2+bxy+cy2=k（其中 k k k 是常数）决定。
- 椭圆：一般情况下，二次型函数的等值线是椭圆。
- 圆形：在特定条件下（如 a = c a = c a=c 且 b = 0 b = 0 b=0），等值线是圆形。
特征值与特征向量
- 二次型函数可以用矩阵表示，例如 f ( w ) = w T A w + b T w + c f(\mathbf{w}) = \mathbf{w}^T A \mathbf{w} + \mathbf{b}^T \mathbf{w} + c f(w)=wTAw+bTw+c，其中 w \mathbf{w} w 是变量向量， A A A 是对称正定矩阵。
- 矩阵 A A A 的特征值和特征向量决定了等值线的形状。特征值的大小决定了椭圆的轴长，特征向量决定了椭圆的方向。
线性回归和分类回归中的目标函数
对于线性回归和一些常见的分类方法，目标函数通常是二次型的。
线性回归
线性回归的目标是最小化预测值和真实值之间的差异，通常使用均方误差（MSE）作为目标函数：
J ( w ) = 1 2 m ∑ i = 1 m ( h w ( x ( i ) ) − y ( i ) ) 2 J(\mathbf{w}) = \frac{1}{2m} \sum_{i=1}^{m} (h_{\mathbf{w}}(x^{(i)}) - y^{(i)})^2 J(w)=2m1∑i=1m(hw(x(i))−y(i))2
其中， h w ( x ) = w T x + b h_{\mathbf{w}}(x) = \mathbf{w}^T \mathbf{x} + b hw(x)=wTx+b 是线性模型的预测值。这个目标函数展开后是参数 w \mathbf{w} w 的二次函数。
逻辑回归
逻辑回归通过最小化负对数似然损失函数来最大化似然函数：
J ( w ) = − 1 m ∑ i = 1 m [ y ( i ) log ( h w ( x ( i ) ) ) + ( 1 − y ( i ) ) log ( 1 − h w ( x ( i ) ) ) ] J(\mathbf{w}) = - \frac{1}{m} \sum_{i=1}^{m} [y^{(i)} \log(h_{\mathbf{w}}(x^{(i)})) + (1 - y^{(i)}) \log(1 - h_{\mathbf{w}}(x^{(i)}))] J(w)=−m1∑i=1m[y(i)log(hw(x(i)))+(1−y(i))log(1−hw(x(i)))]
其中， h w ( x ) = 1 1 + e − w T x h_{\mathbf{w}}(x) = \frac{1}{1 + e^{-\mathbf{w}^T \mathbf{x}}} hw(x)=1+e−wTx1 是逻辑回归模型的预测概率。
虽然这个目标函数不是二次的，但在优化过程中可以进行二次近似。
梯度与等值线的关系
梯度的定义
梯度是一个向量，表示目标函数在某一点的变化率和方向。对于一个二元函数 f ( x , y ) f(x, y) f(x,y)，梯度用符号 ∇ f \nabla f ∇f 表示，其分量是 ( ∂ f ∂ x , ∂ f ∂ y ) \left( \frac{\partial f}{\partial x}, \frac{\partial f}{\partial y} \right) (∂x∂f,∂y∂f)。
梯度与等值线的几何关系
- 梯度向量垂直于等值线，因为等值线上的点的函数值相同，梯度表示函数值增加最快的方向，自然垂直于等值线。
- 例如，等值线是地形图上的等高线，而梯度是从某点沿着坡度最大的方向向上的向量。
梯度下降法
梯度下降的步骤
梯度下降法通过迭代的方法来最小化目标函数。每一步迭代沿着负梯度的方向移动：
w new = w old − η ∇ f ( w old ) \mathbf{w}_{\text{new}} = \mathbf{w}_{\text{old}} - \eta \nabla f(\mathbf{w}_{\text{old}}) wnew=wold−η∇f(wold)
其中， w \mathbf{w} w 是参数向量， η \eta η 是学习率， ∇ f \nabla f ∇f 是梯度。
沿法线方向移动
在等值图上，梯度下降法每一步都沿着等值线的法线方向（负梯度方向）移动。这确保每一步都朝着降低目标函数值的方向前进，从而逐步逼近目标函数的最小值。
随机梯度下降法在二次型目标函数中的路径
极小值点
- 极小值点是目标函数的值最小的点。对于二次型目标函数，这个点通常是唯一的，并且在解析几何上可以通过设置梯度为零来找到。
- 对于 f ( w ) f(\mathbf{w}) f(w)，极小值点 w ∗ \mathbf{w}^* w∗ 满足 ∇ f ( w ∗ ) = 0 \nabla f(\mathbf{w}^*) = 0 ∇f(w∗)=0，解这个方程可以得到 w ∗ \mathbf{w}^* w∗。
路径收敛
- 在二次型目标函数中，随机梯度下降法（SGD）的路径呈现出向椭圆或圆的中心（极小值点）收敛的趋势。
- 由于等值线是椭圆或圆，路径看起来逐步进入这些椭圆或圆的中心，即极小值点。
例子
假设目标函数为 f ( x , y ) = 3 x 2 + 2 x y + y 2 f(x, y) = 3x^2 + 2xy + y^2 f(x,y)=3x2+2xy+y2，其等值线为椭圆。随机梯度下降法会：
- 初始化点在等值图上的某个位置。
- 计算梯度并沿负梯度方向更新。
- 新点沿着等值线的法线方向移动，逐步接近椭圆的中心。
- 重复上述步骤，直到到达极小值点（椭圆的中心）。
总结
- 等值图与等高线图的关系：等值图用于表示目标函数在不同点的取值，类似于等高线图表示高度。
- 等值图的形状：二次型目标函数的等值线是椭圆或圆，这是因为它们的解析形式。
- 梯度与等值线的关系：梯度垂直于等值线，梯度下降法每一步沿负梯度方向移动，使得路径逐步逼近目标函数的最小值。
- 二次型目标函数的优化：在二次型目标函数中，SGD的路径向椭圆或圆的中心（极小值点）收敛，帮助我们理解优化过程。
