小小知识

在深度学习和机器学习的优化过程中，梯度下降算法是最基本也是最常用的优化算法之一。然而，标准的梯度下降算法在某些情况下收敛速度较慢，或者在接近最优点时产生振荡。为了加速收敛和减少振荡，引入了动量（Momentum）优化器。

下面，我们将详细介绍动量优化器的原理、数学公式，以及Python代码实现。

背景与动机

在标准的梯度下降（Gradient Descent，GD）算法中，参数的更新规则是：

θt+1=θt−η∇θJ(θt)\theta_{t+1} = \theta_t - \eta \nabla_\theta J(\theta_t)

其中：

  • θt\theta_t 表示第 tt 次迭代的参数向量。
  • η\eta 是学习率（learning rate）。
  • ∇θJ(θt)\nabla_\theta J(\theta_t) 是目标函数 JJ 关于参数 θt\theta_t 的梯度。

在高维空间中，目标函数的形状可能是狭长的椭圆，导致梯度在不同维度上的尺度差异较大。在这种情况下，标准的梯度下降算法可能会在接近最优点时产生振荡，导致收敛缓慢。

为了克服这一问题，动量优化器在梯度下降的基础上引入了“动量”概念，利用过去梯度的累积信息，平滑更新方向，加速收敛。

动量优化器的数学公式

动量优化器的核心思想是引入一个动量项，对过去梯度的累积进行加权，从而平滑参数更新的方向。

动量优化器的更新规则：

  1. 动量项的更新：

vt=γvt−1+η∇θJ(θt)v_{t} = \gamma v_{t-1} + \eta \nabla_\theta J(\theta_t)

  1. 参数的更新：

θt+1=θt−vt\theta_{t+1} = \theta_t - v_{t}

其中：

  • vtv_t 是第 tt 次迭代的动量项（也称为速度，velocity）。
  • γ\gamma 是动量系数（momentum coefficient），取值范围为 0≤γ<10 \leq \gamma < 1，通常取接近1的值（如0.9）。
  • 其他符号同前所述。

原理解析

  • 累积历史梯度：动量项 vtv_t 是对历史梯度的指数加权移动平均，它在一定程度上记忆了过去梯度的方向和大小。
  • 加速相同方向的更新：如果连续多个迭代的梯度方向相同，动量项会逐渐增加，从而加速参数在该方向上的更新。
  • 减小振荡：在梯度方向变化较大的维度上，动量项由于正负抵消，更新幅度被减小，从而抑制了振荡现象。

形象比喻： 可以将参数更新过程想象成一个带有惯性的物体在损失函数的曲面上滑动。动量项赋予了物体惯性，使其能够越过局部最小值，朝着全局最小值方向前进。

动量优化器的Python代码实现

以下是一个简化的动量优化器的Python实现示例：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
import numpy as np

# 假设我们有一个需要优化的参数 theta
theta = np.zeros((n_parameters,))  # 参数向量，维度根据具体问题确定
v = np.zeros_like(theta)           # 动量项初始化为零

# 超参数设置
eta = 0.01     # 学习率
gamma = 0.9    # 动量系数
num_iterations = 1000  # 迭代次数

for t in range(num_iterations):
    grad = compute_gradient(theta)  # 计算当前梯度，需要根据具体问题定义

    # 更新动量项
    v = gamma * v + eta * grad

    # 更新参数
    theta = theta - v

在上述代码中：

  • compute_gradient(theta) 是一个函数，用于计算当前参数 theta 下的梯度，需要根据具体的损失函数和模型定义。
  • 动量项 v 的更新包含了对过去动量的记忆，通过参数 gamma 控制。

与标准梯度下降的比较

标准梯度下降 动量优化器
更新规则 θt+1=θt−η∇θJ(θt)\theta_{t+1} = \theta_t - \eta \nabla_\theta J(\theta_t) {vt=γvt−1+η∇θJ(θt)θt+1=θt−vt\begin{cases} v_{t} = \gamma v_{t-1} + \eta \nabla_\theta J(\theta_t) \\ \theta_{t+1} = \theta_t - v_{t} \end{cases}
特点 只考虑当前梯度，可能在陡峭方向产生振荡 累积历史梯度，加速收敛，减少振荡
收敛速度 较慢，可能需要较小的学习率避免振荡 较快，允许使用较大的学习率

超参数的选择

  • 学习率 η\eta：动量优化器通常允许使用比标准梯度下降更大的学习率，但仍需根据具体问题进行调节。
  • 动量系数 γ\gamma：一般取值在 [0.5, 0.9] 之间，典型值为 0.9。较大的 γ\gamma 值赋予了动量项更强的惯性，对过去梯度的记忆更长。

动量优化器的变种

Nesterov 加速梯度（Nesterov Accelerated Gradient，NAG）

NAG 对动量优化器进行了改进，通过对未来位置的梯度进行前瞻性估计，进一步加速了收敛。

NAG 的更新规则：

  1. 计算前瞻位置：

θlookahead=θt−γvt−1\theta_{\text{lookahead}} = \theta_t - \gamma v_{t-1}

  1. 计算前瞻梯度：

gt=∇θJ(θlookahead)g_t = \nabla_\theta J(\theta_{\text{lookahead}})

  1. 更新动量项：

vt=γvt−1+ηgtv_t = \gamma v_{t-1} + \eta g_t

  1. 更新参数：

θt+1=θt−vt\theta_{t+1} = \theta_t - v_t

Python 实现示例：

1
2
3
4
5
6
7
8
9
10
11
# 更新参数时的前瞻位置
theta_lookahead = theta - gamma * v

# 计算前瞻位置的梯度
grad = compute_gradient(theta_lookahead)

# 更新动量项
v = gamma * v + eta * grad

# 更新参数
theta = theta - v

RMSProp 和 Adam 优化器

动量优化器只能解决梯度方向的问题，而无法调整不同参数维度上梯度的尺度。为了解决这个问题，引入了自适应学习率的算法，如 RMSProp 和 Adam。这些算法在动量优化器的基础上，结合了梯度的二阶矩信息，实现了对学习率的自适应调整。可参考：

自适应学习率优化器
自适应学习率优化器
在深度学习和机器学习的模型训练过程中，优化算法起着至关重要的作用。除了标准的梯度下降和动量优化器之外，还有许多`自适应学习率`的优化算法，如 `Adagrad`、`Adadelta` 和 `RMSProp`。它们通过自适应地调整学习率，以提升收敛速度和稳定性。 以下将详细介绍这三个优化算法，包括公式、原理，以及 Python 代码实现。 --- # Adagrad 算法 ## 背景与动机
Adam优化器
Adam优化器
在深度学习和机器学习的模型训练过程中，优化算法起着关键作用。 **Adam**（Adaptive Moment Estimation）优化器是目前最受欢迎和广泛使用的优化算法之一。它结合了`动量优化器`和 `RMSProp` 的优势，能够在训练过程中`自适应地调整学习率`，实现`高效`和`稳健`的梯度更新。 下面，我们将详细介绍 Adam 优化器的原理、数学公式，以及 Python 代码实现

总结

动量优化器通过引入对历史梯度的累积，赋予了参数更新一定的“惯性”，从而在优化过程中能够：

  • 加速收敛速度：在一致的梯度方向上，动量项的累积使得参数更新步伐加大，加速了收敛。
  • 减少振荡：在梯度方向变化频繁的维度上，动量项的相消作用平滑了参数更新，减少了振荡现象。

在深度学习的实际应用中，动量优化器是一种常用且有效的优化算法。通过合理地选择超参数 η\eta 和 γ\gamma，可以显著提升模型训练的效率和效果。