𝑷𝒂𝒊𝒂𝒅

外观

梯度下降

约 1244 字大约 4 分钟

2025-02-01

步骤分析

为了方便理解，这里以线性回归的损失函数为例：

J(w,b)=1m∑i=1m(yi−(wTxi+b))2J(w,b)=\frac{1}{m}\sum_{i=1}^m(y_i-(w^Tx_i+b))^2

  1. Step1 对权重向量ww的梯度

    对ww的第jj个分量wjw_j求偏导：

    ∂J(w,b)∂wj=2m∑i=1m(yi−(wTxi+b))⋅(−xij)\frac{\partial J(w,b)}{\partial w_j}=\frac2m\sum_{i=1}^m(y_i-(w^Tx_i+b))\cdot(-x_{ij})

    将所有分量组累加为梯度向量：

    ∇wJ(w,b)=2m∑i=1m(yi−(wTxi+b))⋅(−xi)\nabla_wJ(w,b)=\frac2m\sum_{i=1}^m(y_i-(w^Tx_i+b))\cdot(-x_i)

    简化后：

    ∇wJ(w,b)=−2m∑i=1m(yi−y^i)xi\nabla_wJ(w,b)=-\frac2m\sum_{i=1}^m(y_i-\hat{y}_i)x_i

    其中y^i=wTxi+b\hat{y}_i=w^Tx_i+b是预测值。

  2. Step2 对偏置项bb的梯度

    对 b 求偏导:

    ∂J(w,b)∂b=2m∑i=1m(yi−(wTxi+b))⋅(−1)\frac{\partial J(w,b)}{\partial b}=\frac{2}{m}\sum_{i=1}^m(y_i-(w^Tx_i+b))\cdot(-1)

    简化后:

    ∇∗bJ(w,b)=−2m∑∗i=1m(yi−y^_i)\nabla*bJ(w,b)=-\frac{2}{m}\sum*{i=1}^m(y_i-\hat{y}\_i)

  3. Step3 损失函数J(w,b)J(w,b)的梯度

    ∇wJ(w,b)=−2m∑i=1m(yi−y^i)xi∇bJ(w,b)=−2m∑i=1m(yi−yi^)\nabla_wJ(w,b)=-\frac2m\sum_{i=1}^m(y_i-\hat{y}_i)x_i\\ \nabla_bJ(w,b)=-\frac2m\sum_{i=1}^m(y_i-\hat{y_i})

  4. Step4 梯度下降更新规则

    w←w−α∇wJ(w,b)b←b−α∇bJ(w,b)w\leftarrow w-\alpha\nabla_wJ(w,b)\\b\leftarrow b-\alpha\nabla_bJ(w,b)

    其中α\alpha 是学习率。

简单梯度下降代码示例

gradient_descent.py
import numpy as np
import matplotlib
import matplotlib.pyplot as plt

matplotlib.use('TkAgg')
# 一些基础参数配置
plt.rcParams['axes.labelsize'] = 14
plt.rcParams['xtick.labelsize'] = 12
plt.rcParams['ytick.labelsize'] = 12

np.random.seed(42)

X = 2 * np.random.rand(100, 1)
y = 4 + 3 * X + np.random.randn(100, 1)

X_b = np.c_[np.ones((100, 1)), X]  # 加入偏置项
theta_best = np.linalg.inv(X_b.T.dot(X_b)).dot(X_b.T).dot(y)

X_new = np.array([[0], [2]])
X_new_b = np.c_[np.ones((2, 1)), X_new]

eta = 0.1  # 学习率
n_iter = 1000  # 迭代次数
m = 100  # 总样本数
theta = np.random.randn(2, 1)
for iter in range(n_iter):
    gradients = 2 / m * X_b.T.dot(X_b.dot(theta) - y)
    theta = theta - eta * gradients # 梯度的反方向

print("通过梯度下降算法计算的权重：\n", theta)
print("通过梯度下降算法预测的数据(x=2 和 x=9)：\n", X_new_b.dot(theta))

三种不同的梯度下降策略

BGD(批量梯度下降).py
import numpy as np
import matplotlib
import matplotlib.pyplot as plt

matplotlib.use('TkAgg')
# 一些基础参数配置
plt.rcParams['axes.labelsize'] = 14
plt.rcParams['xtick.labelsize'] = 12
plt.rcParams['ytick.labelsize'] = 12

np.random.seed(42)

X = 2 * np.random.rand(100, 1)
y = 4 + 3 * X + np.random.randn(100, 1)

X_b = np.c_[np.ones((100, 1)), X]  # 加入偏置项
theta_best = np.linalg.inv(X_b.T.dot(X_b)).dot(X_b.T).dot(y)

X_new = np.array([[0], [2]])
X_new_b = np.c_[np.ones((2, 1)), X_new]

eta = 0.1  # 学习率
n_iter = 1000  # 迭代次数
m = 100  # 总样本数
theta = np.random.randn(2, 1)
for iter in range(n_iter):
    gradients = 2 / m * X_b.T.dot(X_b.dot(theta) - y)
    theta = theta - eta * gradients # 梯度的反方向

theta_path_bdg = []

def plot_gradient_descent(theta, eta, theta_path=None):
    m = len(X_b)
    plt.plot(X, y, 'b.')
    n_iter = 1000
    for iter in range(n_iter):
        y_predict = X_new_b.dot(theta)
        plt.plot(X_new, y_predict, 'b-')
        gradients = 2 / m * X_b.T.dot(X_b.dot(theta) - y)
        theta = theta - eta * gradients
        if theta_path is not None:
            theta_path.append(theta)
    plt.xlabel('X_1')
    plt.axis([0, 2, 0, 15])
    plt.title("eta = {}".format(eta))

theta = np.random.randn(2, 1)

# 针对不同的学习率，绘制不同的图像
plt.figure(figsize=(10, 4))
plt.subplot(131)
plot_gradient_descent(theta, eta=0.02)

plt.subplot(132)
plot_gradient_descent(theta, eta=0.1, theta_path=theta_path_bdg)

plt.subplot(133)
plot_gradient_descent(theta, eta=0.5)

plt.show()