2.1 学习目标#

1. 掌握神经网络中最常用的数学对象：向量、矩阵、张量、范数与广播。
2. 理解导数、偏导数、梯度、雅可比矩阵与链式法则。
3. 建立概率统计直觉，理解期望、方差、似然、交叉熵与 KL 散度。
4. 能用 Python / Numpy 实现基础数值运算，为后续从零实现网络做准备。
5. 为后面的反向传播、损失函数和优化算法打好理论底座。

能力矩阵：

2.2 为什么神经网络需要这些前置知识#

神经网络训练的核心操作就是“对很多参数求梯度，然后做迭代更新”。这件事天然依赖数学基础：

• 线性代数负责描述数据与参数的批量运算；
• 微积分负责描述参数变化对损失的影响；
• 概率统计负责描述不确定性、噪声与泛化；
• 优化理论负责告诉我们如何更快更稳地下降损失。

如果缺少这些基础，常见症状是：

• 看得懂代码，但看不懂公式；
• 能跑通模型，但不知道为什么收敛；
• 能调参数，但不知道为什么过拟合；
• 知道准确率，却解释不了交叉熵和概率输出。

2.3 线性代数基础#

2.4 微积分基础#

2.5 概率统计基础#

2.6 Python 与 Numpy 预备#

1
import numpy as np
2

3
x = np.array([1.0, 2.0, 3.0])
4
w = np.array([0.5, -1.0, 2.0])
5

6
score = x @ w
7
print(score)

1
X = np.random.randn(32, 784)   # batch_size = 32, features = 784
2
W = np.random.randn(784, 128)
3
b = np.zeros((1, 128))
4
Z = X @ W + b

1
def stable_softmax(logits):
2
    shifted = logits - np.max(logits, axis=1, keepdims=True)
3
    exp_logits = np.exp(shifted)
4
    return exp_logits / np.sum(exp_logits, axis=1, keepdims=True)

2.7 从数学到神经网络#

2.8 重点公式速查#

2.9 常见误区#

1. 以为矩阵乘法只是在“套公式”。实际上它决定了特征如何组合。
2. 以为梯度就是“一个分数”。实际上梯度是向量，表示每个参数的更新方向。
3. 以为交叉熵只是分类里的一个损失名称。实际上它有严格的概率解释。
4. 以为数值稳定性只是“工程细节”。实际上它直接影响训练能否继续。
5. 以为广播只是语法糖。实际上它决定了张量操作是否高效。

2.10 本章小结#

本章提供的不是孤立公式，而是神经网络训练所需的数学工具箱：

• 线性代数描述输入、参数与表示；
• 微积分描述误差如何传播；
• 概率统计描述输出的意义与训练目标；
• Python / Numpy 负责把这些理论变成可运行代码。

2.11 课后练习#

1. 写出 $Z = XW + b$ 的维度要求，并说明每个维度代表什么。
2. 用自己的话解释链式法则为什么是反向传播的基础。
3. 说明为什么交叉熵常用于分类而不是均方误差。
4. 解释 softmax 为什么要做数值稳定化。
5. 用 Numpy 实现一个二维数组的标准化函数。

2.12 矩阵微积分：从元素导数到矩阵导数#

在深度学习中，我们通常更关心以向量或矩阵为变量的导数，而不是逐元素展开的标量导数。矩阵微积分能让我们用紧凑的符号表达反向传播。下面给出一系列常用结论与证明要点。

2.13 Jacobian 与 Hessian：雅可比矩阵与二阶导数#

2.14 矩阵分解与 PCA 的数值实现#

主成分分析（PCA）可以通过 SVD 高效实现。给定数据矩阵 $X$（每行一个样本，已中心化），SVD 给出：

取前 $k$ 列对应最大奇异值即可得到 $k$ 维低秩近似。PCA 的解释变换矩阵为 $V_k$，投影后的表示为 $X V_k$。

NumPy 实现示例：

1
import numpy as np
2

3
def pca(X, k):
4
    # X: (N, D)
5
    Xc = X - X.mean(axis=0)
6
    U, S, Vt = np.linalg.svd(Xc, full_matrices=False)
7
    return Vt[:k].T, S[:k]
8

9
# 使用：
10
# V_k, S_k = pca(X, k=10)
11
# X_reduced = Xc.dot(V_k)

注意：对大规模数据建议使用增量 SVD（sklearn.decomposition.IncrementalPCA）或随机 SVD（sklearn.utils.extmath.randomized_svd）。

2.15 最小二乘与正规方程#

线性回归的闭式解（最小二乘）：给定 $X\in\mathbb{R}^{N\times D}$，$y\in\mathbb{R}^N$，损失为 $\|Xw-y\|^2$，则最优解满足正规方程：

实现注意：如果 $X^T X$ 不可逆或条件数不好，使用正则化（岭回归）或数值稳定的 np.linalg.lstsq。

NumPy 示例：

1
w, *_ = np.linalg.lstsq(X, y, rcond=None)

2.16 数值微分与稳定的梯度检验#

前文提到有限差分用于梯度检验，这里给出更系统的实现以及注意点。

中心差分（central difference）比前向差分更精确：

实现要点：

• 只在小规模模型和少量参数上做；
• 使用 double 精度；
• 防止数值舍入误差（选择合适的 epsilon）。

1
def numerical_grad(f, theta, eps=1e-6):
2
    g = np.zeros_like(theta)
3
    it = np.nditer(theta, flags=['multi_index'], op_flags=['readwrite'])
4
    while not it.finished:
5
        idx = it.multi_index
6
        old = theta[idx].copy()
7
        theta[idx] = old + eps
8
        fx1 = f(theta)
9
        theta[idx] = old - eps
10
        fx2 = f(theta)
11
        g[idx] = (fx1 - fx2) / (2*eps)
12
        theta[idx] = old
13
        it.iternext()
14
    return g

2.17 概率基础扩展：似然、对数似然与贝叶斯视角#

最大似然估计（MLE）是参数估计的基石。对数似然更常用：

贝叶斯方法在 MLE 上引入先验 $p(\theta)$，求后验：

MAP（最大后验）估计等价于在损失中加入正则项。

2.18 信息论引入：熵、交叉熵与互信息#

熵衡量分布的不确定度：

互信息（Mutual Information）衡量两个变量的信息共享：

在表征学习与信息瓶颈等理论中，这些量有助于理解表征压缩与任务相关性。

2.19 经典分布与估计方法速查#

• 伯努利 / 二项分布：参数 $p$，均值 $p$，方差 $p(1-p)$。
• 正态分布：rac{1}{\sqrt{2\pi\sigma^2}}e^{-(x-\mu)^2/(2\sigma^2)}。
• 指数分布、Gamma 分布在等待时间和贝叶斯先验中常见。

估计方法：MLE、MAP、贝叶斯推断、EM 算法（用于含隐变量的模型，如混合高斯）。

2.20 优化基础：凸性、收敛与学习率选择#

若损失是凸的，全局最优易于找到；但神经网络通常非凸，优化变成启发式。

常见结论（仅作直觉）：

• 学习率过大会发散；
• 学习率过小收敛慢；
• 动量能在局部鞍点处帮助离开平坦区域；
• 批量大小影响噪声水平：小 batch 更噪但具有正则效果。

实践建议：使用学习率搜索（learning rate finder），先做 warmup 再采用衰减策略。

2.21 激活函数的导数与数值特性#

列出常用激活及其导数与工程注意事项：

• Sigmoid: $\sigma(x)=\frac{1}{1+e^{-x}}$, $\sigma'(x)=\sigma(x)(1-\sigma(x))$。易饱和，导致梯度消失。
• Tanh: $t(x)=\tanh(x)$, $t'(x)=1-t(x)^2$。中心化但仍易饱和。
• ReLU: $\max(0,x)$，导数为 1（正区间）或 0（负区间）。简单且效果好，但死神经元问题存在。
• Leaky ReLU: 着色 ReLU 以避免死神经元，负区间斜率小于 1。
• Softplus: 平滑版本的 ReLU，导数是 sigmoid。

选择激活时综合考虑梯度流和模型表达能力。

2.22 从零实现的练习：逻辑回归与交叉熵#

实现逻辑回归训练的完整流程：数据生成、模型、损失、梯度、优化循环与评估。

1
import numpy as np
2

3
def sigmoid(x):
4
    return 1/(1+np.exp(-x))
5

6
def predict_proba(X, w, b):
7
    return sigmoid(X.dot(w) + b)
8

9
def binary_cross_entropy(y, p):
10
    eps = 1e-12
11
    p = np.clip(p, eps, 1-eps)
12
    return -np.mean(y*np.log(p) + (1-y)*np.log(1-p))
13

14
def grad(X, y, w, b):
15
    p = predict_proba(X, w, b)
16
    N = X.shape[0]
17
    dw = X.T.dot(p - y) / N
18
    db = np.mean(p - y)
19
    return dw, db
20

21
def train(X, y, lr=0.1, epochs=1000):
22
    D = X.shape[1]
23
    w = np.zeros(D)
24
    b = 0.0
25
    for epoch in range(epochs):
26
        dw, db = grad(X, y, w, b)
27
        w -= lr * dw
28
        b -= lr * db
29
        if epoch % 100 == 0:
30
            loss = binary_cross_entropy(y, predict_proba(X,w,b))
31
            print(epoch, loss)
32
    return w, b

练习：用合成线性可分和不可分数据分别训练并比较训练曲线。

2.23 数值稳定性实践清单#

1. softmax 用 shifted logits：减去每行最大值；
2. log 与除法时加 eps；
3. 在梯度检验时使用双精度 dtype=np.float64；
4. 遇到梯度爆炸时启用梯度裁剪 clip_by_norm；
5. 训练时记录 loss, grad_norm, param_norm, lr 等监控项；
6. 若出现 NaN，先用小数据集复现并检查输入尺度与初始化。

2.24 实战任务（章节级项目）#

任务 1：用 Numpy 实现一个小型 MLP（1 层隐藏），在 MNIST 子集上训练并观察学习曲线与梯度范数。要求实现：前向、反向、SGD、数值梯度检验、训练日志。

任务 2：实现 PCA 压缩与重建，用 SVD 对 CIFAR-10 的小批量图像做低秩近似，比较不同奇异值数量下的重建误差和视觉质量。

任务 3：实现逻辑回归的 L2 正则版本并与无正则比较泛化性能。

这些练习会为后续从零实现神经网络提供大量调试与工程经验。

2.25 扩展练习（逐步评分）#

1. 实现 numerical_grad 并用其验证你写的 MLP 反向传播（选取少量参数）。
2. 在逻辑回归训练中加入 momentum 优化器并比较收敛速度。
3. 实现 mini-batch SGD，并实验不同 batch_size 对训练曲线的影响。
4. 实现一个简单的 learning rate finder：在短训练中指数增加学习率并记录 loss，以找最佳 lr 区间。
5. 编写脚本把训练过程的关键指标保存为 CSV，以便用 Matplotlib 可视化。

2.26 参考资料#

• Strang, Gilbert. “Linear Algebra and Its Applications.”（线性代数教材）
• Bishop, Christopher M. “Pattern Recognition and Machine Learning.”（概率与机器学习）
• Goodfellow, Bengio, Courville. “Deep Learning.”（深度学习基础）
• Numerical Recipes（数值计算技巧）

2.12 延伸阅读#

• 《线性代数及其应用》
• 《高等数学》中的多元微积分章节
• 《概率论与数理统计》中的条件概率、随机变量与最大似然
• Numpy 官方文档中的 broadcasting 说明