6.1 学习目标#

1. 理解为什么图像任务适合使用卷积而不是纯全连接。
2. 掌握卷积、池化、步幅、填充、感受野等核心概念。
3. 理解经典 CNN 结构从 LeNet 到现代轻量网络的演化。
4. 能搭建一个基础图像分类模型并完成训练。
5. 理解卷积网络在特征提取、鲁棒性和参数效率上的优势。

能力矩阵：

6.2 为什么需要卷积#

图像天然具有局部相关性和平移不变性：

• 邻近像素更相关；
• 目标移动一点，不应完全改变识别结果；
• 全连接会引入大量参数，难以训练。

卷积通过局部连接和权值共享显著降低参数量。

6.3 卷积基础#

6.4 池化#

6.5 典型 CNN 结构#

1
Conv -> ReLU -> Pool -> Conv -> ReLU -> Pool -> Flatten -> FC -> FC -> Softmax

6.6 卷积网络的参数效率#

全连接层参数量大约为：

卷积层参数量大约为：

当输入图像很大时，卷积层更节省参数。

6.7 视觉任务中的训练技巧#

6.8 PyTorch 结构示例#

1
import torch
2
import torch.nn as nn
3

4
class SimpleCNN(nn.Module):
5
    def __init__(self, num_classes=10):
6
        super().__init__()
7
        self.features = nn.Sequential(
8
            nn.Conv2d(3, 32, kernel_size=3, padding=1),
9
            nn.ReLU(),
10
            nn.MaxPool2d(2),
11
            nn.Conv2d(32, 64, kernel_size=3, padding=1),
12
            nn.ReLU(),
13
            nn.MaxPool2d(2),
14
        )
15
        self.classifier = nn.Sequential(
16
            nn.Flatten(),
17
            nn.Linear(64 * 8 * 8, 128),
18
            nn.ReLU(),
19
            nn.Linear(128, num_classes),
20
        )
21

22
    def forward(self, x):
23
        x = self.features(x)
24
        return self.classifier(x)

6.9 CNN 的优势与局限#

6.10 常见视觉任务#

1. 图像分类
2. 目标检测
3. 语义分割
4. 实例分割
5. 超分辨率
6. 风格迁移
7. 图像生成

6.11 典型错误排查#

1. 输入维度顺序不对。
2. 忘记标准化或数据增强。
3. 卷积输出尺寸算错。
4. 最后一层分类数和标签数不一致。
5. 学习率太高导致 loss 震荡。
6. 过拟合但没有使用正则化。

6.12 本章小结#

CNN 的核心不是“更复杂的层”，而是把视觉任务的结构先验编码进去。卷积、池化和多层堆叠让模型能更有效地从图像中提取局部到全局的特征。

6.13 课后练习#

1. 推导卷积输出尺寸公式。
2. 比较全连接层和卷积层的参数量差异。
3. 解释感受野是什么。
4. 说明为什么图像任务特别适合卷积网络。
5. 用 PyTorch 写一个简单 CNN 训练 MNIST 或 CIFAR-10。

6.14 卷积的数学细节与实现视角#

卷积在数学上可以被视作对输入张量做局部加权求和。对二维输入 $X\in\mathbb{R}^{H\times W\times C_{in}}$ 与卷积核 $K\in\mathbb{R}^{k_h\times k_w\times C_{in}\times C_{out}}$，输出 $Y$ 的某一位置 $(i,j,o)$ 为：

在工程实现上，常把卷积转化为矩阵乘法以便利用高效的 GEMM：这就是 im2col 技术。im2col 把滑动窗口展开为列矩阵，核张量展平为行矩阵，两者相乘即得输出。

优点：可以复用高度优化的矩阵乘法库（BLAS/CuBLAS）。缺点：内存占用上升且额外的重排开销。

6.15 卷积的反向传播（推导要点）#

设前向计算为 $Y = X * K$（* 表示卷积），损失 $L$ 对 $Y$ 的上游梯度为 $\frac{\partial L}{\partial Y}=G$。则梯度传播为：

• 对核的梯度：$\frac{\partial L}{\partial K} = X \star G$（其中 $\star$ 表示互相关或合适翻转后的卷积）；
• 对输入的梯度：$\frac{\partial L}{\partial X} = G * K_{rot}$（$K_{rot}$ 是核按空间维度翻转后的卷积）。

在 im2col 的实现下，反向传播可以转化为对矩阵乘法的转置操作，从而复用高速矩阵乘法接口。

工程实践要点：

1. 注意步幅与填充在前向与反向传播中的一致性；
2. group conv 会把 C_in 和 C_out 分成若干组，反向传播要分别计算；
3. 深度可分离卷积的权重更新与普通卷积不同，需要分别对深度卷积和逐点卷积求梯度。

6.16 进阶卷积类型#

6.17 现代网络模块与设计模式#

6.18 经典与现代视觉架构速览#

• LeNet：较浅网络，适合手写数字识别；
• AlexNet：引入 ReLU、Dropout、大型数据增强，是现代 CNN 的里程碑；
• VGG：使用多层小核（3x3）堆叠，结构简单但参数多；
• ResNet：残差连接使超深网络易于训练；
• DenseNet：密集连接，特征复用；
• MobileNet/ShuffleNet：轻量化网络，使用深度可分离卷积与通道混洗；
• EfficientNet：通过复合缩放法在宽度、深度与分辨率间寻优；
• Vision Transformer（ViT）：基于 Transformer 的图像建模，打破了卷积固有的局部归纳偏置。

理解架构演进的关键在于：如何在表达能力、计算效率与泛化之间做权衡。

6.19 迁移学习与微调策略#

迁移学习常见流程：

1. 选用预训练模型（ImageNet 或更大数据集）；
2. 替换最后一层以匹配目标任务类别；
3. 可选择冻结前若干层并只训练最后几层；
4. 逐步解冻并使用较小的学习率微调整个网络；
5. 记录验证集性能并使用早停。

实践建议：

• 小数据集优先冻结大部分卷积层；
• 使用较小的初始化学习率（如 1e-4）；
• 若使用 BatchNorm，注意训练/推理模式与小 batch 的统计不稳定问题。

6.20 数据增强与正则化技巧（视觉任务专用）#

进阶增强方法：

• Mixup：把两张图片和其标签按比例混合；
• CutMix：在一张图上切换一块区域并替换为另一张图的相应区域，标签按像素比例混合；
• AutoAugment / RandAugment：自动或随机搜索增强策略；
• Mosaic：把多张图片拼接成一个训练样本，常见于目标检测（YOLOv4）。

增强实践要点：

• 在训练时使用增强，验证时不要使用（或仅用中心裁剪/缩放）；
• 一些增强对小目标检测效果差，需按任务调整；
• Mixup 与 CutMix 在分类任务中通常能提升泛化，但会降低可解释性。

6.21 训练与调参实战清单（视觉）#

1. 数据准备：保证分割与检测任务的标注无误；
2. 小样本过拟合检查：能否在较小子集上过拟合？若不能，说明实现有问题；
3. 学习率策略：先用 LR-finder 找到合适初始 lr，再用 warmup + cosine 或 step decay；
4. Batch size 与学习率线性缩放：当增大 batch 时，适当增大学习率并延长训练；
5. 增加验证集频率以捕捉早期过拟合；
6. 记录训练/验证 loss、top-k accuracy、mAP（检测）、IoU（分割）。

6.22 评估指标（视觉任务）#

分类：Top-1 / Top-5 accuracy

目标检测：mAP@IoU（常用 0.5 或 0.5:0.95）

语义分割：mIoU（mean Intersection over Union）

实例分割：AP (Average Precision) with mask IoU

注意：选择符合下游业务的指标而非盲目追求单一数字。

6.23 可视化与可解释性（Grad-CAM 等）#

Grad-CAM 通过卷积特征图与上游梯度的加权和可视化网络关注区域，常用于定位模型判断依据并排查模型错误。

实现要点：

1. 选用最后一层或浅层卷积特征图做 Grad-CAM；
2. 用 ReLU 去掉负权重以获得更清晰的热力图；
3. 把热力图叠加到原图上便于观察。

6.24 实战代码：NumPy 实现的 im2col 卷积（前向与反向）#

下面给出简化的单通道 im2col 前向与反向实现（用于教学与梯度检验）：

1
import numpy as np
2

3
def im2col(X, k_h, k_w, stride=1, pad=0):
4
    N, H, W = X.shape
5
    H_p = H + 2*pad
6
    W_p = W + 2*pad
7
    Xp = np.pad(X, ((0,0),(pad,pad),(pad,pad)), mode='constant')
8
    out_h = (H_p - k_h)//stride + 1
9
    out_w = (W_p - k_w)//stride + 1
10
    cols = np.zeros((N, k_h*k_w, out_h*out_w))
11
    col_idx = 0
12
    for i in range(0, H_p - k_h + 1, stride):
13
        for j in range(0, W_p - k_w + 1, stride):
14
            patch = Xp[:, i:i+k_h, j:j+k_w].reshape(N, -1)
15
            cols[:, :, col_idx] = patch
16
            col_idx += 1
17
    return cols  # shape (N, k_h*k_w, out_h*out_w)
18

19
def col2im(cols, X_shape, k_h, k_w, stride=1, pad=0):
20
    N, H, W = X_shape
21
    H_p = H + 2*pad
22
    W_p = W + 2*pad
23
    Xp = np.zeros((N, H_p, W_p))
24
    out_h = (H_p - k_h)//stride + 1
25
    out_w = (W_p - k_w)//stride + 1
26
    col_idx = 0
27
    for i in range(0, H_p - k_h + 1, stride):
28
        for j in range(0, W_p - k_w + 1, stride):
29
            patch = cols[:, :, col_idx].reshape(N, k_h, k_w)
30
            Xp[:, i:i+k_h, j:j+k_w] += patch
31
            col_idx += 1
32
    if pad == 0:
33
        return Xp
34
    return Xp[:, pad:-pad, pad:-pad]
35

36
def conv_forward_simple(X, K, stride=1, pad=0):
37
    # X: (N, H, W), K: (k_h, k_w)
38
    N, H, W = X.shape
39
    k_h, k_w = K.shape
40
    cols = im2col(X, k_h, k_w, stride, pad)
41
    Kcol = K.reshape(-1)
42
    out = np.tensordot(cols, Kcol, axes=([1],[0]))  # (N, out_h*out_w)
43
    return out.reshape(N, (H + 2*pad - k_h)//stride + 1, (W + 2*pad - k_w)//stride + 1), cols
44

45
def conv_backward_simple(dout, cols, X_shape, k_h, k_w, stride=1, pad=0):
46
    # dout: (N, out_h, out_w)
47
    N, out_h, out_w = dout.shape
48
    dout_flat = dout.reshape(N, -1)
49
    # gradient wrt kernel
50
    dKcol = np.tensordot(dout_flat, cols, axes=([0,1],[0,2]))
51
    dK = dKcol.reshape(k_h, k_w)
52
    # gradient wrt input via col2im
53
    # compute contribution of each col multiplied by kernel entries
54
    # simplified here for teaching; production code should optimize
55
    return dK

注：此代码为教学示例，生产环境请使用框架高效接口。

6.25 PyTorch 训练脚本骨架（视觉任务）#

下面给出训练脚本的伪代码骨架，覆盖数据、模型、优化器、LR 调度、checkpoint 与日志：

1
def train_loop(model, train_loader, val_loader, cfg):
2
    optimizer = torch.optim.SGD(model.parameters(), lr=cfg.lr, momentum=0.9, weight_decay=cfg.wd)
3
    scheduler = torch.optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max=cfg.epochs)
4
    best_val = 1e9
5
    for epoch in range(cfg.epochs):
6
        model.train()
7
        for batch in train_loader:
8
            images, targets = batch
9
            preds = model(images)
10
            loss = criterion(preds, targets)
11
            optimizer.zero_grad()
12
            loss.backward()
13
            torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm=5.0)
14
            optimizer.step()
15
        scheduler.step()
16
        val_loss = validate(model, val_loader)
17
        if val_loss < best_val:
18
            best_val = val_loss
19
            save_checkpoint(model, optimizer, epoch, best_val)

6.26 常见问题与排查（视觉训练）#

1. Loss 为 NaN：检查输入是否含 Inf/NaN，检查学习率是否过大，检查数值稳定操作（log/softmax）。
2. 验证集突然变差：可能是数据泄漏、训练-验证分布差异或 augmentation 在验证时不一致。
3. 训练很慢或显存占满：检查 batch size、模型尺寸、是否使用混合精度（AMP）。
4. 检测到棋盘伪影：避免使用不当的反卷积，或者使用上采样+卷积替代反卷积。

6.27 章节级项目（实战）#

项目 A：CIFAR-10 基线与增强实验

• 任务：在 CIFAR-10 上训练 ResNet-18 基线，记录 top-1 accuracy 与训练/验证 loss 曲线。
• 要点：实现数据增强、训练脚本、lr schedule、checkpoint 保存、实验日志。
• 拓展：加入 Mixup、CutMix 或 AutoAugment，比较提升效果并写实验报告。

项目 B：基于预训练模型的迁移学习

• 任务：用 ImageNet 预训练的 ResNet 在一个小型自定义数据集上做微调，尝试冻结不同层数并比较效果。
• 要点：处理小 batch 对 BatchNorm 的影响，选择合适的微调学习率与 epoch。

6.28 本章小结（扩展）#

本章深入了卷积运算的数学与实现细节，介绍了多种卷积变体与现代视觉网络的设计思路，并给出了训练、调参与排查的实践清单。掌握这些内容能让你在图像任务中更有效地设计模型与解决工程问题。

6.29 参考资料与延伸阅读#

• “Deep Learning” — Goodfellow, Bengio, Courville（卷积与 Vision 章节）
• “ImageNet Classification with Deep Convolutional Neural Networks” — Alex Krizhevsky et al.
• “Deep Residual Learning for Image Recognition” — He et al.
• MobileNet / EfficientNet / ResNeXt / DenseNet 相关论文与实现