2.2.1 一维采样回顾#

设连续信号 $f(t)$，以间隔 $T_s$ 采样，得到离散序列 $f(nT_s)$。

用冲激串描述这个操作：

采样结果：

2.2.2 采样的频谱（核心推导）#

冲激串 $s_T(t)$ 的傅里叶变换：

（提示：周期冲激串 FT 仍是冲激串，间隔 $1/T_s$，幅值 $1/T_s$）

由乘积→卷积定理：

几何解释：原频谱 $F(u)$ 被复制到每个采样频率 $k f_s$（$f_s = 1/T_s$）的整数倍上。

1
原频谱 F(u)              采样后 F_s(u)
2
   ▲                       ▲
3
   │ ∧                     │ ∧    ∧    ∧    ∧
4
   │╱ ╲                    │╱ ╲  ╱ ╲  ╱ ╲  ╱ ╲
5
   ┼──────> u              ┼─────────────────> u
6
  -W 0 W                  -f_s  0   f_s  2f_s

2.2.3 Nyquist-Shannon 采样定理#

定理：若 $f(t)$ 频谱 $F(u) = 0$ 对所有 $|u| \geq W$（带限），则只要

采样序列 $\{f(nT_s)\}$ 可完美重建原信号。

$2W$ 称为奈奎斯特率。

几何解释：只要相邻频谱副本不重叠，就能用理想低通 $H(u) = T_s$ $\mathbf{1}_{[-W, W]}$ 取出中心副本 → IFT 得到原信号。

2.2.4 混叠 (Aliasing)#

若 $f_s < 2W$，相邻频谱副本重叠：

1
 ∧    ∧    ∧        发生重叠→
2
╱ ╲  ╱ ╲  ╱ ╲       无法分离原频谱
3
   ╲╱   ╲╱

高频 $u$ 会"折叠"到低频位置，造成虚假低频——这就是混叠。

公式化：采样后观察到的频率

典型现象：

• 摩尔纹 (Moiré)：拍摄屏幕、条纹衬衫出现彩色干涉纹
• 锯齿 (Jaggies)：斜线边缘出现阶梯
• 轮辐逆转：电影中车轮看起来倒转
• 视频闪烁：高频细节在下采样时跳变

2.2.5 抗混叠低通滤波 (Anti-Aliasing)#

解决办法：在采样之前用低通滤波器切掉高于 $f_s/2$ 的分量。

1
连续信号 ── LPF(截止 f_s/2) ── 采样 ── 数字信号
2
           ↑
3
          抗混叠滤波

手机摄像头：

• 光学抗混叠滤波片（OLPF，镜头前）
• 传感器的像素大小本身就是一种积分（=矩形低通）

OpenCV 中的 INTER_AREA：下采样时内部先做区域平均（即低通），然后采样——这是唯一在下采样时抗混叠的插值。

2.2.6 二维采样（图像）#

直接推广：

频域：二维频谱按 $(1/\Delta x, 1/\Delta y)$ 间隔复制。

二维 Nyquist：

2.2.7 数值例子#

例 2.1：一幅 A4 纸扫描件，最高空间频率 200 周/英寸。问：扫描分辨率至少多少 DPI？

答：需 $f_s \geq 2 \times 200 = 400$ 样本/英寸 → 至少 400 DPI。 实际办公打印一般 300 DPI——对纯文本够用（文字最高空间频率约 150 周/英寸），对条纹插图就会出现摩尔纹。

例 2.2：某相机传感器 4000×3000 像素，拍摄 10 米远宽 2 米的物体。问可分辨的最小物体尺度？

答：每像素对应 2 m / 4000 = 0.5 mm（水平方向）。Nyquist 告诉我们：可分辨的最小条纹周期约为 2 倍采样间隔 = 1 mm，即约 1 个 line pair per mm。

2.3.1 均匀量化#

将连续幅度范围 $[f_{\min}, f_{\max}]$ 等分为 $L = 2^k$ 个子区间，每个子区间用一个代表值（通常是中点）。

量化函数：

量化步长：

2.3.2 量化误差与 SNR#

量化误差 $e = f - \hat{f}$ 满足 $|e| \leq \Delta/2$。

假设 $e$ 在 $[-\Delta/2, \Delta/2]$ 均匀分布（对高斯等复杂分布成立），则

信号峰峰值为 $L\Delta$，若信号振幅为 $A = L\Delta/2$，则信号功率 $\sigma_s^2 = A^2/2 = L^2\Delta^2/8$（正弦信号）。

量化 SNR：

记住一句话：每增加 1 bit，量化 SNR 提升约 6 dB。

数值感：

8-bit 相当于约 50 dB SNR——比自然光学噪声（一般 40 dB）还干净，所以 8-bit 对消费照片足够。但 HDR、医学要更高。

2.3.3 非均匀量化#

真实信号分布往往非均匀，统一步长浪费比特。

Lloyd-Max 量化器：给定分布 $p(f)$，最优量化器满足：

• 决策边界：$b_i = (\hat{f}_{i-1} + \hat{f}_i) / 2$
• 代表值：$\hat{f}_i = E[f \mid f \in (b_{i-1}, b_i)]$

即"代表值在各区间的条件均值，边界在相邻代表值的中点"。迭代求解。

对数/μ 律量化：语音、亮度等服从"小信号概率高"的分布，对数压缩后再均匀量化，等效于暗部细、亮部粗。

示例：相机的 Log Gamma 曲线（S-Log、Log-C）—本质就是非均匀量化，让后期宽容度更大。

2.3.4 伪轮廓 (False Contour / Banding)#

位深不足 → 本应平滑的过渡区出现条带状阶梯：

1
实际场景                   6-bit 量化后
2
 渐变天空                   天空变成宽阶梯
3
  ░░▒▒▓▓██                 ░░░░▒▒▒▒▓▓▓▓████

2.3.5 抖动 (Dithering) 去伪轮廓#

在量化前故意加噪声，把量化误差打散到不同空间位置：

Floyd-Steinberg 误差扩散：量化当前像素 → 把量化误差按权重扩散到右、下、右下邻居：

1
          *   7/16
2
  3/16  5/16  1/16

扩散后重新量化邻居，形成"像素级的半色调"——这是打印机和 GIF 都在用的技巧。

1
# skimage 实现
2
from skimage.filters import threshold_otsu
3
from skimage.color import rgb2gray
4
from skimage import img_as_ubyte
5
import numpy as np
6

7
def floyd_steinberg(img):
8
    a = img.astype(np.float32).copy()
9
    h, w = a.shape
10
    for y in range(h):
11
        for x in range(w):
12
            old = a[y, x]
13
            new = round(old / 255) * 255
14
            a[y, x] = new
15
            err = old - new
16
            if x+1 < w: a[y,   x+1] += err * 7/16
17
            if y+1 < h:
18
                if x > 0:   a[y+1, x-1] += err * 3/16
19
                a[y+1, x]   += err * 5/16
20
                if x+1 < w: a[y+1, x+1] += err * 1/16
21
    return np.clip(a, 0, 255).astype(np.uint8)

2.3.6 位平面分解#

任意灰度值 $f \in \{0, \ldots, 255\}$ 可分解为 8 个二进制位：

把每个位 $b_k$ 作为一幅二值图，称为位平面。

• 高位平面（$b_6, b_7$）：主要结构
• 低位平面（$b_0, b_1$）：细节 + 噪声

应用：数字水印（藏在低位平面不易察觉）、压缩（JPEG2000 的 EBCOT 就是位平面编码）。

2.4.1 分辨率的四种含义#

2.4.2 空间与灰度的权衡#

Huang 经典实验 (1965)：在总 bit 预算 $M \times N \times k$ 恒定下，改变 $M, N, k$，看人主观评价。

结论：

• 典型自然图像，灰度先降到 16 级就出现明显伪轮廓
• 空间分辨率降到原来一半，主体仍可识别
• 优先分配 bit 给灰度通常更划算

反例：文字、线条图（二值内容），灰度只需 2 级就够，应优先空间分辨率。

2.4.3 视觉分辨率（dpi 与 ppi）#

• dpi (dots per inch)：打印机墨点密度
• ppi (pixels per inch)：屏幕/图像像素密度
• 人眼25 cm 观看距离可分辨约 300 ppi（视力 1.0，1 arcmin）——所以 Retina 屏 330+ ppi 被称为"视网膜级"

2.5.1 前向 vs 后向映射（务必理解）#

假设变换 $T: (x, y) \mapsto (x', y')$。

前向映射：对每个源像素 $(x, y)$ 算出目标位置 $(x', y')$，把值"推"过去。 问题：

• 目标像素可能被多次写入（重叠）
• 也可能无像素写入（空洞）

后向映射（工业标准）：对每个目标像素 $(x', y')$，用 $T^{-1}$ 查源坐标 $(x, y)$，查值放到目标。

• 每个目标像素一定被写入一次
• 源坐标非整数 → 用插值

1
# OpenCV 默认就是后向映射
2
dst = cv2.warpAffine(src, M, dsize)

2.5.2 最近邻插值#

• 最快，无浮点
• 不引入新值（保留离散标签）
• 缺点：严重锯齿、马赛克

应用场景：分割标签图、掩膜、索引图——绝对不能引入新"类别"值。

2.5.3 双线性插值 (Bilinear)#

用 $(x, y)$ 周围 4 个整数像素，按距离线性加权。

记 $i = \lfloor x \rfloor, j = \lfloor y \rfloor, u = x - i, v = y - j$，则：

两步推导：

1. 行方向线性插： $f_1 = (1-u) f(i, j) + u \, f(i+1, j)$ $f_2 = (1-u) f(i, j+1) + u \, f(i+1, j+1)$
2. 列方向线性插： $\hat{f} = (1-v) f_1 + v f_2$

数值例子：在 $x=0.3, y=0.7$ 处插值，邻域像素值：

1
f(0, 0)=100   f(1, 0)=200
2
f(0, 1)=50    f(1, 1)=150

按公式：

特点：

• 连续（但一阶导数不连续 → 肉眼轻微"模糊"）
• 速度快
• 默认选择

2.5.4 双三次插值 (Bicubic)#

用 $(x, y)$ 周围 4×4 = 16 个像素，三次多项式加权：

常用 $a = -0.5$（Catmull-Rom），也有 $a = -0.75$（OpenCV INTER_CUBIC）。

好处：

• 一阶导数连续 → 视觉更锐利
• 能轻微锐化（负的旁瓣）
• 照片放大的默认选择

2.5.5 Lanczos 插值#

理论上的"理想重构"是用 sinc 函数——但 sinc 无限长，不可实现。Lanczos 窗把 sinc 截断并加平滑窗：

常取 $a = 2$ 或 $3$ 即 Lanczos-2 / Lanczos-3。

支持 6×6 或 8×8 邻域，比 bicubic 更锐但有轻微振铃。适合极致清晰度放大。

2.5.6 插值方法对比#

经验规则：

• 放大用 INTER_CUBIC 或 INTER_LANCZOS4
• 缩小用 INTER_AREA（抗混叠）
• 掩膜/标签用 INTER_NEAREST

2.5.7 缩放时为什么先模糊？#

下采样 = 降低采样频率 → 必须先切掉高于新 Nyquist 的频率：

1
原图 → Gaussian blur (σ ∝ 缩放比) → 下采样

cv2.pyrDown 内部就是这样做的。直接 cv2.resize(..., INTER_LINEAR) 放大后下采样会混叠；INTER_AREA 则内部做区域平均。

2.6.1 齐次坐标 (Homogeneous Coordinates)#

2D 点 $(x, y)$ 扩展为 $(x, y, 1)$。好处：所有变换（包括平移）都能写成矩阵乘法，方便级联。

反向变换：$(x, y, w) \to (x/w, y/w)$。

2.6.2 刚体变换（旋转 + 平移）#

自由度 (DoF) = 3（$\theta, t_x, t_y$）。保距、保角。

2.6.3 相似变换（刚体 + 各向同性缩放）#

DoF = 4。保角、不保距。

2.6.4 仿射变换#

DoF = 6。保直线、保平行、保面积比，但不保角。

分解：任意仿射可分解为 "平移 × 旋转 × 剪切 × 缩放"。

常用特例：

绕非原点旋转：

即"平移到原点 → 旋转 → 平移回去"。OpenCV 直接封装为：

1
M = cv2.getRotationMatrix2D(center, angle, scale)  # 2x3

仿射求解：3 对点可唯一确定（6 方程 6 未知）。

1
M = cv2.getAffineTransform(src_3pts, dst_3pts)

2.6.5 透视/投影变换 (Homography)#

关键区别：最后一行不是 $(0, 0, 1)$，意味着 $w$ 可以变化——不保持平行性！

DoF = 8（9 个元素减归一化）。4 对点可解。

不变量：保直线、保交比 (cross-ratio)。

典型应用：

• 文档扫描矫正（拍斜了的纸张）
• 车牌正视图
• 运动场广告替换
• 全景拼接
• 无人机航拍图正射

1
H = cv2.getPerspectiveTransform(src_4pts, dst_4pts)
2
rect = cv2.warpPerspective(img, H, (W, H))

2.6.6 变换层次总结#

1
欧氏(3) ⊂ 相似(4) ⊂ 仿射(6) ⊂ 投影(8)
2
保距      保角      保平行    保直线

每增加一层，保留的几何性质减少，但能建模的变形增加。

2.6.7 数值例子：文档矫正#

一张拍歪的 A4 纸，4 个角被检测到：

1
src = [(100, 80), (500, 120), (480, 720), (80, 680)]  # 拍摄中的四角
2
dst = [(0, 0), (600, 0), (600, 800), (0, 800)]         # 要映射到 600×800 矩形

1
H = cv2.getPerspectiveTransform(
2
    np.float32(src), np.float32(dst))
3
out = cv2.warpPerspective(img, H, (600, 800))

out 就是正视图——这是"手机扫描 App"的核心算法。

✅ 必须掌握#

• 采样定理的完整推导（冲激串 → 频谱复制 → 不重叠条件）
• 混叠的成因与实例
• 量化 SNR 公式 $6.02k + 1.76$
• 空间 / 灰度分辨率权衡
• Floyd-Steinberg 误差扩散原理
• 前向 / 后向映射，为什么选后向
• 双线性、双三次插值的公式与应用场景
• INTER_AREA 在下采样为什么最合适
• 齐次坐标 + 仿射 / 透视变换矩阵
• 计算点阵对应数：仿射 3 点、透视 4 点

💡 高频面试题#

Q1. 为什么 1024×1024 图像的 FFT 尺寸一般选 2048？

答：防止循环卷积的混叠/边界效应。DFT 把信号当作周期延拓，长度 N 的线性卷积结果长度为 $2N - 1$，需至少零填充到 $\geq 2N - 1$，取 2 的幂故选 2048。

Q2. 下采样 2× 时，为什么 INTER_AREA 效果最好？

答：INTER_AREA 相当于对 2×2 区域求均值——这是一个 2×2 的低通滤波器，先抑制高于新 Nyquist 的频率，再隔点采样。INTER_LINEAR 只取 2×2 加权，没有抗混叠作用。

Q3. 为什么仿射只有 6 自由度、透视却有 8？

答：

• 仿射变换：2×2 线性部分（4 参数） + 2 维平移 = 6 DoF
• 透视变换：3×3 矩阵 9 参数，减去整体缩放不变（归一化）= 8 DoF
• 自由度决定了"至少需要几对点"：仿射 3 对（每对提供 2 个方程），透视 4 对。

Q4. 双线性插值能否保留图像的最大值？

答：保留。公式 $\hat{f} = \sum w_i f_i$，其中 $w_i \geq 0, \sum w_i = 1$，所以 $\min f_i \leq \hat{f} \leq \max f_i$——永不超出原值范围。 但双三次不能，它的权重有负值（旁瓣），会产生 over/undershoot。

Q5. 8-bit 量化的 SNR 是多少？实际照片为什么常低于此？

答：理论 $6.02 \times 8 + 1.76 \approx 49.9$ dB。 实际照片受传感器噪声、镜头散射、JPEG 压缩等影响，通常只有 30-40 dB——量化噪声远非主导。

Q6. 如何检测 JPEG 的 8×8 块效应？

答：计算像素沿水平/垂直方向的二阶差分，若在 $k \cdot 8, k = 1, 2, \ldots$ 处出现周期性峰值，就是块效应。现代去块滤波器（deblocking）专门检测并平滑这些位置。

Q7. 一张图像旋转 30° 后，需要多大画布？

答：新画布尺寸：

并需调整平移 $t_x, t_y$，使旋转后图像居中。代码见 §2.7。