★ FEATURED ARTICLE 很多人学计算机视觉第一个正式接触的手工特征基本就是HOG坊间叫法很多方向梯度直方图、Histogram of Oriented Gradients翻译过来都行。真正让我觉得这个特征有意思的是它明明只是统计了一下“图像局部区域里梯度都朝哪个方向”却能在行人检测、车辆识别这类任务上撑起过整个时代。这个项目我前前后后改了三版核心就一件事用Python把HOG特征从像素到特征向量的每一步都拆开然后以可视化方式画出来让公式、算法变成能直接看到的图和数据。项目本身不复杂但对理解计算机视觉的特征工程帮助极大。无论你是刚接触目标检测的学生还是在做传统视觉方案落地的开发者只要想弄清楚“HOG到底在算什么、为什么这样算、参数调了会怎样”这篇都应该能给你一些可复现的参考。我会从原理拆解讲起再给完整的Python实现和可视化代码最后把实际跑代码时踩过的高频问题一并列出来。1. 核心原理拆解HOG特征到底在算什么1.1 为什么“梯度方向”能描述物体形状先想一个问题我们看一张灰度图要描述“这里有一条腿”“那里有一个头”靠的是什么呢靠的是边缘和轮廓。而边缘在数学上的本质就是灰度发生剧烈变化的位置也就是梯度幅值大的地方。HOG比单纯边缘检测更进一步的地方在于它不光记录“这里有边缘”还记录“这个边缘朝哪个方向走”以及在局部小块里这些方向的统计分布。这就相当于把一个图像区域里所有边缘的方向和强度做了一个“投票统计”最后得到一组能代表这个区域形状特征的数值。举个例子一个行人腿部的边缘大多是竖直走向的那这个区域的梯度方向直方图里接近90度方向的bin响应就会高而地面阴影、栏杆这些横着的边缘则在0度或180度附近集中。HOG特征正是把这些方向分布变成一组固定长度的向量后续分类器拿这组向量去判断“这像不像一个人”就比直接拿像素值靠谱得多。原因也很直观像素灰度受光照、对比度影响太大而梯度方向对灰度整体平移不敏感对局部光照变化也有一定容忍度这正是它作为目标描述子的核心优势。1.2 HOG标准流程与特征向量维度计算论文里给出的标准流程可以拆成五步这也是我代码里的主线图像预处理转灰度必要时做Gamma校正我用的是灰度图加可选Gamma。计算每个像素的梯度幅值和方向通常用一维模板 [-1, 0, 1] 做卷积。把图像划分成若干8x8像素的Cell在每个Cell内统计9个方向区间的梯度幅值加权直方图。把相邻的2x2个Cell组合成一个Block对Block内的36维特征做归一化消除光照和对比度影响。以固定步长滑动Block把所有Block的特征向量拼接起来就是整张图的HOG描述子。这些步骤单独拿出来都不难但组合在一起时特征维度会涨得很快很多人在这里就开始糊涂了。我给个具体计算过程假设输入图像大小为64x128像素Cell为8x8Block为2x2个Cell步长为一个Cell直方图Bin数为9。Cell网格数是(64/8)x(128/8)8x16个。Block在水平方向能滑动的次数是8-17垂直方向是16-115所以Block总数是105个。每个Block包含2x2个Cell每个Cell有9维特征所以每个Block就是36维。最终特征维度就是105x363780维。这个数字在现在的深度学习模型面前不值一提但在手工特征时代已经算很高维了。维度高带来的问题是计算量大、容易过拟合所以后续很多改进都围绕降维和加速展开这也能解释为什么后来出现了PCA-HOG、积分直方图这些变体。2. 可视化复现前的准备与核心思路2.1 环境依赖与数据选择建议我用的环境很简单Python 3.10核心库是numpy、matplotlib、scikit-image顺便装了OpenCV用于读取图片。这三个库的分工很明确numpy负责所有矩阵运算matplotlib负责画可视化图scikit-image只用来做“标准答案”对比验证不让它参与手工实现逻辑避免自己骗自己。如果只是跟着做推荐直接在虚拟环境里装pip install numpy matplotlib scikit-image opencv-python数据选样要注意一点最好选一张轮廓清楚、背景不太杂乱的行人样本尺寸统一resize到64x128这也是行人检测最经典的输入尺寸。我测试用的是一张从公开数据集里裁剪出来的街拍行人图背景有树和路灯但主要轮廓非常清晰。你也可以用自己拍的照片但尽量别选低分辨率的自拍梯度计算会把噪声放大到没法看。2.2 可视化目标拆解到底要画哪些图“可视化复现”这个词听起来泛实际落地上我把它拆成了四个具体目标每个目标对应一组图和一段独立代码第一梯度场可视化。就是把每个像素的梯度方向用箭头表示箭头方向指向梯度方向箭头长短对应梯度幅值。这是最底层的一步能看到图像里边缘“长什么样”。第二Cell直方图叠加图。在原图或灰度图上以每个8x8像素块为单位画一个9维直方图用类似“风玫瑰”的形式呈现直方图的长条方向代表方向区间长度代表投票权重。这也是最经典、最直观的HOG可视化样式。第三归一化后的特征图。把Block归一化前后的数值映射成亮度或颜色直观看到归一化到底压掉了什么。第四最终特征向量的整体形态图。把3780维向量直接画成一条信号曲线或二维热图观察不同部位的响应分布。这四个目标由浅入深每完成一个对HOG的理解就加深一层。我当时最先跳过了第一层直接画直方图结果出了Bug都定位不到因为根本不知道原始梯度场长什么样。建议你按顺序来别偷懒。3. 分步实现从像素到特征向量的完整Python代码3.1 梯度计算与梯度场可视化梯度计算是整个HOG的地基网上很多实现直接用np.gradient但为了能讲清楚原理我选择自己写卷积。核心是用一维核[-1, 0, 1]分别对图像做水平和垂直卷积得到gx和gy然后用arctan2求方向用勾股定理求幅值。import numpy as np import matplotlib.pyplot as plt from skimage import io, color def compute_gradient(gray): # 使用 [-1, 0, 1] 模板计算梯度边界用最近邻填充 gx np.zeros_like(gray, dtypenp.float32) gy np.zeros_like(gray, dtypenp.float32) gx[:, 1:-1] gray[:, 2:] - gray[:, :-2] gy[1:-1, :] gray[2:, :] - gray[:-2, :] magnitude np.sqrt(gx ** 2 gy ** 2) angle np.arctan2(gy, gx) * 180.0 / np.pi angle[angle 0] 180.0 # 映射到 [0, 180)形成无符号梯度 angle angle % 180.0 return gx, gy, magnitude, angle img io.imread(pedestrian.png) gray color.rgb2gray(img) gx, gy, mag, angle compute_gradient(gray)这里有个容易踩的细节arctan2返回的是(-180, 180]区间而HOG一般用“无符号梯度”也就是认为方向180度和0度是同一个边缘方向所以要统一映射到[0, 180)。这步如果不做后续统计直方图时同一个竖直边缘的方向会被分到两个完全不同的bin里特征就乱了。画梯度场时要注意图像里每个像素都画箭头会糊成一团所以要按等间隔采样。一般每16到20个像素抽一个点只显示幅值超过阈值的部分否则那些弱纹理区域会画满方向随机的短箭头干扰视觉判断。fig, ax plt.subplots(figsize(10, 10)) ax.imshow(gray, cmapgray) step 16 threshold np.percentile(mag, 70) # 只画幅值前30%的像素 y, x np.mgrid[step//2:gray.shape[0]:step, step//2:gray.shape[1]:step] valid mag[y, x] threshold ax.quiver(x[valid], y[valid], gx[y, x][valid], gy[y, x][valid], mag[y, x][valid], anglesxy, scale_unitsxy, scale0.3, cmapplasma, width0.002) ax.invert_yaxis()画出来以后你会看到行人的轮廓附近箭头明显又长又整齐而背景树叶区域箭头方向杂乱且短。这一步就直观验证了“梯度幅值集中在边缘”这个结论。3.2 Cell直方图统计与Block归一化梯度算完接下来就是统计直方图。我先把图像划分成8x8的Cell然后对每个Cell内64个像素的梯度方向进行加权投票权重就是梯度幅值。要注意方向区间划分9个bin每个占20度范围是0到180度。def cell_histogram(mag, angle, cell_size8, bin_size9): h, w mag.shape ncell_y h // cell_size ncell_x w // cell_size bin_width 180.0 / bin_size hist np.zeros((ncell_y, ncell_x, bin_size), dtypenp.float32) for i in range(ncell_y): for j in range(ncell_x): cell_mag mag[i*cell_size:(i1)*cell_size, j*cell_size:(j1)*cell_size] cell_angle angle[i*cell_size:(i1)*cell_size, j*cell_size:(j1)*cell_size] for k in range(bin_size): low k * bin_width high low bin_width mask (cell_angle low) (cell_angle high) hist[i, j, k] np.sum(cell_mag[mask]) return hist这个双重循环在Python里效率不高工程上会用numpy的直方图函数或Cython加速但作为可视化复现项目清晰度优先慢一点无所谓。我自己实测一张64x128图像跑完大概不到100毫秒完全能接受。Block归一化这步是整个HOG的精华也是最容易忽略的一步。它的逻辑是把相邻4个Cell的特征拼成一个36维向量然后对整个向量做L2范数归一化就像把所有数值同时缩放到同一尺度。这样做等于给特征乘了一个“光照补偿系数”能明显减轻阴影和局部光照变化的影响。def block_normalize(cell_hist, block_size2, eps1e-6): ncell_y, ncell_x, n cell_hist.shape feat_vectors [] for i in range(ncell_y - block_size 1): for j in range(ncell_x - block_size 1): block cell_hist[i:iblock_size, j:jblock_size, :] v block.flatten().astype(np.float32) norm np.sqrt(np.sum(v ** 2) eps) v_norm v / norm # 可选L2-Hys先裁剪再二次归一化skimage默认使用这种方式 v_norm np.clip(v_norm, 0, 0.2) v_norm v_norm / (np.sqrt(np.sum(v_norm ** 2)) eps) feat_vectors.append(v_norm) return np.concatenate(feat_vectors) features block_normalize(cell_hist) print(特征维度:, features.shape)这里加了eps1e-6是必须的因为纯色区域的梯度幅值全是0直接除会得到NaN这个细节我在后面问题排查里还会重点讲。3.3 把Cell直方图画出来风玫瑰图叠加到此特征已经能算出来了但光看一串3780维的数字没有任何感觉所以下一步是画图。最常见的可视化方式是在每个Cell中心画一个小“风玫瑰图”用9条短线表示9个bin线越长代表该方向的累计梯度幅值越大。我直接用matplotlib的LineCollection来实现一次性把所有Cell画完性能不错代码也简洁。from matplotlib.collections import LineCollection def draw_hog_on_image(ax, gray, cell_hist, cell_size8): ncell_y, ncell_x, n_bins cell_hist.shape bin_width 180.0 / n_bins lines [] colors [] linewidths [] for i in range(ncell_y): for j in range(ncell_x): cx j * cell_size cell_size / 2 cy i * cell_size cell_size / 2 hist cell_hist[i, j] for b, val in enumerate(hist): ang np.deg2rad(b * bin_width bin_width / 2) dx np.cos(ang) * val dy -np.sin(ang) * val lines.append([(cx, cy), (cx dx, cy dy)]) colors.append(val) linewidths.append(1.0 val / 10.0) lc LineCollection(lines, colorscolors, linewidthslinewidths, cmapviridis, alpha0.9) ax.add_collection(lc) fig, ax plt.subplots(figsize(12, 12)) ax.imshow(gray, cmapgray) draw_hog_on_image(ax, gray, cell_hist)这张图画出来特别有感觉你能看到行人腿部对应的Cell里接近竖直方向的长线明显比较多且线条很长背景区域则是短的、方向均匀的小线。方向投票的分布变成了看得见的结构这是理解HOG最直观的画面。3.4 与skimage官方实现的结果对比验证自己实现了总怕算错最靠谱的验证方式是和成熟库的结果对比。scikit-image里的feature.hog是业界标准实现我用手工实现的结果和它做比对特征向量几乎一样。对比思路是把两个特征向量reshape成同样长度计算欧氏距离和逐维相关系数。from skimage.feature import hog as skhog fd, hog_image skhog(gray, orientations9, pixels_per_cell(8, 8), cells_per_block(2, 2), block_normL2-Hys, visualizeTrue) distance np.linalg.norm(features - fd) print(欧氏距离:, distance) # 我实测的结果是 1.2e-4 左右差异主要来自边界填充和浮点精度因为我自己实现里block归一化后面加了L2-Hys裁剪和skimage默认一致所以对得上。如果你写得不对比如忘记做角度无符号映射这个距离会大到离谱一眼就能发现问题。这一步相当于给整个实现上了一道保险强烈建议保留。4. 把特征能量可视化除直方图之外的两个视角4.1 归一化前后特征能量图的差异直方图叠加能展示每个Cell的方向分布但看不出来Block归一化带来的具体变化。为此我做了另一种可视化记录归一化前后每个Cell的局部特征范数映射成亮度或颜色画成热图。具体做法是分别计算每个2x2 Block内36维向量的L2范数然后把该值填回4个Cell位置形成一张“能量图”。def block_energy_map(cell_hist, block_size2): ncell_y, ncell_x, n cell_hist.shape energy np.zeros((ncell_y, ncell_x), dtypenp.float32) for i in range(ncell_y - block_size 1): for j in range(ncell_x - block_size 1): v cell_hist[i:iblock_size, j:jblock_size, :].flatten() norm np.sqrt(np.sum(v ** 2)) energy[i:iblock_size, j:jblock_size] norm return energy fig, axes plt.subplots(1, 2, figsize(16, 8)) for ax, data, title in zip(axes, [energy_raw, energy_norm], [归一化前, 归一化后]): im ax.imshow(data, cmaphot) ax.set_title(title) plt.colorbar(im, axax)从对比图上能明显看到归一化前整张图的能量集中在高对比度区域比如行人衣服和背景的交界处归一化后原本暗部的纹理被“提亮”了这是因为每个Block都会缩放其内部特征让局部对比度占主导而不是全局灰度占主导。这个效果用语言讲很难体会看到热图就懂了。4.2 特征向量的整体形态图还有一种可视化适合宏观观察把拼接后的3780维特征向量的绝对值画成信号折线图或reshape成一张二维图。画信号曲线能看到特征在不同维度上的脉冲分布画二维图则能看出空间位置的响应关系。plt.figure(figsize(15, 4)) plt.plot(np.abs(features)) plt.xlabel(特征维度) plt.ylabel(响应幅值)说实话这个图的信息量比较碎但它能让你直观理解“稀疏性”这个概念HOG特征里大部分维度响应接近0只有边缘密集区域对应维度才有明显峰值。这意味着特征空间是一个高维稀疏空间后续分类器其实只需要关注少数关键维度。这个理解对做特征选择、压缩都有帮助。5. 参数影响与常见问题排查实录5.1 四个核心参数怎么调实测对照表HOG的可调参数不多但每个都影响显著。我干脆做了一组对比实验在不同参数组合下重复提取特征统计维度变化和可视化差异。参数常用值调大影响调小影响我的建议细胞大小Cell Size8x8特征维度降低丢失细节特征维度升高对噪声敏感8x8是通用平衡点小目标可用4x4块大小Block Size2x2归一化范围扩大更抗光照范围变小局部信息更细默认2x2干扰强可试3x3方向Bin数9方向分辨率更高但易过拟合方向区分度不足9是论文验证过的稳定值滑动步长Stride1个Cell计算量降低特征可能有空洞信息重叠多更鲁棒但冗余检测任务常选1追求速度可选2一个容易被忽略的直觉Block要设置成重叠的也就是滑动步长小于Block尺寸这样同一Cell会被多个Block复用特征对位置偏移的容忍度更高。这跟卷积神经网络里感受野重叠的用意一脉相承。5.2 三个高频Bug与排查思路第一个Bug是角度范围没处理好。arctan2返回负角度时如果不加180度直接统计直方图会在0度附近出现假峰值。排查方法很简单把中间变量angle的取值打印出来看有没有负数。第二个Bug是归一化除零。全黑或纯色区域的Block范数为0v / norm直接得到NaN后面整个特征向量全部污染。排查时可以先统计norm为0的Block数量。解决方案就是我前面代码里的eps但别加太大1e-6就够太大反而会压缩真实响应。第三个Bug比较隐蔽用matplotlib画箭头/线条时默认坐标系的y轴方向是向上的而图像数组的y轴是向下的。如果不做ax.invert_yaxis()画出来的直方图线和原图上下颠倒看起来很怪但特征计算本身没问题容易让人误判是特征算错了。我建议在绘图代码里统一加上invert_yaxis。5.3 从可视化复现中学到的经验这个项目做完我对HOG的两个边界条件认识深刻多了。第一HOG对图像尺度非常敏感同一物体在不同尺度下Cell内统计的梯度方向分布差异很大所以传统检测器一般都要做多尺度金字塔扫描。第二HOG对角点、低纹理区域不敏感所以它描述的是“形状轮廓”而不是“纹理细节”这决定了它适合行人这类轮廓特征清晰的任务不适合布纹、皮肤这类细纹理识别。与其说这是局限不如说是定位。另外在整个复现过程中我发现自己对“归一化到底归一化了什么”的理解远比看公式时深刻。公式只是告诉你除以模长但可视化后你会真正看到它压缩的是局部对比度差异而不是消除纹理。这个区别在做特征融合时很重要。最后分享一个小技巧做HOG相关实验时建议先在代码里把每一个中间变量都保存成.npy文件或画成图尤其是梯度幅值、角度、Cell直方图这三层。因为HOG的Bug往往不会让最终特征完全错掉而只是局部数值偏大或偏小肉眼从最终特征向量里根本看不出来但每次看一眼中间可视化图问题就无所遁形了。在我自己的后续计划里打算把这套“可视化拆解方法”推广到LBP和Haar特征上。核心思想都是一样的别把特征当成黑盒调包而是把它拆开画出来你会发现看似复杂的算法背后都是朴素直觉。希望你也能在动手复现的过程中体会到这种“原来如此”的瞬间。
阅读完成 · 觉得有帮助？
