使用说明
这四个上机练习的"思考题"基本就是答辩和面试最爱问的点。下面把它们按项目归拢、逐题拆解,每题先给结论再讲原因,适合考前快速过一遍。
第一部分:Faster R-CNN
Q1:Faster R-CNN 为什么要先由 RPN 生成候选区域,再做分类和边界框回归?
把"在哪里"和"是什么"分开,每个候选区域都能拿到充分的特征计算资源做精细分类与回归,精度天花板更高。同时 RPN 与检测头共享 Backbone 特征,避免对全图每个位置都密集跑检测头,省掉大量重复计算。
Q2:FPN 为什么能检测不同尺寸的目标?
FPN 把不同分辨率的特征自顶向下融合:高分辨率层保留空间细节(利于小目标),低分辨率层提供强语义(利于大目标)。多尺度特征图让检测器在不同尺度上分别具备表达能力,而不是只在单一尺度硬扛。
Q3:COCO 的 bbox 为什么必须从 xywh 转成 xyxy?
因为格式约定不同。COCO 用 [x, y, width, height],而 torchvision 检测模型要求 [x1, y1, x2, y2]。转换即 x2 = x + width、y2 = y + height,并按图像边界裁剪;不转换模型读到的框位置直接错位。
Q4:为什么一次训练 batch 的 loss 下降不能说明检测精度提高?
loss 反映的是这一步的优化方向(分类误差、回归误差、RPN 前景/背景判断等四项之和),是训练过程的信号;检测精度(mAP)需要独立验证集上的预测与真实标注才能计算。一次 batch、随机初始化阶段的 loss 下降,只说明"反向传播和参数更新在工作",和模型能不能检得准是两件事。
第二部分:Mask R-CNN
Q1:实例分割和语义分割的输出有什么区别?
语义分割给每个像素打类别标签,但同类个体不区分——一片"猫像素"不知道是几只猫。实例分割为每个目标实例单独生成像素级 mask,画面里两只猫得到两个独立 mask。
Q2:为什么检测分支之外还需要 mask 分支?
检测框只能回答"目标在哪、是什么",矩形框内部包含大量背景像素,无法给出精确轮廓。mask 分支(全卷积网络)预测目标在检测框内的像素轮廓,先定类别再取对应类别的 mask 映射回原图,才能区分同类不同个体并给出精细边界。
Q3:Mini-mask 为什么能省显存?
整张图的二值 mask 尺寸等于图像尺寸,开销大。Mini-mask 先按实例边界框裁剪出最小区域,再缩放到固定小尺寸(如 28×28),训练时只监督这个小尺寸 mask,预测/可视化时再 expand_mask、unmold_mask 映射回原图,把监督信号的数据量压到很小。
Q4:原图明明有前景像素,为什么训练 batch 的 mask loss 仍可能是 0?
因为 mask loss 只在"匹配到真实前景实例的正样本 RoI"上计算。随机初始化的 RPN 可能没提出与真实实例 IoU 达标(≥0.5)的正 RoI,那么即使图像里有有效 mask,这个 batch 也没有可用的正样本 RoI,loss 自然为 0。这是训练初期正常现象,不是数据丢了。
补充一个易错点:mask 缩放时必须保住 0/1 语义。若 bool mask 转 uint8 后又按图像强度归一化,原来的 1 会变成约 1/255,取整后全成 0,实例直接消失。正确做法是 float32 保留 0/1,或对离散标签用最近邻插值。
第三部分:YOLO v3
Q1:YOLO v3 为什么要在三个不同尺度特征图上预测?
单一尺度特征难以兼顾大小目标。粗特征图感受野大、更适合大目标,细特征图保留空间细节、更适合小目标。多尺度是在不同层级特征上分别学习定位与分类,不是把同一结果缩放三次。
Q2:Anchor 的宽高如何影响预测框的初始形状?
Anchor 是候选框的先验宽高,预测时宽高按 b_w = p_w·e^{t_w}、b_h = p_h·e^{t_h} 还原,Anchor 越接近真实目标形状,网络只需学很小的偏移,收敛更快、定位更准。Anchor 形状选得差,偏移量就会偏大、难学。
Q3:Letterbox 后为什么必须同步变换边界框坐标?
Letterbox 会缩放并按比例补边,图像坐标系整体变了。若 bbox 还停在旧坐标,标签和目标真实位置就错开。所以两角点要做同样变换 x' = s·x + pₓ、y' = s·y + pᵧ。
Q4:置信度阈值和 NMS 阈值分别控制什么?
置信度阈值控制"有多少框留下来"——去掉分数低于阈值的候选;NMS 阈值控制"同一目标保留几个框"——按分数从高到低选,抑制与已选框 IoU 过高的重复框。一个管数量,一个管去重,作用完全不同。
Q5:为什么一次 CVAT 训练 batch 的 loss 不代表检测精度?
同 Faster R-CNN 的逻辑:一 batch 只验证数据读取、前向、损失、反向、参数更新、保存重载是否跑通。它既不是完整 epoch,也没有独立测试集和 mAP 评估,无法反映真实检测精度。
第四部分:YOLO v1
Q1:YOLO v1 为什么由目标中心所在的网格负责预测?
把图像划分成 S×S 网格后,用"中心点落点"这一规则唯一确定责任网格,使输出结构固定、推理直接。代价是空间分配受限:多个目标中心落入同一网格时难以分别预测,小目标中心稍偏就可能换网格。课程项目用的是 7×7 网格。
Q2:输出张量 S×S×(B×5+C) 各部分是什么?
S 是网格边长,B 是每个网格预测的框数,每个框含 (x, y, w, h, confidence) 共 5 维,C 是类别数。本课程项目 CPU 演示输出形状 (1, 7, 7, 15):batch=1、7×7 网格、每网格 15 维预测向量。15 维的具体拆分要结合本项目 config.py 与 model.py 的框数/类别数阅读,不能硬套别处教材的 30 维。
Q3:YOLO v1 与 YOLO v3 在多尺度和 Anchor 上有什么区别?为什么还需要独立验证集和 mAP?
v1 是单一尺度、无 Anchor、较浅特征,固定网格对密集小目标和极端长宽比目标表达力有限;v3 引入更深的 Darknet-53、三尺度特征融合和 Anchor 先验,显著增强了对不同尺度目标的表达。无论哪个版本,loss、输出形状、一次前向都只反映训练/前向过程,真正衡量检测好坏仍要靠独立验证集上的 Precision、Recall、AP、mAP——这是模型"检得准不准"的唯一可靠口径。
收尾:一条贯穿全部的主线
把这 16 题串起来看,反复考的就三件事:
- 机制:候选区从哪来(RPN / 网格 / 密集预测)、特征怎么多尺度(FPN / 三尺度)、框怎么回归(相对 Anchor 偏移 / 相对网格偏移)。
- 数据:格式转换(xywh↔xyxy)、坐标同步(Letterbox)、监督信号(mini-mask、标签分配)。
- 评估边界:loss ≠ 精度、标签可视化 ≠ 预测可视化、合成数据 ≠ 真实数据、演示 ≠ mAP。
转载自 CSDN-专业IT技术社区
原文链接:https://blog.csdn.net/anew___/article/details/170760498



