Foundation4D：迈向自动驾驶汽车的统一感知与重建模型

摘要

https://arxiv.org/pdf/2610.30340

我们提出 Foundation4D，一个统一的前馈模型，用于从多相机行车视频中进行几何估计、3D 检测、语义占用和高斯重建。共享骨干网络使用因子化时空注意力，以高效地融合跨相机和跨时间的观测。我们的视频推理流水线使用位姿图优化来精化相机轨迹，并跨输入窗口组装目标轨迹。我们还开发了一条数据标注流水线，并发布 PAI-Foundation4D，这是一个包含 1,253 个驾驶片段稠密深度和语义占用标签的基准。经过针对基准的微调，在对比方法中，Foundation4D 在 Waymo 和 nuScenes 上取得最低的深度 AbsRel，在 nuScenes 上取得最高的检测 mAP，在 OpenOccupancy 上取得最高的占用 mIoU。我们的任务组合研究表明检测和几何均受益：将检测与几何和占用联合训练，相比仅检测训练将 top-class mAP 提升 1.2 个点；而将几何与检测联合训练，相比仅几何训练将相机到支架的平移误差降低 13.4%。我们进一步将预测的几何和轨迹作为无激光雷达 NuRec 的先验，支持为仿真重建驾驶场景。

1. 引言

自动驾驶汽车系统开发中的两个核心目标是理解驾驶环境和为仿真重建录制的场景。二者都需要恢复场景几何、目标、其运动以及它们占据的空间。统一感知模型通过共享视觉表示学习这些能力，避免由独立网络重复处理相同的观测。UniAD 和 PARA-Drive 将感知与预测和规划连接起来 [1, 2]，而 GeoUP 从行车视频中联合预测深度、3D 目标和语义占用 [3]。这些输出捕获了场景重建所需的大部分结构和运动。仿真额外需要恢复场景外观，以便环境和其运动参与者能够从新视角渲染。因此，统一感知与重建将使共享模型既能理解真实驾驶场景，又能为仿真重建它们。

前馈重建的最新进展为这种集成提供了基础。VGGT [4] 从多张图像中联合恢复相机参数和稠密几何，而 Instant NuRec [5] 等高斯重建模型无需逐场景优化即可预测可渲染的驾驶场景。这些进展使得直接从图像推断场景结构和外观成为可能，但将其扩展到多相机视频的共享模型需要高效利用跨视图和跨时间的观测。特别是，VGGT 中使用的全局注意力随图像 token 总数呈二次增长，使得较长序列的处理成本高昂。

我们提出 Foundation4D，一个用于驾驶感知和重建的前馈模型。共享骨干网络从多相机视频中提取特征，任务特定解码器在输入窗口的单次前向中预测相机位姿和度量深度、3D 目标、语义占用和高斯属性。因子化时空注意力降低了跨相机和跨时间融合信息的成本。要在完整驾驶记录上使用这些预测，几何估计必须保持对齐，且目标身份必须跨窗口保持。我们的视频级推理流水线将窗口预测组装为长序列上的场景几何以及相机和目标轨迹。这些输出支持高斯场景重建，也为无激光雷达 NuRec [6] 提供先验，展示了它们在下游神经重建工作流中的用途。

训练和评估这些能力需要与变化场景保持对齐的稠密标注。稀疏 LiDAR 观测可以组合以提高表面覆盖，但车辆和目标运动使得这些测量难以与相机图像对齐。异步传感和卷帘快门曝光进一步增加了这种对齐的难度。我们提供了一条用于创建精确深度图像和语义占用的流水线。我们发布 PAI–Foundation4D 基准 [7]，即物理 AI 自动驾驶汽车（PAI）数据集 [8] 的 1,253 个片段，支持在同一驾驶场景上进行几何、检测和占用评估。通过提供稠密标注以及有文档记录的评估协议，该基准为社区提供了比较方法和衡量这些任务进展的共同基础。

我们在已建立的公开基准和 PAI–Foundation4D 上评估 Foundation4D。经过针对基准的微调，在对比方法中，它在 Waymo [9] 和 nuScenes [10] 上取得最低的深度误差，在 nuScenes 上取得最高的检测精度，在 OpenOccupancy [11] 上取得最高的语义占用精度。我们的评估表明 Foundation4D 可以有效地跨驾驶数据集适配。更长的时间上下文无需重新训练即可改善检测，而带运动先验的位姿图优化（PGO）在 PAI 上相比序列拼接改善了相机轨迹精度（表 4 和表 9）。我们的任务组合研究还揭示了联合感知学习的收益和权衡，其增益取决于所组合的任务。

我们的重建实验表明，使用预测的自车位姿可以保持整体渲染质量接近使用真值自车位姿所获得的质量（表 15）。预测的几何和参与者轨迹也为无激光雷达 NuRec [6] 提供了有用的先验，展示了它们在为仿真重建驾驶场景中的实际价值。

我们的贡献是：

• Foundation4D，一个前馈感知和重建模型，在任务特定解码器之间共享多相机视频特征，用于几何、语义、目标、占用和高斯重建。

• 一条视频级推理流水线，对齐窗口级几何并组装目标轨迹，在长驾驶序列上改善轨迹估计。

• 一条数据标注流水线，考虑传感器时序、自车和参与者运动以及可见性，从驾驶记录生成深度和语义占用标签。

• PAI-Foundation4D 基准，包含稠密标注和评估协议，用于在共同驾驶场景集上比较几何、检测和占用方法。

2. 相关工作

Foundation4D 将几何恢复、语义感知和高斯重建整合到一个用于多相机行车视频的共享模型中。它建立在两个密切相关的研究方向之上：自动驾驶中的多任务学习、感知与重建任务。

2.1. 自动驾驶中的多任务学习

多任务学习允许驾驶模型在同一场景的不同描述之间共享特征。PnPNet [12] 和 ViP3D [13] 联合建模检测、跟踪和运动预测，而 BEVFormer [14] 和 PETRv2 [15] 探索用于检测和分割的共享表示。UniVision [16] 通过交互 BEV 和体素特征联合学习 3D 检测和占用。面向规划的方法进一步将场景理解与驾驶决策连接起来 [17, 18, 19]。UniAD [1] 通过任务查询在感知、预测和规划之间传递信息；PARA-Drive [2] 研究这些依赖关系，并通过共享 BEV 特征联合训练并行任务头。联合学习的收益取决于所组合的任务 [20]，这使得任务交互成为与模型支持输出范围并列的重要考虑因素。

预训练为支持多任务的表示提供了补充途径。UniPAD [21] 通过体渲染以及图像和深度重建目标学习可迁移特征，而 DriveWorld [22] 使用时序场景和动作预测进行下游适配。VGGT [4] 等几何基础模型学习多图像特征以恢复相机和稠密场景结构。这些重建目标为将共享骨干扩展到驾驶感知提供了几何基础。

近期驾驶模型将几何表示扩展到感知和规划。DVGT-2 [23] 将流式几何重建与轨迹规划耦合。与我们的方法密切相关，GeoUP [3] 通过因子化时序和跨视图注意力将 VGGT 适配到已标定的多相机视频，使其特征以已知相机内参和位姿为条件。它联合预测度量深度、3D 目标和语义占用，并带有辅助相机位姿监督和可容纳缺失任务标注的多数据集训练。USR-Drive [24] 通过从已知相机位姿的多视图视频中联合去噪 3D 框和高斯隐变量，将目标检测和可渲染重建连接起来。Foundation4D 在共享前馈模型中将几何和语义感知与高斯重建相结合，同时显式估计自车运动和相机到支架的标定。我们在大规模、部分标注的驾驶数据上训练共享模型，并研究几何、检测和占用之间的迁移和干扰。

2.2. 感知与重建任务

几何重建

前馈几何模型学习从图像中恢复 3D 结构和相机几何。DUSt3R 和 MASt3R 建立了基于点图和对应的重建 [25, 26]，而 VGGT [4] 从多张图像中联合预测相机和稠密几何。相关模型探索替代几何参数化 [27, 28]、可选相机和深度先验 [29, 30] 以及高效多图像推理 [31, 32, 33]。时序扩展维护场景状态或缓存特征以进行增量重建 [34, 35, 36]，而动态模型恢复时变结构和点轨迹 [37, 38, 39]。

驾驶适配利用车载相机与车辆运动之间的固定关系。DVGT [40] 在未提供标定的情况下，从多相机图像预测度量点图和自车姿态。Rig3R [41] 支持可选的车辆元数据，并推断缺失的相机几何。在标定可用时，DriveVGGT [42] 使用标定引导的注意力以及用于车辆几何和自车运动的因子化头。TRIG [43] 则在特征编码和监督中分离轨迹先验和车辆先验，同时保留 VGGT 预测头。LiAuto-GeoX [44] 通过将稠密几何和跨视图关系蒸馏到一个紧凑的学生模型中，来解决推理效率问题。

将重建扩展到长视频需要管理内存和累积漂移。DVGT-2 [23] 通过滑动窗口缓存传递时间信息，而 Drive3R [45] 在已知相机标定下，将分块因果注意力与置信度感知的重锚定相结合。互补系统通过几何对齐和全局优化来组装局部重建。VGGT-Long [46] 使用置信度加权相似变换对齐重叠块，并利用回环约束校正漂移。VGGT-SLAM [47] 在 SL(4) 上优化子图对齐，以处理投影模糊性。VGGT-SLAM 2.0 [48] 通过子图内和子图间的约束细化关键帧级几何，并利用 VGGT 注意力验证回环闭合。Foundation4D 将这种从局部到全局的策略适配到驾驶视频，其中多个相机作为一个车辆整体移动，但可能在不同时间捕获图像。我们将相机到车辆的标定与自车运动分离，使重叠窗口能够约束共享轨迹，并将轨迹修正按各自捕获时间传播到每个相机（第 5 节）。

3 3D 目标检测与跟踪

基于相机的 3D 目标检测从多相机图像中将周围目标定位并分类为有向 3D 长方体，而多目标跟踪则将这些检测随时间关联为身份一致的轨迹。基于查询的检测器建立在 DETR [49] 的集合预测之上，解码一组稀疏的目标查询，这些查询与真值进行一对一匹配，无需锚框或非极大值抑制。它们的主要区别在于查询如何聚合多视图图像特征。稠密注意力方法使图像特征具备 3D 感知能力，以进行全局交叉注意力。PETR [50] 添加由相机视锥计算的位置嵌入，而 3DPPE [51] 将其替换为从预测深度导出的 3D 点嵌入。稀疏方法则跨视图和帧在 3D 锚框或 BEV 柱查询周围采样特征 [52, 53]。时间融合进一步改善定位和速度估计。PETRv2 [15] 利用自车运动对齐过去帧坐标，StreamPETR [54] 通过记忆队列传播目标查询以实现高效流式检测，Stream3DPPE [51] 和 RoPETR [55] 分别用点嵌入和时空旋转位置嵌入扩展 StreamPETR。RayDN [56] 通过沿相机射线采样难负例来扩展查询去噪 [57]，从而改进训练，抑制错误深度处的重复检测。这些检测器在检测头内部聚合视图和帧，使用自车姿态对齐过去帧。GeoUP [3] 则在以相机标定和自车姿态为条件的 VGGT 初始化骨干中融合它们（第 2.1 节），并用 RayDN 风格的头解码框，报告了最先进的 nuScenes 结果。Foundation4D 同样在其几何预训练骨干中聚合时间窗口内所有相机的图像，并通过可变形注意力 [58] 将 PETR 风格查询解码为 3D 框和速度。与需要真值自车姿态的 GeoUP 不同，Foundation4D 直接从多视图图像预测自车姿态。

跟踪方法旨在获得时间一致的目标轨迹，其区别在于如何随时间关联检测。遵循检测后跟踪范式，SORT [59] 将卡尔曼滤波运动预测与匈牙利匹配相结合，AB3DMOT [60] 将该设计扩展到 3D 框，CenterPoint [61] 使用预测速度匹配检测。基于查询的跟踪器如 TrackFormer [62] 和 MOTR [63] 则逐帧传播跟踪查询，MUTR3D [64] 和 PFTrack [65] 将这种方法引入多相机 3D 跟踪。这些在线跟踪器依赖过去观测，而离线方法则一次在多个帧上优化关联。MPNTrack [66] 通过在检测图上进行消息传递来学习关联。SUSHI [67] 通过覆盖越来越长时间跨度的图层次结构，将学习到的关联扩展到长片段。Foundation4D 从离线文献中汲取灵感，但采用在线方法中简单而有效的关联机制。它利用卡尔曼滤波消耗我们的检测头预测的速度，并使用匈牙利关联进行逐帧关联，类似于 SORT 和 AB3DMOT。然而，它离线处理片段，在第二遍中重新连接碎片化轨迹，并使用同样利用后续观测的 Rauch–Tung–Striebel (RTS) 平滑器细化每条轨迹。

语义占用

语义占用预测处理可见表面之外的场景几何，补全周围几何并为占用区域分配语义标签。现有方法可根据其潜在场景表示分为基于平面的、稠密体素的和稀疏的方法，混合方法连接这些类别。基于平面的方法使用二维特征网格编码场景。BEVFormer [14] 通过时空注意力学习 BEV 特征，而 TPVFormer [68] 使用三个正交特征平面。SelfOcc [69] 在自监督训练下研究 BEV 和 TPV 表示，POP-3D [70] 使用 TPV 特征进行开放词汇占用预测。稠密体素方法在规则 3D 体素网格上维护特征。MonoScene [71] 和 SurroundOcc [72] 使用 3D 卷积，OccFormer [73] 使用双路径 Transformer，OccMamba [74] 应用状态空间模型。OccGen [75] 使用基于扩散的细化，PanoOcc [76] 通过体素查询聚合多视图和时间特征，COTR [77] 学习紧凑的几何感知体素特征。将特征分配到空区域会引入内存和计算成本，这推动了稀疏替代方案。SparseOcc [78] 在稀疏体素张量上操作。OPUS [79] 直接从学习到的查询预测占用位置和语义类别，SPSC [80] 在由粗到细的细化过程中逐步剪枝未占用查询，GaussianFormer [81] 使用稀疏语义高斯基元表示场景。混合设计结合这些表示选择。VoxFormer [82] 将深度引导的稀疏体素查询扩展为稠密体积，而 CONet [11] 在更高分辨率下细化粗占用体素。Symphonies [83] 将上下文实例查询与图像和体素特征连接，CGFormer [84] 结合体素和三透视特征。Foundation4D 采用 BEV 表示进行语义占用，分辨率为 20 cm，覆盖自车前方最多 100 m。这种紧凑的 BEV 表示限制了内存使用，使我们能够在统一的多相机、多时间戳模型中与其他输出任务一起支持语义占用。

高斯场景重建

3D 高斯泼溅 (3DGS) [85] 使用显式各向异性基元表示场景以进行新视图渲染。前馈方法学习跨场景预测这些基元，减少了对每个新场景单独优化的需求。代表性方法包括用于稀疏视图重建的 pixelSplat [86] 和 MVSplat [87]，以及用于基于 Transformer 的高斯预测的 GS-LRM [88]。DepthSplat [89] 将多视图深度估计与高斯重建连接，而 NoPoSplat [90] 从无姿态图像预测高斯。几何基础模型为前馈渲染提供了另一条途径：AnySplat [91] 用高斯预测扩展基于 VGGT 的几何 Transformer，并从预训练 VGGT 中蒸馏相机和几何先验。TokenGS [92] 则使用可学习的高斯 token 将基元预测与输入像素网格解耦。

驾驶场景还需要宽广的相机覆盖和对运动目标的表示。Driving-Gaussian [93]、Street Gaussians [94] 和 OmniRe [95] 通过逐序列优化重建静态背景和动态参与者。STORM [96] 和 DrivingForward [97] 等前馈方法处理稀疏时间观测和环视输入，而 DGGT [98] 联合估计相机、高斯和场景运动。相机建模对驾驶采集也很重要：3DGUT [99] 支持非线性相机投影和卷帘快门。遵循 Instant NuRec [5] 的分层场景表示，Foundation4D 通过共享特征和联合训练将高斯重建与几何、检测和占用集成。在推理时，我们的高斯分支使用由模型预测的自车运动导出的相机姿态，以及由其检测组装的目标轨迹，而不需要真值姿态或轨迹（第 3.7 节）。

3. Foundation4D

3.1. 问题表述

给定来自$C$个相机的$T$个时间样本的视频片段，Foundation4D 估计相机$z$深度图和点图、自车运动、3D 边界框、语义占用以及用于渲染的 3D 高斯。我们将每张输入图像表示为${\mathbf{I}}_{t,c}\in {\mathbb{R}}^{H\times W\times 3}$，其中$t$和$c$索引时间和相机，$H$和$W$是图像尺寸。相机$c=1$定义参考时间戳${\tau }_t={\tau }_{t,1}$。每张图像保留其捕获时间${\tau }_{t,c}$，对于异步输入，该时间可能与${\tau }_t$不同。

3.2. 概述

Foundation4D 使用共享图像编码器和因子化时空聚合器来结合跨相机和时间的信息（图 2）。几何分支和高斯分支解码得到的上下文特征为几何预测和可渲染场景表示。检测和占用共享一个特征金字塔，该金字塔将这些特征与图像编码器更精细的空间细节相结合。

3.3. 共享图像和时空表示

遵循 VGGT [4]，共享的 DINOv2 ViT-L/14 编码器 [100] 独立地从每张图像提取块特征，特征宽度为$d=1024$。我们使用两种空间分辨率，以降低聚合成本同时保留图像细节。$1036\times 1036$的图像产生$74\times 74$的编码器网格，我们在聚合前将其双线性下采样到$37\times 37$。因此，聚合器处理四分之一的空间 token，而原始编码器特征仍可用于检测和占用特征金字塔。

VGGT 在图像内自注意力与跨所有图像的全局自注意力之间交替。全局注意力随 token 总数呈二次方增长，使其在多相机视频中代价高昂。我们改为在相机和时间维度上分解该操作。每一层先应用图像内自注意力，随后在固定时间索引上应用跨相机自注意力，或在固定相机上应用跨时间自注意力。这些相机组和时间组在各层之间交替，从而在不一次性关注整个窗口的情况下融合空间与时间上下文（图 2）。

每个图像块序列还携带一个用于相对相机标定的 rig token、一个用于 rig 运动的 ego token，以及四个用于辅助上下文的 register token。所有 token 均参与注意力。经过 16 个聚合层后，我们沿通道维度拼接最终的图像内注意力块和时间注意力块的输出。这得到一个宽度为 2d 的上下文 token 序列 ${\mathbf{F}}_{t,c}$，其图像块特征记为 ${\mathbf{F}}_{t,c}^{patch}$。

3.4. 几何解码器

几何分支预测相机位姿和深度。我们还训练两个辅助解码器：一个图像语义解码器，为视频级推理提供掩码；以及一个点图解码器，在训练期间提供额外的几何监督。我们在窗口参考系中表达相机到世界位姿 ${\mathbf{T}}_{t,c}\in \mathrm{SE}(3)$和点图，锚定到第一个参考时间戳 ${\tau }_1$的相机 $c=1$。

位姿预测

我们将相机位姿分解为每个相机的固定 rig 变换 ${\mathbf{T}}_c^{\text{rig}}$和随时间变化的参考相机轨迹 ${\mathbf{T}}_t^{\text{ego}}$。rig 头从第一个时间组中的所有相机读取 rig token 特征，而 ego 头跨时间从参考相机读取 ego token 特征。独立的 transformer 头处理这些序列，遵循 VGGT 的相机头架构 [4]，并通过 MLP 回归平移和四元数参数。这些头预测世界到相机的编码，在位姿组合之前将其转换为相机到世界变换。

每个 rig 变换将相机映射到参考相机坐标系，并在整个窗口内复用。我们在每张图像的捕获时间对 ego 轨迹进行插值，平移使用线性插值，旋转使用最短弧球面插值。将该轨迹记为 ${\mathbf{T}}^{\text{ego}}(\tau )$，我们按如下方式构造相机位姿

$${\mathbf{T}}_{t,c}={\mathbf{T}}^{\mathrm{ego}}({\tau }_{t,c}){\mathbf{T}}_c^{\mathrm{rig}}.$$

对于同步图像，轨迹在共享时间戳 ${\tau }_t$处求值。rig 监督使用第一个时间组的相对位姿：对于同步输入，这些目标表示静态标定，但对于异步输入，可能包含曝光之间的 ego 运动。上述组合将预测的 rig 因子视为固定，插值 ego 轨迹并不能消除监督目标中的这种不匹配。每张图像的几何仍与其自身的采集时间相关联；插值不会同步图像，也不会补偿独立运动的物体。在推理时，超出 ego轨迹采样区间的捕获时间会延伸最近一段的运动，而单个轨迹样本则产生常量位姿。

稠密预测

独立参数化的 DPT 解码器 [101] 将上下文图像块特征 ${\mathbf{F}}_{t,c}^{\text{patch}}$转换为相机 z 深度 ${\mathbf{D}}_{t,c}$、窗口参考系中的辅助点图 ${\mathbf{P}}_{t,c}^{\text{aux}}$以及辅助语义 logits ${\mathbf{S}}_{t,c}$。每个解码器将 token 重新组装为空间特征图，并通过卷积细化融合多个尺度，产生 $518\times 518$的输出网格。正置信度图伴随深度和辅助点图预测。辅助语义解码器通过最终的 $1\times 1$卷积为每个像素输出 21 类 logits；得分最高的类别给出预测标签。

最终点图由预测深度和相机位姿构造，而非取自辅助解码器。在恢复度量单位后，我们通过标定相机模型反投影深度，并考虑镜头畸变和输出网格分辨率。对于一张图像，设 $d(u)$为像素 $u$处的深度，$\mathbf{r}(u)\in {\mathbb{S}}^2$为其单位相机射线，$(\mathbf{R},\mathbf{t})$为相机到世界的旋转和平移。对于满足 $[\mathbf{r}(u){]}_z>0$的有效像素，窗口参考系中的对应点为

$$\mathbf{p}(u)=\mathbf{R}\frac{d(u)}{[\mathbf{r}(u){]}_z}\mathbf{r}(u)+\mathbf{t}.$$

除以 $[\mathbf{r}(u){]}_z$将相机 z 深度转换为沿射线的距离。

监督

几何目标结合了稠密几何、rig 和 ego 位姿、时间相对运动以及辅助图像语义：

$${\mathcal{L}}_{\mathrm{geo}}={\lambda }_D{\mathcal{L}}_D+{\lambda }_P{\mathcal{L}}_P+{\lambda }_{\mathrm{rig}}{\mathcal{L}}_{\mathrm{rig}}+{\lambda }_{\mathrm{ego}}({\mathcal{L}}_{\mathrm{ego}}+{\lambda }_{\mathrm{rel}}{\mathcal{L}}_{\mathrm{rel}})+m_{\mathrm{sem}}{\lambda }_{\mathrm{sem}}{\mathcal{L}}_{\mathrm{sem}},$$

我们使用$({\lambda }_D,{\lambda }_P,{\lambda }_{\mathrm{rig}},{\lambda }_{\mathrm{ego}},{\lambda }_{\mathrm{rel}},{\lambda }_{\mathrm{sem}})=(1,1,10,10,1,1)$，其中$m_{\mathrm{sem}}$仅在标注可用时启用语义监督。深度、点坐标和平移在监督前除以固定的参考长度 40 m。在下面的损失中，带帽符号表示预测，无标记量表示目标。

深度和辅助点图监督将直接回归与置信度加权项相结合。在有效像素 $i\in \mathcal{M}$上，残差为 $e_i^D=|{\hat{d}}_i-d_i|$和 $e_i^P=\Vert {\hat{\mathbf{p}}}_i^{\text{aux}}-{\mathbf{p}}_i{\Vert }_2$。对于 X∈{D,P}X \in \{D, P\}X∈{D,P}和预测置信度 $q_i^X$，我们使用

LX=R0.98({eiX}i∈M)+R0.98({qiXeiX−βlog⁡qiX}i∈M),β=0.2.\mathcal{L}_{X}=\mathcal{R}_{0.98}\big(\{e_{i}^{X}\}_{i\in\mathcal{M}}\big)+\mathcal{R}_{0.98}\big(\{q_{i}^{X}e_{i}^{X}-\beta\operatorname{l o g}q_{i}^{X}\}_{i\in\mathcal{M}}\big),\qquad\beta=0.2.LX​=R0.98​({eiX​}i∈M​)+R0.98​({qiX​eiX​−βlogqiX​}i∈M​),β=0.2.

这里 $R_{0.98}$对每一项独立应用稳健平均。对数惩罚对置信度进行正则化，而未加权项保留直接监督。

rig 和 ego 损失监督各头原生的世界到相机编码。我们将平移写为 $t^{w2c}$，以区别于反投影中使用的相机到世界平移，并将四元数记为 q。单个位姿的误差为

ℓpose=13∥t^w2c−tw2c∥1+14min⁡σ∈{−1,1}∥q^−σq∥1.\ell_{\mathrm{p o s e}}=\frac{1}{3}\|\hat{\mathbf{t}}^{\mathrm{w2c}}-\mathbf{t}^{\mathrm{w2c}}\|_{1}+\frac{1}{4}\operatorname*{m i n}_{\sigma\in\{-1,1\}}\|\hat{\mathbf{q}}-\sigma\mathbf{q}\|_{1}.ℓpose​=31​∥t^w2c−tw2c∥1​+41​σ∈{−1,1}min​∥q^​−σq∥1​.

符号最小化考虑了同一旋转的两种四元数表示。${\mathcal{L}}_{\mathrm{rig}}$和 ${\mathcal{L}}_{\mathrm{ego}}$在各自的有效观测上对该误差取平均。

相对位姿项额外约束邻近时间样本之间的运动。对于每个满足 $j-i<5$的唯一对 $i<j$，我们构造 $\Delta {\hat{\mathbf{T}}}_{ji}=({\hat{\mathbf{T}}}_j^{\mathrm{ego}}{)}^{-1}{\hat{\mathbf{T}}}_i^{\mathrm{ego}}$，它将时间 $i$的相机坐标映射到时间 $j$；目标以相同方式由真值位姿构造。对于每一对，我们对三个平移分量和四个四元数分量的平均绝对误差求和，然后跨对取平均得到 ${\mathcal{L}}_{\mathrm{rel}}$。相对四元数为标量分量非负的单位四元数。当没有可用对时，该损失为零。

对于有标注的图像，辅助 ${\mathcal{L}}_{\text{sem}}$以相等权重对交叉熵、软 Dice 和 Lováz-Softmax 损失求和，并从所有三项中排除未知像素。交叉熵使用均匀类别权重和 0.05 的标签平滑。软 Dice 在 20 个已知类别上对重叠取平均，其分子和分母均加 1。Lováz-Softmax 在每张图像中存在的类别上求值，然后跨图像取平均。

对于稳健的稠密回归，${\mathcal{R}}_{0.98}$将损失值上限设为 100，并在有足够有效观测可用时排除处于或高于第 98 百分位的值；小集合使用未截断的均值。当稠密几何标签可用时，位姿监督要求每次观测有超过 100 个有效像素。

3.5. 3D 目标检测

目标分支在车辆 rig 坐标系中为每个时间戳预测一组稀疏的分类 3D 长方体，覆盖 $[-108,150]\times [-108,108]\times [-3,5]$m 的兴趣区域。遵循 PETR [50]，我们用锚定在学习到的 3D 参考点上的查询表示目标假设。每个查询预测类别分数和一个由 3D 中心、尺寸、偏航角和平面速度描述的长方体。共享骨干网络提供多相机时间上下文，而目标解码器为每个时间戳产生检测结果。随后，离线跟踪器将这些检测结果组装为完整片段上的轨迹。

内部数据检测器使用 12 个类别：汽车、重型卡车、公交车、火车或有轨电车、其他车辆、行人、骑行者、挂车、突出物体、无轨电车、婴儿车和动物。公开基准分类器被适配到其目标标签集。

特征金字塔

与占用共享的特征金字塔将高分辨率图像特征与聚合器的上下文图像块特征融合（第 3.3 节）。横向投影对齐它们的通道，之后通过自顶向下路径将上下文特征上采样并加到图像特征上。

解码器架构

解码器遵循 DETR3D 架构 [102]，交替进行查询自注意力、多尺度可变形交叉注意力和前馈层。查询内容初始化为零，而位置嵌入由学习到的 3D 参考点计算。在每个交叉注意力层中，查询特征预测其参考点周围的 3D 偏移。得到的采样位置使用提供的内参、镜头模型和外参投影到相机视图中。我们在这些位置对特征金字塔进行采样，并用查询相关的注意力权重在相机、尺度和采样点上组合样本。分类和回归头在每个解码器层读取细化后的查询。参考配置使用 900 个查询和六个宽度为 256 的解码器层。

监督

我们在预测查询和标注长方体之间使用一对一匈牙利匹配，代价结合了焦点分类和长方体回归。遵循 PETR [50]，分类使用 sigmoid 焦点损失；匹配的查询接收加权的 $L_1$回归损失。未匹配的查询作为背景进行监督。回归表示包含度量中心坐标、对数尺寸、偏航角的正弦和余弦以及平面速度。中心预测被参数化为归一化参考点的偏移，并在监督和读出时转换回度量坐标。平面速度随后用于估计目标运动并获得时间一致的轨迹，如第 5.3 节所述。

检测目标结合了每个解码器层的监督、查询去噪和辅助图像空间检测损失：

$${\mathcal{L}}_{\det }=\sum _{\ell =1}^6\left({\lambda }_{\mathrm{cls}}{\mathcal{L}}_{\mathrm{focal}}^{(\ell )}+{\lambda }_{\mathrm{box}}{\mathcal{L}}_{\mathrm{box}}^{(\ell )}+{\lambda }_{\mathrm{DN}}{\mathcal{L}}_{\mathrm{DN}}^{(\ell )}\right)+{\mathcal{L}}_{2D}.$$

其中${\mathcal{L}}_{\mathrm{box}}$包含逐坐标回归权重。我们使用$({\lambda }_{\mathrm{cls}},{\lambda }_{\mathrm{box}},{\lambda }_{\mathrm{DN}})=(2,0.25,1)$；去噪项包含相同权重的分类和回归损失。Focal loss 使用$\alpha =0.25$和$\gamma =2$。中间解码器输出接受与最终输出相同形式的监督。

查询去噪遵循 DN-DETR [57] 的训练原理。训练期间，我们追加若干组查询，其参考点通过按对象尺寸比例扰动真值长方体中心获得。它们的目标分配是已知的，从而绕过这些查询的匈牙利匹配；强扰动查询获得背景分类目标。注意力掩码阻止普通检测查询关注去噪查询，并将各去噪组彼此隔离。

一个辅助的 YOLOX 风格头 [103] 从金字塔特征预测每相机 2D 框、类别、目标性和投影长方体中心。投影长方体标注为其提供目标。其损失为

$${\mathcal{L}}_{2D}={\mathcal{L}}_{\mathrm{cls}}^{2D}+{\mathcal{L}}_{\mathrm{obj}}^{2D}+5{\mathcal{L}}_{\mathrm{IoU}}^{2D}+{\mathcal{L}}_{L_1}^{2D}+{\mathcal{L}}_{\mathrm{center}}^{2D},$$

其中分类和目标性使用二元交叉熵，框定位结合平方 IoU 和$L_1$损失，投影中心使用$L_1$损失。查询去噪和 2D 头仅在训练期间使用。

3.6. 语义占用

占用分支在车辆装置坐标系中大小为$V_x\times V_y\times V_z$的度量体素网格上预测二元占用和语义标签，覆盖$[-20,100]\times [-30,30]\times [-3,5]$m 的感兴趣区域，体素分辨率为 0.2 m。为限制内存使用，中间特征保持在 BEV 中，体素高度维度在输出处引入。

BEV 投影模块

我们的 BEV 投影器是一个受 Deformable DETR [58] 启发的模块，它将共享特征金字塔颈部产生的多尺度图像特征聚合为每个时间戳的空间 grounded BEV 图（图 3）。对于每个 BEV 单元，我们沿其垂直柱在目标高度范围内均匀间隔的高度处放置四个参考点。我们编码每个点的归一化 3D 坐标，并使用单独的学习层初始化其查询特征和位置嵌入。Transformer 层通过自注意力和可变形交叉注意力细化这些查询，而位置嵌入用于自注意力以及预测可变形交叉注意力权重。交叉注意力使用相机内参和静态装置到相机外参将 3D 采样点投影到相机视图中，我们假设这些参数已知且属于车辆装置的一部分。此投影不需要自运动估计，因为参考点和 BEV 网格在每个时间戳的装置坐标系中定义。一个学习到的合并层将细化后的柱特征组合成 BEV 图${\mathbf{F}}_t^{\text{BEV}}$。

BEV 上采样和输出头

我们使用全卷积解码器，并通过 2D 转置卷积逐步上采样${\mathbf{F}}_t^{\mathrm{BEV}}$。令$K_{occ}$表示占用语义类别的数量。单独的转置卷积头输出$V_z$个二元通道和$V_z{K}_{occ}$个语义通道。通道到高度重塑 [104] 将这些输出转换为二元 logits${\mathbf{O}}_t^{\mathrm{bin}}\in {\mathbb{R}}^{V_x\times V_y\times V_z}$和语义 logits${\mathbf{O}}_t^{\mathrm{sem}}\in {\mathbb{R}}^{V_x\times V_y\times V_z\times K_{occ}}$。在推理时，最终的语义占用预测通过对${\mathbf{O}}_t^{\text{bin}}$的 sigmoid 概率进行阈值化，并为每个占用体素分配${\mathbf{O}}_t^{\text{sem}}$中得分最高的语义类别来获得。其余体素标记为空。

监督

我们使用 LiDAR 导出的几何和图像导出的语义标签监督占用，并在上采样 BEV 特征上附加一个辅助 BEV 分割头。训练目标为

$${\mathcal{L}}_{\mathrm{occ}}={\lambda }_{\mathrm{BCE}}{\mathcal{L}}_{\mathrm{BCE}}+{\lambda }_{\mathrm{Lov}}{\mathcal{L}}_{\mathrm{Lovasz}}^{\mathrm{bin}}+{\lambda }_{\mathrm{CE}}{\mathcal{L}}_{\mathrm{CE}}^{\mathrm{occ}}+{\lambda }_{\mathrm{Dice}}{\mathcal{L}}_{\mathrm{Dice}}^{\mathrm{occ}}+{\lambda }_{\mathrm{BEV}}{\mathcal{L}}_{\mathrm{BEV}}.$$

这里，${\mathcal{L}}_{\mathrm{BCE}}$和${\mathcal{L}}_{\mathrm{lovasz}}^{bin}$是二元交叉熵和 Lovázs hinge 损失，而${\mathcal{L}}_{\mathrm{CEC}}^{occ}$和${\mathcal{L}}_{\mathrm{Dice}}^{occ}$是体素语义的交叉熵和软 Dice 损失。辅助 BEV 损失为${\mathcal{L}}_{\mathrm{BEV}}={\lambda }_{\mathrm{CE}}{\mathcal{L}}_{\mathrm{CEV}}^{BEV}+{\lambda }_{\mathrm{Dice}}{\mathcal{L}}_{\mathrm{Dice}}^{BEV}$，结合交叉熵和软 Dice 监督，权重与体素语义相同。BEV 目标通过选择每个垂直列中最顶部的语义体素获得。我们在实验中使用$({\lambda }_{\mathrm{BCE}},{\lambda }_{\mathrm{Lov}},{\lambda }_{\mathrm{CE}},{\lambda }_{\mathrm{Dice}},{\lambda }_{\mathrm{BEV}})=(1,0.1,1,1,0.5)$。损失项包括对受监督投影解码器层的求和。

3.7. 高斯重建

遵循 Instant NuRec [5]，我们用静态高斯、演员关联高斯和天空立方体贴图表示驾驶场景。重建分支使用共享上下文特征以及提供的相机标定。训练期间，我们利用真值相机到世界位姿和演员长方体轨迹，而在推理期间，我们依赖预测位姿和轨迹。高斯分支本身不预测演员运动。

对于解码器输出网格上的每个源像素$i=(t,c,u)$，我们预测一个高斯，其中心为${\mu }_i$、RGB 颜色为${\mathbf{c}}_i$、尺度为${\mathbf{s}}_i$、单位四元数为${\mathbf{q}}_i$、不透明度为${\alpha }_i$，以及用于辅助监督的单位表面法线。其协方差为${\mathbf{\Sigma }}_i={\mathbf{R}}_i\mathrm{diag}({\mathbf{s}}_i^2){\mathbf{R}}_i^{\top }$，其中${\mathbf{R}}_i=\mathrm{Rot}({\mathbf{q}}_i)$。中心、朝向和法线在由预测轨迹定义的片段世界坐标系中表示。

高斯解码

DPT 解码器 [101] 从上下文块特征预测深度、颜色残差、法线和高斯属性。高斯深度解码器从几何深度头初始化，但具有单独参数并使用重建损失训练；几何头保留其自身监督。

我们通过标定逆投影获得每个单位相机射线${\mathbf{r}}_i$，考虑镜头畸变和图像缩放。令${\mathbf{E}}_c$表示已知的相机到装置变换。在推理时，源相机位姿为${\hat{\mathbf{T}}}_{t,c}={\hat{\mathbf{T}}}_{\mathrm{rig}}({\tau }_{t,c}){\mathbf{E}}_c$，其中${\hat{\mathbf{T}}}_{\mathrm{rig}}$是组装后的预测装置到世界轨迹。给定预测的度量相机 z 深度$d_i$以及该相机位姿的旋转和平移$({\hat{\mathbf{r}}}_{t,c},{\hat{\mathbf{t}}}_{t,c})$，每个有效高斯的中心为

$${\mathbf{\mu }}_i={\hat{\mathbf{R}}}_{t,c}\frac{d_i}{[{\mathbf{r}}_i{]}_z}{\mathbf{r}}_i+{\hat{\mathbf{t}}}_{t,c}.$$

因子$d_i/[{\mathbf{r}}_i{]}_z$将相机深度转换为射线距离。高斯颜色向重采样的源 RGB 添加有界学习残差。为抑制天空、自车和未知区域中的高斯，我们将其不透明度乘以来自几何分支语义预测的掩码。该掩码在训练期间使用停止梯度的软概率，在推理时使用离散标签。

场景渲染

提供或预测的长方体轨迹将源高斯与演员关联。为渲染目标时间戳，我们插值每个演员的预测轨迹，并将其高斯从其源捕获时间刚性变换，而静态高斯保持固定。可微 splatting 产生累积 RGB${\mathbf{c}}_G(u)$、累积不透明度$A(u)$以及目标像素$u$处的射线距离。场景解码器从上下文特征、源 RGB 和标定射线预测世界空间天空立方体贴图；其沿目标射线的颜色${\mathbf{c}}_{\text{sky}}(u)$填充残余透射率。单独的解码器使用上下文特征为每个相机预测仿射 RGB 变换，参数为${\mathbf{M}}_c\in {\mathbb{R}}^{3\times 3}$和${\mathbf{b}}_c\in {\mathbb{R}}^3$，以考虑外观差异。应用目标相机的变换并裁剪到$[0,1]$得到渲染图像 I 的像素颜色：

$$\mathbf{c}(u)={\mathrm{clip}}_{[0,1]}\left[{\mathbf{M}}_c({\mathbf{c}}_{\mathrm{G}}(u)+(1-A(u)){\mathbf{c}}_{\mathrm{sky}}(u))+{\mathbf{b}}_c\right].$$

监督

位姿和长方体轨迹标注在重建训练期间提供条件，而 RGB、深度和可用的语义标注监督相应损失。此训练设置与上述预测输入推理配置不同：在推理时重建片段不需要标注位姿和演员轨迹。我们在从上下文中排除的两个时间戳监督渲染：一个在上下文区间内，一个在其最后样本后 0.5 s 内，相机观测与目标时间对齐。渲染目标为

$${\mathcal{L}}_{\mathrm{render}}={\mathcal{L}}_{\mathrm{RGB}}+0.2{\mathcal{L}}_{\mathrm{LPIPS}}+0.1{\mathcal{L}}_{\mathrm{inv}-\mathrm{dist}}+2{\mathcal{L}}_{\mathrm{opacity}},$$

其中 RGB、逆射线距离和累积不透明度项使用均方误差；不透明度目标是非天空掩码。像素损失在有效像素上平均，而 LPIPS 在掩码像素被目标颜色替换后在有效目标图像上平均。完整任务目标添加源 RGB 一致性、法线监督、天空一致性和仿射正则化：

$$\begin{array}{rl}{\mathcal{L}}_{\mathrm{gs}}& ={\mathcal{L}}_{\mathrm{render}}+0.01{\mathcal{L}}_{\mathrm{src}-\mathrm{RGB}}+0.2{\mathcal{L}}_{\mathrm{normal}}\\ & +0.01{\mathcal{L}}_{\mathrm{sky}}+0.01{\mathcal{L}}_{\mathrm{affine}}.\end{array}$$

源 RGB 一致性使用$L_1$损失，法线监督使用与由深度标注导出的法线之间的余弦距离。天空损失是针对观测到的天空颜色的$L_1$损失，在未观测区域使用平滑后的预测作为目标。仿射变换通过其与单位变换的均方偏差进行正则化。监督掩码来自 NRE 和 PlanNet 上的语义标注，以及 MLMCF 上几何分支分离出的语义预测；后者不是语义训练目标。这些监督掩码不同于应用于高斯不透明度的预测掩码。

4. 训练统一模型

4.1. 训练数据

我们在三个内部驾驶数据集上训练：NRE、PlanNet 和 MLMCF，分别包含约 68k、76k 和 60k 个片段，各集合之间有一些重叠。表 1 总结了它们的场景组成。

数据集	片段	城市	住宅区	高速公路	乡村	其他
NRE	67,970	16.5%	9.1%	64.5%	7.6%	2.3%
PlanNet	75,921	42.5%	17.3%	20.8%	16.5%	2.9%
MLMCF	59,999	36.5%	10.9%	42.9%	6.9%	2.8%

片段平均长度约为 12 秒，总计约 695 小时的驾驶数据。传感器装置使用六个具有不同视场的多项式 f-theta 相机 [105]，覆盖广角和较窄的场景视图。图像以 30 FPS 捕获，128 线 LiDAR 以 10 Hz 运行。训练窗口对这些记录进行子采样，以覆盖不同的时间跨度。

数据集提供深度、相机运动、长方体轨迹，以及可用的语义标注。LiDAR 测量通过第 6 节描述的标注流程生成深度。语义占用标签通过内部自动标注流程获得，为 10 个语义类别提供标注。检测标注覆盖 12 个类别，其中 NRE 使用基于 LiDAR 的长方体自动标签，PlanNet 和 MLMCF 使用手动标注的长方体。

4.2. 训练策略

我们分三个阶段训练六相机统一模型，在引入高斯重建之前逐步增加时间上下文。第一阶段在短窗口上联合训练图像编码器、时空聚合器以及几何检测和占用头，降低每次更新的成本。第二阶段扩展窗口，为位姿和运动估计提供更多时间上下文。此时我们冻结图像编码器，继续训练聚合器和三个任务头。

第三阶段将高斯重建添加到已训练好的感知模型中。我们首先在现有模型冻结的情况下预热高斯头，然后在保持图像编码器冻结的同时联合优化聚合器和所有四个任务头。该调度将高斯解码和渲染的成本推迟到感知模型训练完成之后。

在每个阶段，我们优化第 3 节中定义的活跃任务损失的加权和：

$$\mathcal{L}={\lambda }_{\mathrm{geo}}{\mathcal{L}}_{\mathrm{geo}}+{\lambda }_{\det }{\mathcal{L}}_{\det }+{\lambda }_{\mathrm{occ}}{\mathcal{L}}_{\mathrm{occ}}+{\lambda }_{\mathrm{gs}}{\mathcal{L}}_{\mathrm{gs}}.$$

对于与高斯重建的联合微调，我们使用$({\lambda }_{\text{geo}},{\lambda }_{\text{det}},{\lambda }_{\text{occ}},{\lambda }_{\text{gs}})=(1,0.1,0.2,4)$。损失仅在其任务活跃且所需监督可用时才会贡献；单个损失还会排除无效像素、对象或体素。所有三个数据集都对几何、检测和高斯重建有贡献，而占用仅使用 NRE 和 PlanNet。只有 NRE 用于监督辅助图像语义头。用于研究任务迁移的单任务和成对配方在第 7.5 节中单独描述。

4.3. 实现细节

所有阶段均使用六个相机，图像调整为$1036\times 1036$。在时间细化与最终联合微调期间，我们以 1 : 2 : 1 的比例采样 NRE、PlanNet 和 MLMCF。第一阶段每个相机使用四个时间戳，随机帧步长最大为八，运行约 170k 次更新。时间细化将窗口增加到八个时间戳，最大步长增加到 16，再进行 45k 次更新。高斯训练保留此窗口配置，先进行头预热，然后进行 10k 次联合更新。

前两个阶段使用 AdamW，主学习率为$3\times 10^{-4}$，权重衰减为 0.01。在第一阶段，图像编码器使用该学习率的十分之一。两个阶段均使用 500 次更新的线性学习率预热。第一阶段随后保持学习率恒定，而第二阶段保持学习率直到第 10k 次更新，然后应用余弦衰减。高斯头以$10^{-4}$的学习率预热。最终联合微调使用$10^{-5}$的主学习率和 0.01 的权重衰减，进行 500 次预热更新，然后余弦学习率衰减至零。

我们使用 BF16 混合精度训练，在几何和高斯解码器以及数值敏感的检测和占用操作中保留 FP32 计算。在 NVIDIA H100 GPU 上，FlashAttention-3 (FA3) [106] 在共享时空骨干中实现注意力。自定义 CUDA 内核直接在打包的查询-键-值布局中对查询和键应用二维旋转位置嵌入 (RoPE) [107]，避免在注意力之前进行单独的张量重打包。在 64 块 H100 GPU 上，代表性的几何、检测和占用训练窗口在每相机四个时间戳时每次更新约需 3.8 秒，在八个时间戳时约需 8.3 秒。

5. 多相机视频推理系统

为了重建超出模型时间上下文的视频，我们处理重叠窗口，并在共同坐标系中组装其预测的相机轨迹和稠密几何。重叠提供了连接窗口的重复观测，同时保持网络的上下文长度固定。我们考虑两种替代组装方法：顺序窗口拼接和全局位姿图优化 (PGO)。两者都使用预测的几何和已知的相机内参，而不更新网络参数。该公式与 VGGT-Long [46]、VGGT-SLAM [47] 和 VGGT-SLAM 2.0 [48] 中的重叠窗口和子图重建相关。图 17 展示了组装后的几何以及占用和检测。得到的相机轨迹还将 3D 对象检测置于共同重建帧中，离线多对象跟踪器在其中跨时间关联它们，以恢复整个片段中的对象轨迹。

5.1. 顺序窗口拼接

拼接使用单个 Sim(3) 变换将每个新窗口与前面已对齐的窗口对齐。我们汇集跨相机和重叠帧的深度导出点图对应关系：每对${\mathbf{x}}_a,{\mathbf{y}}_a$分别描述新窗口和前面窗口中相同的相机、帧和像素。这些对应关系可以包括前景对象，因为它们指的是相同的捕获观测。在窗口$k$的对应关系集合${\mathcal{O}}_k$上，我们通过迭代重加权最小二乘估计尺度$s_k$、旋转${\mathbf{R}}_k$和平移${\mathbf{t}}_k$：

$${\mathcal{E}}_k(s,\mathbf{R},\mathbf{t})=\sum _{a\in {\mathcal{O}}_k}{m}_a{w}_a{\rho }_{\mathrm{H}}({\Vert s\mathbf{R}{\mathbf{x}}_a+\mathbf{t}-{\mathbf{y}}_a\Vert }_2),$$

这里，${\rho }_{\mathrm{H}}$是 Huber 惩罚，$m_a$排除在任一窗口中被模型 2D 语义预测分类为天空的对应关系，$w_a$是两个深度置信度的几何平均值。如果掩码或置信度不可用，则相应的掩码或权重设置为 1。

我们将估计的相似变换应用于窗口中的所有相机位姿，并将相应的深度图按$s_k$缩放，将两者置于由第一个窗口定义的共同重建帧中。先前组装的预测保留在重叠帧中，仅追加新的时间样本。顺序对齐可能累积旋转、平移和尺度误差：后续窗口不会修正先前的位姿，且单个变换无法纠正窗口轨迹内的不一致性。这促使我们联合协调所有窗口的位姿估计。

5.2. 全局位姿图优化

PGO 从原始窗口预测中为整个视频估计单个参考相机轨迹。它假设窗口之间具有共同的度量尺度，这由第 3.4 节描述的固定尺度监督支持。恢复度量单位后，我们在 SE(3) 中优化位姿，而不估计窗口尺度或重新缩放深度。每个唯一的参考相机样本是一个图节点，由包含该样本的所有窗口共享。在窗口$k$内，预测的相机到窗口位姿${\hat{\mathbf{T}}}_i^{(k)}$定义相对测量${\mathbf{Z}}_{ij}^{(k)}=({\hat{\mathbf{T}}}_i^{(k)}{)}^{-1}{\hat{\mathbf{T}}}_j^{(k)}=({\mathbf{R}}_{ij}^{(k)},{\mathbf{t}}_{ij}^{(k)})$，其将坐标从样本$j$映射到样本$i$。这些测量移除了窗口的参考旋转和平移，同时保留其预测尺度。来自不同窗口的同一对的测量保持为独立因子，允许窗口约束共享轨迹。该图使用预测的相对位姿和时间戳，没有外部位姿因子或闭环约束。

我们分两个阶段求解轨迹，首先优化旋转，然后优化平移。令${\mathbf{T}}_i=({\mathbf{R}}_i,{\mathbf{t}}_i)$将节点$i$处的参考相机坐标映射到视频坐标系，并将第一个位姿固定为单位位姿。在窗口因子的多重集$\mathcal{E}$上，目标函数为

{Ri⋆}=arg⁡min⁡Ri∈SO(3),R1=I31Ω∑(k,i,j)∈Eωij(k)∥Ri⊤Rj−Rij(k)∥F2,{ti⋆}=arg⁡min⁡t1=01Ω∑(k,i,j)∈Eωij(k)∥(Ri⋆)⊤(tj−ti)−tij(k)∥22+λmotionLmotion,\begin{align*}\left\{\mathbf{R}_{i}^{\star}\right\}&=\underset{\mathbf{R}_{i}\in\mathrm{SO}(3),\mathbf{R}_{1}=\mathbf{I}_{3}}{\arg\min}\frac{1}{\Omega}\sum_{(k,i,j)\in\mathcal{E}}\omega_{ij}^{(k)}\left\|\mathbf{R}_{i}^{\top}\mathbf{R}_{j}-\mathbf{R}_{ij}^{(k)}\right\|_{F}^{2},\\\left\{\mathbf{t}_{i}^{\star}\right\}&=\underset{\mathbf{t}_{1}=\mathbf{0}}{\arg\min}\frac{1}{\Omega}\sum_{(k,i,j)\in\mathcal{E}}\omega_{ij}^{(k)}\left\|\left(\mathbf{R}_{i}^{\star}\right)^{\top}(\mathbf{t}_{j}-\mathbf{t}_{i})-\mathbf{t}_{ij}^{(k)}\right\|_{2}^{2}+\lambda_{motion}\mathcal{L}_{motion},\end{align*}{Ri⋆​}{ti⋆​}​=Ri​∈SO(3),R1​=I3​argmin​Ω1​(k,i,j)∈E∑​ωij(k)​​Ri⊤​Rj​−Rij(k)​​F2​,=t1​=0argmin​Ω1​(k,i,j)∈E∑​ωij(k)​​(Ri⋆​)⊤(tj​−ti​)−tij(k)​​22​+λmotion​Lmotion​,​

其中${\omega }_{ij}^{(k)}$对每个因子加权，且$\Omega ={\sum }_{(k,i,j)\in \mathcal{E}}{\omega }_{ij}^{(k)}$。在旋转固定的情况下，平移估计是一个线性最小二乘问题。可选的运动先验${\mathcal{L}}_{motion}$惩罚每个内部节点处传入和传出平移速度之间的变化，使用实际的参考相机时间戳间隔。每个速度差在取平方欧几里得范数之前乘以中位采样间隔，并且该惩罚在内部节点上取平均。

优化后的轨迹${\mathbf{T}}_i^{\ast }=({\mathbf{R}}_i^{\star },{\mathbf{t}}_i^{\star })$随后为每个相机在其采集时刻提供校正。对于每个样本，我们保留其最接近时间中心的所在窗口的深度和语义预测。对于在选定窗口$k$中于${\tau }_{t,c}$处捕获的图像，我们分别插值源参考相机轨迹和优化后的参考相机轨迹，并应用

$${\hat{\mathbf{T}}}_{t,c}^{\mathrm{clip}}={\mathbf{T}}^{\star }\left({\tau }_{t,c}\right){\left[{\hat{\mathbf{T}}}^{(k)}\left({\tau }_{t,c}\right)\right]}^{-1}{\hat{\mathbf{T}}}_{t,c}^{(k)}.$$

这在将优化后的运动传递到其实际采集时间的同时，保留了每个相机与源参考轨迹的预测关系。保留的深度保持不变。对于任一种组装方法，最终点图通过使用式 (2) 将保留的深度与组装后的相机位姿反投影得到。表 6 在匹配的检查点和窗口调度下比较了这两种方法。

在我们的 PGO 实现中，因子连接每个窗口内相隔 1、2、4 或 8 个采样行的样本。其权重随该对的中点位置线性递减，从窗口开始处的 1 降至结束处的 0.1。旋转通过链接平均后的相邻帧测量进行初始化，并使用 L-BFGS 以旋转向量更新进行细化。我们使用${\lambda }_{\mathrm{motion}}=30$；将其设为零会禁用运动先验，对于少于三个节点的轨迹也会省略该先验。

5.3. 离线多目标跟踪

我们在整个片段上收集 3D 检测结果，并使用组装后的自车轨迹将其中心、朝向和速度从特定时间戳的传感器平台坐标系变换到公共世界坐标系。然后我们按时间顺序将检测结果关联为轨迹。恒定速度卡尔曼滤波器维护每条轨迹的平面位置和速度，使用检测模型预测的位置和速度作为测量。在每个观测时刻，滤波器预测轨迹位置，匈牙利分配在距离门限约束下通过最小化平面距离将检测结果与这些预测匹配。匹配的检测结果更新滤波器状态，未匹配的检测结果初始化新轨迹，未匹配的轨迹在有限时间内保持可关联。

跟踪分两个阶段进行。第一阶段使用较短的轨迹生命周期形成保守轨迹；然后我们插值间隙并平滑轨迹，之后使用较长生命周期的第二遍重新连接剩余片段。最终平面位置和速度通过 Rauch–Tung–Striebel (RTS) 后向平滑器细化，使后续观测能够改进早期状态估计。高度和偏航角分别平滑，偏航角在插值和平滑之前解缠，并为每条轨迹分配中位长方体尺寸。

6. Physical AI Autonomous Vehicles Foundation4D

Physical AI Autonomous Vehicles (PAI) [8] 为自动驾驶研究提供多传感器驾驶记录，包括多相机 RGB 视频、LiDAR 点云和雷达检测。该数据集还提供传感器标定、自车运动轨迹，以及自动生成的 3D 长方体轨迹，包含物体位姿、尺寸、语义类别和轨迹标识符。我们使用由 LiDAR 导出的深度图和占用网格（具有逐体素语义和速度标签）增强基准中使用的 PAI 序列，用于密集 3D 感知评估 [7]。我们的几何、检测和语义占用评估使用相同的 1,253 个 PAI 测试片段和六个相机。任务特定协议在第 7 节中描述。

标注流水线在时间上聚合静态 LiDAR 点，并在局部时间窗口内组合运动补偿后的动态点。作为辅助输入，它使用由内部语义分割模型预计算的语义掩码，以及由 SAM 2 [108] 使用从投影 3D 长方体导出的框提示生成的实例掩码。相机标定和传感器位姿在时间和相机视图之间对齐 LiDAR 点，而长方体轨迹指导运动补偿，并用长方体类别标签补充图像语义预测。该流水线生成两个输出：在每个相机视图中渲染的深度图，以及车辆坐标系中的语义占用网格。图 4 总结了标注流水线，图 5 展示了两个 PAI 示例上得到的深度和语义占用标注。

6.1. 时间 LiDAR 聚合

单次 LiDAR 扫描对场景采样稀疏，因此我们随时间累积测量以获得更完整的表面覆盖。我们使用每个回波的采集时间戳对其进行自车运动补偿，并将其变换到公共世界坐标系。长方体轨迹识别需要运动补偿的参与者：静态点在整个片段上累积，而动态点从最多十次 LiDAR 扫描的局部窗口中收集，并变形到目标时间戳处的参与者位姿。这种分离在保持运动物体位置的同时增加了覆盖。

平滑后的长方体轨迹用于将轨迹分类为静态或动态。对于动态轨迹，我们插值原始长方体位姿，以在填充后的长方体裁剪区域内选择点，并在时间上对齐它们。这些裁剪区域内的地面点被排除在物体重建之外，仅高置信度的地面回波被恢复到静态点云中。累积的静态点云随后通过局部密度进行滤波，同时保留由多次扫描支持的稀疏平面表面。该流水线还支持可选的强度滤波，对静态和动态回波使用不同的阈值。

6.2. 深度标注生成

我们通过将累积的静态场景和运动补偿后的参与者渲染到每个相机视图中来生成度量深度图。投影使用相机原生分辨率下的标定内参和外参，并考虑卷帘快门曝光期间的相机运动。静态深度从最近的可见投影 LiDAR 点获得；动态点使用固定半径高斯泼溅渲染。在实例掩码与动态语义区域重叠处，动态深度在遮挡检查的约束下被整合到静态深度图中。没有实例掩码的物体使用直接点投影。

可见性检查防止被遮挡的点对深度图产生贡献。我们将候选深度与测量的静态深度以及从静态点云渲染的辅助泼溅参考进行比较，仅在后者与附近测量和语义标签一致时使用它。在掩码动态区域内，没有渲染动态深度的像素被标记为无效，而不是保留背景深度。当动态预测被遮挡检查拒绝时，保留静态深度。来自直接投影的可见动态点可以填充缺失深度。每个有效输出存储沿相机视线方向的以米为单位的距离。缺失深度、天空和自车像素被设置为零。

6.3. 语义占用标注生成

我们通过为累积的 3D 点分配类别并在目标车辆坐标系中对其进行体素化来构建语义占用标注。静态点从跨多个相机和帧的预计算图像语义分割图中获得深度一致的语义投票，较近的观测被赋予更大的权重。这些投票由静态长方体轨迹的类别补充。最高累积加权分数决定每个静态点的标签，而动态点继承其关联长方体轨迹的类别。然后通过将交通标志和交通灯标签从密集标注区域传播到 3D 中附近的连通点来细化它们。在构建静态占用图之前，未标注点和天空点被移除。

静态点云在世界坐标系中预体素化，并清理以移除孤立分量。在每个前广角相机帧的结束时间戳，我们将静态体素中心和运动补偿后的动态点变换到车辆坐标系。导出的网格在$x\in [-150,150)$m、$y\in [-100,100)$m 和$z\in [-3,5)$m 范围内使用 0.1 m 立方体素。静态体素中心和动态点分别体素化，并在每个集合内进行多数投票。在两个集合重叠处，动态体素优先，除非静态体素表示道路、人行道或地形。每个占用体素还存储以米每秒为单位的 3D 速度，表示以车辆坐标表达的世界相对运动。这里，静态体素速度为零，而动态体素继承其轨迹的平移速度，该速度由连续长方体中心估计。

7. 实验

我们在内部数据集和公开基准${}^1$上评估 Foundation4D 在几何、3D 检测和跟踪、语义占用以及高斯重建方面的表现。组件和推理消融实验考察模型设计、监督和视频级组装的影响。最后，我们比较不同的训练任务组合，以评估学习共享表示的优势和权衡。

7.1. 几何

我们的几何头旨在对多相机传感器捕获的3D场景提供一致的视频级重建。我们沿三个维度评估这一能力：(i) 在公开的和PAI基准上的多相机视频重建（第7.1.1节和第7.1.2节）；(ii) 核心模型设计选择的贡献；以及(iii) 我们的视频推理系统的影响（第7.1.3节）。

评估协议

我们通过每个评估序列一个单一的相似变换$(s,\mathbf{R},\mathbf{t})\in \mathrm{Sim}(3)$，将预测的多相机轨迹与对应的真值联合对齐：窗口级评估使用一个窗口，视频级评估使用一个完整片段。我们从对齐后的相机位姿计算轨迹误差：ATE衡量平均相机中心误差，而RTE和RRE衡量连续位姿之间的相对平移和旋转误差。我们对所有预测深度图应用相同的尺度$s$，${\tilde{\mathbf{D}}}_{t,c}=s{\tilde{\mathbf{D}}}_{t,c}$，并在有效像素上针对真值深度评估AbsRel和${\delta }_{1.25}$。AbsRel是平均绝对相对深度误差；${\delta }_{1.25}$是预测与真值深度比位于$\frac{1}{1.25}$和1.25之间的像素百分比。Rig RTE和RRE将恢复的静态相机间变换与标定外参进行比较，rig平移使用相同的尺度$s$。Rig mAA@K在从$1^{\circ }$到$K^{\circ }$的角度阈值上平均联合旋转和平移方向精度。与真值的对齐仅用于评估。

7.1.1. 公开基准

我们在公开的Waymo [9]和nuScenes [10]数据集上，将Foundation4D与近期的驾驶几何模型和统一感知模型的几何重建性能进行比较，评估深度、轨迹和相机rig精度。

基线

我们将DVGT-1、DVGT-2、LiAuto-GeoX和GeoUP作为基线，使用其公开发布的检查点和代码库。DVGT-1 [40]从未标定的多相机图像预测度量点图和自车位姿，而DVGT-2 [23]通过流式推理预测局部点图和相对自车运动。两者均仅以图像作为模型输入；为进行评估，我们使用已知的相机到rig外参从其自车坐标系输出中推导相机位姿和深度。LiAuto-GeoX [44]是一个从位姿条件几何教师模型蒸馏得到的紧凑模型；我们使用其发布的学生模型仅从图像预测深度。尽管它也预测相机位姿，但我们缺乏足够的实现细节来复现其报告的位姿性能。

GeoUP [3]联合预测深度、3D物体和语义占用，假设已知相机内参、相机到rig标定和自车位姿。我们在深度估计上评估所有方法，并仅与DVGT-1比较相机位姿精度。没有任何方法像Foundation4D那样显式估计共享的静态相机到rig标定。

设置

遵循所有四个基线，我们将Waymo和nuScenes纳入训练域。因此，我们在内部NRE数据与Waymo（798个序列，五个相机）和nuScenes（700个场景，六个相机）训练划分的混合数据上，以0.30、0.35和0.35的概率采样，对Foundation4D的主干和几何解码器微调20,000次迭代。

我们在Waymo和nuScenes的官方验证划分上评估，真值深度使用第6节中的流程从片段聚合的LiDAR渲染。我们在所有非重叠的48帧窗口上使用窗口级推理比较各基线的深度，并对所有窗口预测平均指标。每个窗口内的独立尺度对齐限制了累积位姿漂移对深度评估的影响。对于自车位姿评估，我们采用更实用的视频级设置并处理完整片段。为公平比较，我们将DVGT-1和Foundation4D都集成到我们的视频推理系统（第5节）中，使用相同的48帧窗口，并在每个数据集的原生帧率下具有5帧重叠。

模型	Waymo		nuScenes
	AbsRel$\downarrow$	$\delta_{1.25}\uparrow$(%)	AbsRel$\downarrow$	$\delta_{1.25}\uparrow$(%)
DVGT-1 [40]	0.20	72.87	0.18	78.97
DVGT-2 [23]	0.26	70.93	0.22	75.32
LiAuto-GeoX [44]	0.19	75.72	0.27	62.75
GeoUP [3]	0.13	87.30	0.19	80.05
Foundation4D	0.09	91.97	0.15	86.44

内容类型：文档

数据集	推理模式	模型	轨迹			相机装置			深度
			ATE$\downarrow$（cm）	RTE$\downarrow$（cm）	RRE$\downarrow$（°）	RTE$\downarrow$（cm）	RRE$\downarrow$（°）	mAA@15$\uparrow$（%）	AbsRel$\downarrow$（%）	$\delta_{1.25}\uparrow$（%）
Waymo	拼接	DVGT-1 [40]	62.33	3.54	0.06	-	-	-	0.20	73.04
		Foundation4D	32.70	3.20	0.06	0.96	1.02	83.37	0.09	92.33
	PGO+LM	DVGT-1 [40]	54.55	2.38	0.05	-	-	-	0.20	73.26
		Foundation4D	23.62	1.56	0.06	0.90	1.03	83.54	0.09	92.94
nuScenes	拼接	DVGT-1 [40]	31.02	3.98	0.07	-	-	-	0.17	79.28
		Foundation4D	22.13	2.15	0.05	2.06	0.18	99.22	0.15	86.58
	PGO+LM	DVGT-1 [40]	30.54	1.24	0.07	-	-	-	0.17	79.28
		Foundation4D	17.48	1.19	0.05	2.02	0.18	99.22	0.15	86.63

模型	推理模式	轨迹			相机装置			深度
		ATE$\downarrow$\n（cm）	RTE$\downarrow$\n（cm）	RRE$\downarrow$\n（°）	RTE$\downarrow$\n（cm）	RRE$\downarrow$\n（°）	mAA@15$\uparrow$\n（%）	AbsRel$\downarrow$\n（%）	$\delta_{1.25}$\n$\uparrow$\n（%）
VGGT$^{\dagger}$	拼接	111.12	8.31	0.122	29.26	0.520	42.50	0.084	94.88
Foundation4D	拼接	78.06	4.69	0.070	3.90	0.404	88.72	0.081	94.98
	PGO+LM	52.75	2.28	0.066	3.92	0.404	88.71	0.079	95.03

结果

在 Waymo 和 nuScenes 上，微调后的 Foundation4D 模型在所评估方法中取得了最低的深度 AbsRel 和最高的${\delta }_{1.25}$（表 2）。与 DVGT-1 相比，它还将视频级轨迹 ATE 降低了 29–57%（表 3）。相机装置 mAA@15 在 Waymo 上超过 83%，在 nuScenes 上超过 99%，表明该模型无需提供相机装置外参或自车姿态，即可在估计车辆运动的同时估计相机布置。

GT 深度范围（m）	VGGT†（拼接）	Foundation4D（拼接）	Foundation4D（PGO+LM）
0-10	0.098	0.095	0.093
10-25	0.067	0.062	0.058
25-40	0.074	0.070	0.069
40-60	0.086	0.082	0.081
60+	0.118	0.109	0.108

7.1.2. PAI 基准

我们在第 6 节介绍的 PAI 基准上评估 Foundation4D。评估涵盖自车姿态、相机到相机装置的标定，以及跨距离范围的深度，并辅以定性场景重建。

设置

我们在几何任务上使用包含1，253个片段和六个相机的完整PAI测试集评估统一的Foundation4D模型，并与内部微调的VGGT基线进行比较。我们使用最佳的几何专家训练方案，在同一内部数据上微调原始VGGT架构。我们保留官方VGGT-Commercial初始化，在我们的实验中，它比LingBot-Map初始化产生略好的几何性能。由于VGGT缺少语义掩码并且预测的几何仅达到尺度级别，我们仅在不使用天空掩码的拼接方式下评估它。Foundation4D使用天空掩码拼接和PGO+LM。两个模型使用相同的窗口采样方案；指标遵循共享的几何评估协议，并在各片段间等权平均。

自车与设备标定结果

在拼接方式下，Foundation4D相对于内部微调的VGGT基线将轨迹ATE降低29.8%，并改善设备标定（表4）。设备平移误差降低86.7%，而设备mAA@15从42.50%上升到88.72%。PGO+LM进一步将轨迹ATE从78.06 cm降低到52.75 cm。

跨距离范围的深度精度

与VGGT相比，两种Foundation4D推理模式在每个深度范围内都降低了AbsRel（图6）。相对改进在远距离更大：在拼接方式下，它从10 m内的2.2%增长到60 m以外的7.7%；PGO+LM在远距离达到8.4%的降低。图7中的示例展示了一座立交桥及其后方道路的多相机深度重建，同时突出了远处结构和深度不连续处的残余误差。

视频级重建的定性结果

除逐图像深度外，图8展示了四个视频级重建，其道路布局、建筑立面和植被共享一个共同的三维坐标系。图9中的立交桥细节将一张输入图像与从对应预测相机位姿渲染的累积几何配对，展示了桥梁、支撑桥墩和下层道路。输入捕获一个瞬间，而重建整合了整个片段的观测。

7.1.3. 消融实验

我们消融几何架构和监督，以评估它们对深度、自车位姿和设备标定精度的贡献。我们还比较窗口拼接和位姿图优化，以理解推理选择如何影响视频级重建。

设置

所有变体共享缩减的16块聚合器、相同的训练样本和配方，以及LingBot-Map初始化。每个变体训练30，000次更新，每个相机12个时间样本，均匀采样的步长最高为5。从适应此设置的VGGT [4]基线开始，我们累积添加因子化全局注意力、带独立设备和自车损失的设备-自车因子化、度量尺度训练、相对位姿监督和辅助语义监督。不使用语义掩码的拼接提供了每个变体都支持的通用推理协议，从而实现公平的模型比较。对于推理消融，我们固定变体(f)，它实现了最低的ATE和深度AbsRel，并比较不使用和使用天空掩码的拼接、PGO，以及带线性运动先验(LM)的PGO。

我们在50个内部片段上使用四个相机（前广角、前长焦、左交叉和右交叉）进行评估，RGB和深度为$518\times 518$。我们从15 FPS锚点时间线中每隔一帧采样，并以每个相机48个时间戳窗口处理完整片段，重叠5个时间戳。指标在各片段间等权平均。该队列与第7.5节中的联合任务研究分开。

不同模型和监督设计的影响

向基线添加因子化全局注意力后，在一个H100 GPU上观察到的端到端运行时间减少8.5%，但在视频级和深度精度上存在权衡（表5）。设备-自车变体改善了轨迹、设备和深度精度，在所有变体中产生最低的设备平移误差和最高的设备mAA@15。这些增益支持在时间运动之外显式建模静态相机布置。度量尺度训练在视频级重建中提供最大增益，将ATE从141.72 cm大约减半至70.67 cm，同时改善深度。这支持在共同单位中监督窗口以改善其组装。相对位姿监督随后改善局部平移和旋转精度，深度误差略有增加。辅助语义监督产生最佳深度精度并进一步改善轨迹翻译，尽管设备精度并未均匀提升。综合来看，这些结果区分了对尺度一致性、局部运动和稠密几何的互补贡献。

变体	轨迹			设备			深度
	ATE$\downarrow$(cm)	RTE$\downarrow$(cm)	RRE$\downarrow$($^{\circ}$)	RTE$\downarrow$(cm)	RRE$\downarrow$($^{\circ}$)	mAA@15$\uparrow$(%)	AbsRel$\downarrow$	$\delta_{1.25}\uparrow$(%)
(a) 基线	128.48	5.04	0.086	7.75	0.701	71.78	0.133	83.16
(b) + 因子化全局注意力	149.88	4.87	0.086	7.16	0.808	74.24	0.140	82.25
(c) + 设备-自车因子化	141.72	4.31	0.053	5.00	0.796	77.91	0.136	82.51
(d) + 度量尺度训练	70.67	3.43	0.053	5.88	0.834	76.98	0.129	83.58
(e) + 相对位姿损失	69.81	3.22	0.042	5.62	0.835	76.91	0.130	83.41
(f) + 语义监督	69.53	2.94	0.042	5.77	0.802	75.69	0.127	83.62

变体	轨迹			设备		深度
	ATE$\downarrow$(cm)	RTE$\downarrow$(cm)	RRE$\downarrow$(°)	RTE$\downarrow$(cm)	RRE$\downarrow$(°)	AbsRel$\downarrow$	$\delta_{1.25}\uparrow$(%)
拼接，无掩码	69.53	2.94	0.042	5.77	0.802	0.127	83.62
拼接，天空掩码	65.55	2.89	0.042	5.75	0.802	0.127	83.68
PGO	33.11	2.18	0.041	5.64	0.801	0.125	84.02
PGO + LM	31.26	1.21	0.041	5.60	0.801	0.125	84.01

GT 累计地面距离 (m)	误差 (cm)（实线）	误差 (cm)（点线）	误差 (cm)（虚线）
0	-120	-15	-10
10	-80	-10	-5
20	-40	-5	0
30	-10	0	5
40	10	5	15
50	35	15	20
60	45	10	15
70	40	5	10
80	45	0	5
90	48	-5	0
100	50	-5	-5
110	45	-5	-10
120	35	-5	-5
130	20	-5	0
140	5	0	5
150	-25	0	0
160	-50	5	5
170	-75	0	0
180	-110	-5	-5

GT 累计地面距离 (m)	STITCH（天空掩码）误差 (cm)	PGO 误差 (cm)
0	-6.0	5.5
10	-7.0	2.5
20	-4.0	1.0
30	0.0	0.0
40	4.0	2.0
50	9.0	2.0
60	2.0	-3.0
70	-5.0	-7.0
80	-12.0	-16.0
90	-8.0	-4.0
100	-5.0	-1.0
110	0.0	5.5
120	-2.0	0.0
130	0.0	1.0
140	2.0	0.0
150	5.0	4.0
160	2.0	2.5
170	4.0	0.0
175	-15.0	-1.0

GT 累计地面距离 (m)	误差 (cm)（实线）	误差 (cm)（点线）	误差 (cm)（虚线）
0	-10.0	-11.0	-14.0
10	-2.0	-3.0	-6.0
20	1.0	-0.5	-2.0
30	3.0	2.0	0.0
40	4.5	3.0	2.0
50	2.0	1.0	0.0
60	-2.0	-2.0	-5.0
70	-8.0	-6.0	-9.0
80	-10.0	-8.0	-10.0
90	-8.0	-6.0	-8.0
100	-6.0	-5.0	-7.0
110	-5.0	-4.0	-6.0
120	-4.0	-3.0	-5.0
130	-3.0	-2.0	-4.0
140	-2.0	-1.0	-3.0
150	-1.0	0.0	-2.0
160	0.0	2.0	-1.0
170	4.0	5.0	1.0
180	8.0	6.0	5.0
185	11.0	6.5	7.0


不同推理模式的影响

在表 6 中，天空掩码通过从窗口对齐中排除不可靠的有限深度对应关系，适度改善了拼接。随后，PGO 相对于天空掩码拼接将 ATE 几乎减半，并提高了局部运动精度。联合协调重叠的相对位姿约束，使后续窗口能够修正先前的估计，从而减少顺序对齐带来的误差累积。线性运动先验进一步通过抑制速度突变来改善平移一致性，并在 ATE 上带来较小的额外增益。PGO+LM 实现了最低的 ATE 和相对平移误差。在图 10 的示例序列中，PGO 减小了拼接的大幅纵向偏差，而 LM 抑制了短间隔振荡。PGO 保留预测深度；其深度分数的差异反映了用于评估的位姿导出尺度。

7.2. 3D 目标检测与跟踪

我们评估 3D 目标检测及其预测所组装的轨迹。我们研究对 nuScenes 的适应、在完整 PAI 测试集上的性能，以及通过消融实验研究检测器设计和离线推理的影响。

7.2.1. 公开基准

我们在公开的 nuScenes [10] 3D 检测基准上评估 Foundation4D，并在官方协议下将其与最先进的纯相机 3D 检测器进行比较。

设置

我们从在内部 NRE、PlanNet 和 MLMCF 数据（不含 nuScenes）上预训练的 Foundation4D 检测器初始化，重新初始化其分类器以适配 10 个 nuScenes 类别，并微调所有权重。为了与先前方法进行公平比较，我们遵循标准的 nuScenes 训练和评估协议，使用来自全部六个相机的 2 Hz 标注关键帧，覆盖 700 个训练场景和 150 个验证场景（仅评估）。

我们使用 StreamPETR [54] 和 GeoUP [3] 的图像与 BEV 增强以及 GridMask，并采用相同的$\pm 51.2$m 检测范围。我们使用 AdamW 训练 10,000 次迭代，批大小为 32 个窗口，基础学习率为$4.5\times 10^{-4}$，分别对聚合器和图像编码器应用 0.1 和 0.03 的学习率乘数。遵循先前工作，我们使用官方 nuScenes devkit 在全部 150 个验证场景上评估预测，并报告 mAP 和 nuScenes 检测分数（NDS），以确保表 7 中比较的评估协议一致。在测试时，Foundation4D 处理连续的八关键帧窗口，因此其预测也使用每个窗口内的未来帧。

基线

我们使用已发表结果与 PETRv2 [15]、SparseBEV [53]、Stream3DPPE [51]、RoPETR [55]、StreamPETR [54] 和 RayDN [56] 进行比较。最相关的方法 GeoUP [3] 将 VGGT 初始化的 [4] ViT-L 主干与 RayDN 风格检测器和四帧输入相结合。我们评估了发布的 GeoUP-nuScenes 检查点，该检查点仅在 nuScenes 上训练，论文报告其结果为 57.9 mAP 和 64.4 NDS。我们还纳入了 GeoUP-Joint${}^2$的已发表结果，该模型在 nuScenes、Argoverse 2、Waymo、KITTI 和 DDAD 上联合训练，并使用检测、深度和占用监督。对于 RayDN，我们报告 GeoUP 使用 DINOv3 [109] ViT-L 主干复现的结果。

结果

Foundation4D 取得了最佳结果，60.9 mAP 和 66.5 NDS（表 7）。它比第二好的方法 GeoUP-Joint 提高了 +1.7 mAP 和 +1.2 NDS。这表明 Foundation4D 检查点是面向新相机设备和标签集的强起点。仅靠更大的通用主干并不能解释这些增益：使用 DINOv3 ViT-L 时，RayDN 仅达到 49.9 mAP，低于其 EVA02-L 版本，而两个经过几何预训练的 ViT-L 模型均超过 56 mAP。

内容类型：文档

模型	骨干网络		检测
	架构	骨干网络初始化	mAP $\uparrow$	NDS $\uparrow$
PETRv2	ResNet101	nuImages	42.1	52.4
SparseBEV	ResNet101	nuImages	50.1	59.2
Stream3DPPE	VoV-99	FCOS3D	50.0	58.5
RoPETR	VoV-99	FCOS3D	52.9	61.4
StreamPETR	EVA02-L	Cascade R-CNN	52.1	60.8
RayDN	EVA02-L	Cascade R-CNN	54.1	62.4
RayDN	ViT-L	DINOv3	49.9	55.3
GeoUP-nuScenes	ViT-L	VGGT	56.5	63.0
GeoUP-Joint	ViT-L	VGGT	59.2	65.3
Foundation4D	ViT-L	Foundation4D	60.9	66.5

7.2.2. PAI 基准

设置

我们在全部 1,253 个 PAI 测试片段上评估统一的 Foundation4D 检查点，覆盖 750,552 个时间戳，使用高斯重建微调后获得的检查点。推理时，我们使用六个分辨率为$1036\times 1036$的物理相机，以及间隔为两个源帧的 32 时间戳窗口。交错采样覆盖每个源时间戳。预测结果与官方发布的 PAI 长方体标注 [8] 进行评估（参见第 3.5 节中列出的类别），并限制为所选相机中可见的对象。检测使用 BEV 中心距离匹配，阈值分别为 0.5、1、2 和 4 m。跟踪使用完整的离线流水线和中心距离 HOTA [110]，相似度在 2 m 处降至零。为了聚焦于最具代表性和最常见的类别，我们报告 automobile、person、rider、bus 和 heavy truck 的五类宏平均，以及全部十二类的结果。跟踪统计在每个类别内的片段上合并，然后取未加权的类别均值。

结果与距离细分

Foundation4D 在五个主要类别上达到 38.00% mAP 和 34.76% HOTA，在全部十二个类别上达到 29.11% mAP 和 25.66% HOTA（完整评估）。图 11 报告了按距自车平面距离划分的检测 mAP 以及完整评估中的跟踪 HOTA。对于五个主要类别，mAP 在 64 m 内为 52.23%，在 108 m 内为 40.43%，在 108–200 m 区间为 11.16%。全部十二个类别的相应分数分别为 38.95%、30.87% 和 9.11%。两个近距评估存在重叠，并独立评分。这些结果表明远距离检测仍存在困难。由于评估区域和类别定义与 nuScenes 不同，报告的 mAP 分数不应与其主要结果直接比较。

定性结果

图 12 展示了离线流水线如何在 PAI 街道场景中将检测结果组装为 3D 轨迹，包括不同距离的车辆和行人。

平面距离 (m)	蓝色 (%)	橙色 (%)
0-64	52.23	38.95
0-108	40.43	30.87
108-200	11.16	9.11
完整评估	38.00	29.11

	HOTA (%)
完整评估	34.76
未标注	25.66

7.2.3. 消融实验

设置

我们在内部驾驶数据集 PlanNet 和 MLMCF 上训练组件变体 80,000 次更新，使用四个固定前视相机和仅检测监督。训练窗口包含 8 个时间样本，随机间隔最多为 8 个源帧。我们在 300 个片段的 PlanNet 上评估最终检查点验证集，报告在汽车、行人、骑行者、公交车和重型卡车类别上平均的 mAP 和中心距离 HOTA。真值被限制为在四个相机中可见的对象。表 8 还包含一个使用缩放调度和多任务训练的模型。

配置	mAP $\uparrow$	HOTA $\uparrow$
VoVNet (320 $\times$800)	21.4	21.5
DINOv2 (532 $\times$952)	30.1	28.8
VGGT (518 $\times$518)	27.5	26.6
+ 分辨率 1036 $\times$1036	31.7	30.2
+ 可变形注意力	32.1	29.3
+ QueryDN / 辅助 YOLOX	34.7	32.5
扩展训练计划与多任务训练	47.0	43.6

时间戳	跨度（秒）	mAP $\uparrow$	HOTA $\uparrow$
2	0.07	37.0	36.7
4	0.20	39.5	39.1
8	0.47	42.1	40.5
16	1.00	44.9	42.0
32	2.07	47.0	43.6
48	3.13	47.6	43.3

模型与监督选择的影响

表 8 比较了使用 VoVNet、DINOv2 和 VGGT 特征的密集注意力 PETR 检测器。从 VGGT 出发，我们提高图像分辨率，添加带有可变形交叉注意力的 FPN 特征，并引入带有辅助 2D 监督的查询去噪。提高图像分辨率可同时改善检测和跟踪，同时保持 VGGT 聚合器网格不变。FPN 特征和可变形注意力进一步改善 mAP，但 HOTA 有所下降。查询去噪和辅助 2D 监督改善了两项指标，达到 34.7% mAP 和 32.5% HOTA。缩放多任务参考模型在标题中指定的不同评估设置下达到 47.0% mAP 和 43.6% HOTA。

推理时的时间上下文

我们使用缩放多任务模型的固定检查点，改变推理时联合处理的时间戳数量。直观上，增大窗口大小可通过多帧聚合器 transformer 利用更多时空上下文来增强每个视角的图像特征。将窗口从 2 个时间戳增大到 32 个时间戳，无需重新训练即可将 mAP 提高 10.07 个点，将 HOTA 提高 6.89 个点。扩展到 48 个时间戳会增加 0.59 个 mAP 点，但会使 HOTA 降低 0.32 个点。因此，检测在测试范围内持续改善，而跟踪在 32 个时间戳时达到最高分数。

配置	HOTA $\uparrow$
速度基线	41.4
+ 卡尔曼滤波	42.1
+ RTS 平滑	43.6

配置	自运动
	真值	预测值
GT 框和身份（oracle）	100.0	83.8
预测框和跟踪器	43.6	40.5

跟踪运动估计与平滑

我们固定检测器输出、关联调度、置信度过滤、类别映射和真值，使用相同的缩放多任务检查点，推理窗口为 32 个时间戳。基线使用检测器速度进行运动预测、匈牙利关联、间隙插值和 Savitzky–Golay 平滑。所有三种配置均使用相同的两轮关联，最大间隙分别为 24 和 50 个原生 30 Hz 帧索引。我们首先引入卡尔曼预测和更新，然后用 Rauch–Tung–Striebel（RTS）反向传递替换平面轨迹平滑。RTS 在最终关联轮之后应用于所有类别，并在两轮之后应用于行人轨迹。如表 10 所示，卡尔曼滤波将 HOTA 从 41.4 提高到 42.1，提升 0.7 个点，RTS 平滑再增加 1.5 个点，达到 43.6，相比速度基线总提升 2.2 个点。

预测自运动的影响

如第 5.3 节所述，检测结果使用自车姿态变换到公共参考帧以进行多目标跟踪。我们评估用通过序列窗口对齐获得的预测姿态替换真值自车姿态的影响。在表 11 中，我们首先使用真值框和身份隔离姿态引起的定位误差，而不运行跟踪器。用预测姿态替换真值自车姿态会将 HOTA 从 100.0 降低到 83.8，表明即使检测和身份完美，仍存在残余定位误差。在使用预测检测和固定跟踪配置时，影响较为温和：HOTA 从 43.6 降至 40.5，下降 3.1 个点（相对 7.1%）。因此，虽然姿态精度影响定位，但完整跟踪流程在使用预测自运动时仍保留了大部分性能。

7.3. 占用

我们的占用分支从多相机视频中预测高分辨率体素网格上的占用空间并分配语义标签。我们沿两个主要方向评估该能力：(i) 在公开基准和 PAI 基准上的二值占用和语义预测精度；(ii) 通过组件消融评估每个设计选择的贡献。

7.3.1. 公开基准结果

设置

我们在 OpenOccupancy [11] 上微调 Foundation4D，这是一个环绕视图语义占用基准，通过密集体素标注扩展了 nuScenes [10]。该基准在 0.2 m 体素分辨率下，在$[-51.2,51.2]\times [-51.2,51.2]\times [-5,3]$m 的感兴趣区域内评估 16 个语义类别。我们训练 30,000 次更新，初始学习率为$3\times 10^{-4}$并使用余弦衰减，批大小为 8，时间步长为 1，输入图像为$1036\times 1036$，并进行随机颜色增强。与预训练相比，该基准改变了语义类别和空间范围，同时保持相同的体素分辨率。

方法	IoU	mIoU	各类别 IoU
			护栏	自行车	公交车	汽车	施工车辆	摩托车	行人	交通锥	拖车	卡车	可行驶表面	其他平坦表面	人行道	地形	人造物	植被
MonoScene [71]	18.4	6.9	7.1	3.9	9.3	7.2	5.6	3	5.9	4.4	4.9	4.2	14.9	6.3	7.9	7.4	10	7.6
TPVFormer [68]	15.3	7.8	9.3	4.1	11.3	10.1	5.2	4.3	5.9	5.3	6.8	6.5	13.6	9	8.3	8	9.2	8.2
CONet [11]	20.1	12.8	13.2	8.1	15.4	17.2	6.3	11.2	10	8.3	4.7	12.1	31.4	18.8	18.7	16.3	4.8	8.2
OccMamba [74]	21.7	13.2	13.2	7.4	15.3	17.6	6.1	10.3	10.3	6.5	6.2	13.3	32.9	20.5	19.8	17.4	4.8	8.7
SparseOcc [78]	21.8	14.1	16.1	9.3	15.1	18.6	7.3	9.4	11.2	9.4	7.2	13	31.8	21.7	20.7	18.8	6.1	10.6
OccGen [75]	23.4	14.5	15.5	9.1	15.3	19.2	7.3	11.3	11.8	8.9	5.9	13.7	34.8	22	21.8	19.5	6	9.9
SPSC [80]	24.3	15.2	18.9	9.6	19.4	21.3	8.5	11.0	13.9	9.4	6.6	14	34.8	19.2	22.4	18.8	5.3	9.6
SPSC-temporal [80]	25.5	16.2	19.9	10.1	14.3	19.1	10.8	10.6	7.1	11.3	8.2	14.8	40.5	23.4	25.9	21.6	8.0	13.3
Foundation4D	27.4	18.1	18.0	11.2	17.3	21.1	10.1	14.3	11.3	8.1	9.7	16.5	39.9	28.5	28.0	24.2	13.4	17.7

基线方法

我们将 Foundation4D 与仅使用相机的基线方法进行比较，这些基线涵盖基于平面、稠密体素和稀疏 3D 表示。TPVFormer [68] 将多相机特征聚合为三个正交特征平面。稠密体素方法包括 MonoScene [71]、OccGen [75] 和 OccMamba [74]，而 CONet [11] 使用由粗到细的体素细化。稀疏方法包括 SparseOcc [78] 和 SPSC [80]。我们还与 SPSC-temporal 进行比较，后者融合了历史帧，并在我们的比较中取得了最强的基线结果。对于 CONet、OccGen、OccMamba 以及两种 SPSC 变体，我们使用 [80] 中报告的仅相机 OpenOccupancy 分数。

结果

在表 12 的方法中，Foundation4D 取得了最高的总体 IoU 和 mIoU：27.4 IoU 和 18.1 mIoU，而 SPSC-temporal [80] 为 25.5 和 16.2。它在大多数语义类别上也优于 SPSC-temporal。与该基线相比，剩余的最大差距涉及 barrier 和 traffic cone，这可能反映它们未出现在预训练标签集中。这些结果凸显了跨多个任务的大规模联合预训练的价值：在适配到 OpenOccupancy 后，我们预训练的占用网络优于本比较中基于 TPV、稠密体素和稀疏 3D 的基线，尽管其 BEV 占用解码器设计简单。

图 13 中的定性示例涵盖城市场景，包括夜间条件。Foundation4D 重建了可行驶表面和人行道的扩展区域，以及周围的植被和人造结构。它还能定位单个汽车、自行车和行人实例。预测恢复了整体场景布局和局部几何细节，包括细长的路边结构。

7.3.2. PAI 基准

设置

我们在从 PlanNet 数据集整理的 1,000 个片段上微调 Foundation4D 的时间聚合器和语义占用模块，这些片段使用第 6 节描述的流程进行标注。PlanNet 与 PAI 共享相同的相机设置。我们使用六个相机、$1036\times 1036$输入图像、初始学习率$3\times 10^{-3}$并采用余弦衰减、批大小为 8、时间步长为 2，训练 45,000 次迭代。我们保留共享类别的预训练分类器权重，并随机初始化新 PAI 类别的输出权重。PAI 占用标注的分辨率为 0.1 m，我们将其重新体素化为 0.2 m 以匹配我们的输出分辨率。我们使用基于频率的语义标签分配，以保持类别覆盖并限制重新体素化过程中细结构和类别边界的侵蚀。在评估期间，每次前向传播使用 6 个相机在八个时间戳上以时间步长 2 采样，对应 48 张输入图像。我们应用 0.5 的二元占用置信度阈值。表 13 报告了完整 ROI$[-20,100]\times [-30,30]\times [-3,5]$m 以及单独纵向区域上的二元 IoU、语义 mIoU 和逐类分数。遵循 OpenOccupancy [11]，我们在完整 ROI 上评估且不使用可见性掩码，包括可见和遮挡区域。由于 motorcycle、bicycle 和 train 的标注有限，我们将 motorcycle 和 bicycle 重新映射到现有的 rider 类别。我们在语义评估中排除 train，同时在二元评估中保留其体素为占用。

ROI$x$(m)	IoU	mIoU	逐类 IoU
			road	sidewalk	build.	wall	fence	pole	traf.l.	traf.s.	veg.	terrain	person	rider	car	truck	bus
[-20,0]	38.4	18.4	60.6	34.2	8.2	13.7	8.0	10.0	7.9	5.6	13.5	30.1	9.6	14.0	26.9	18.4	15.2
[0,50]	35.0	16.0	56.1	30.0	6.9	12.6	6.2	8.3	7.1	5.0	11.5	25.2	8.3	11.9	21.8	14.9	14.3
[50,100]	22.9	6.9	35.8	16.1	2.4	8.3	2.7	1.1	1.0	0.4	4.2	14.4	0.8	1.1	7.0	4.1	4.3
[-20,100]	31.5	14.1	49.2	25.8	5.9	11.3	5.5	6.8	5.9	3.9	9.7	22.1	7.9	11.3	19.8	13.7	12.8

结果

Foundation4D 在完整 ROI 上取得 31.5 IoU 和 14.1 mIoU。在邻近区域，IoU/mIoU 更高，$[-20,0]$m 为 38.4/18.4，$[0,50]$m 为 35.0/16.0，而在$[50,100]$m 区域降至 22.9/6.9。这种下降对于细结构（如杆和交通灯/标志）以及小物体（如人和骑行者）尤为明显。图 14 中的白天和夜间示例展示了道路布局、车辆和路边结构。远处几何结构较不完整，这与较长距离处较低的分数一致。

7.3.3. 组件消融

设置

我们通过七种配置研究 Foundation4D 的占用架构和训练方案，并在表 14 中报告结果。每个变体在 NRE、PlanNet 或它们的组合上训练，并在来自 NRE 的相同 50 个验证片段上评估，涵盖不同的驾驶场景。这些实验使用 4 个输入相机、$512\times 512$分辨率和$[0,100]\times [-25,25]\times [-3,5]$m 的 ROI。训练仅关注语义占用任务，并在指示处使用辅助 BEV 分割监督。所研究的变体改变骨干网络、BEV 投影、辅助监督、训练数据、训练迭代次数和全局批大小。

结果

将LSS [111]替换为我们的BEV可变形注意力模块后，所有报告的指标均得到改善，全ROI IoU和mIoU分别从24.03和10.37提升至27.08和11.44。将DINOv2替换为VGGT后，性能进一步提升至27.64 IoU和11.94 mIoU，且所有区域均有改善。辅助BEV分割任务将全ROI mIoU从11.94提升至12.28，加入Dice监督后进一步升至12.51。将PlanNet加入训练数据后，几何预测和语义预测均进一步改善，全ROI IoU和mIoU提升至28.64和13.33。通过额外GPU延长训练并增大全局批量大小后，在所有报告的指标和区域上取得最高分数：全ROI为32.35 IoU和15.84 mIoU，50 m以内为35.28和18.51，50 m以外为28.61和11.99。

7.4. 高斯重建

我们评估Foundation4D的高斯头在联合微调后是否能产生有用的多相机3D高斯重建。我们将Foundation4D的高斯重建与Instant NuRec [5]进行比较，使用其发布的多视图1.1.0检查点且不进行进一步微调，以及推荐的推理

版本	0-100 m		0-50 m		50-100 m
	IoU	mIoU	IoU	mIoU	IoU	mIoU
DINOv2 + LSS + occ. head	24.03	10.37	27.32	12.51	19.68	7.19
DINOv2 + BEV attn. + occ. head	27.08	11.44	29.77	13.57	23.44	8.45
VGGT + BEV attn. + occ. head	27.64	11.94	30.33	14.01	24.01	8.96
+ BEV segmentation	27.46	12.28	30.16	14.54	23.80	8.94
+ Dice loss	27.46	12.51	30.34	14.62	23.61	9.36
+ additional training data	28.64	13.33	31.42	15.68	24.89	9.85
+ longer training and larger batch	32.35	15.84	35.28	18.51	28.61	11.99

内容类型：文档

目标集	区域	Instant NuRec		Foundation4D（使用真值自车姿态）		Foundation4D（使用预测自车姿态）
		PSNR (dB) $\uparrow$	SSIM $\uparrow$	PSNR (dB) $\uparrow$	SSIM $\uparrow$	PSNR (dB) $\uparrow$	SSIM $\uparrow$
整体	全部	22.66	0.78	24.02	0.80	23.94	0.80
	静态	22.83	0.78	24.34	0.81	24.27	0.81
	动态	20.01	0.72	20.03	0.73	19.98	0.73
插值	全部	22.86	0.78	23.98	0.80	23.91	0.80
	静态	23.04	0.78	24.30	0.81	24.22	0.80
	动态	20.20	0.72	20.05	0.73	20.03	0.73
外推	全部	20.34	0.75	20.77	0.76	20.65	0.76
	静态	20.51	0.76	21.20	0.77	21.09	0.76
	动态	17.71	0.66	16.00	0.63	15.84	0.62

配置。我们的主要 Foundation4D 结果使用来自同一模型的预测自车姿态和预测参与者轨迹，渲染相机由预测轨迹获得。所有 Foundation4D 配置均复用同一个检查点，该检查点经过 10k 次联合微调更新；不执行逐片段优化。

7.4.1. 评估协议

我们的评估涵盖 Foundation4D 内部重建基准中的 99 个片段：49 个 NRE 片段和 50 个 PlanNet 片段。两个模型均针对相同的记录目标曝光和 RGB 参考进行评分，采用原生宽分辨率，高度为 720 像素，宽度为 1278 或 1280 像素，并保持相机宽高比。分数对五个共同相机等权平均：前视广角、左交叉、右交叉、后左和后右。前视长焦相机被排除在评分之外，因为 Instant NuRec 模型未针对该相机进行训练。Foundation4D 使用六个输入相机，而 Instant NuRec 使用五个；各自保留其自身的上下文窗口方案。

对于 Foundation4D，源相机姿态、参与者轨迹和渲染相机姿态均由模型预测构建。已知的相机内参和固定的相机到车架外参被保留。目标相机姿态在每个传感器时间戳和卷帘快门曝光边界处从预测的车架轨迹中查询。不使用真值自车姿态、参与者轨迹、初始姿态锚点，或基于真值的轨迹或尺度拟合来构建场景或渲染相机。

Instant NuRec 保留其原始参考协议，该协议要求将真值自车姿态与 RGB 图像一起作为输入。因此，该比较衡量的是各自推理配置下的图像重建，而非孤立的 Gaussian 解码器比较。

我们从 30 Hz 录制中以 1 Hz 采样目标帧。每个模型在非重叠的上下文窗口中预测高斯。表 15 区分了三个目标集。整体重建包括输入帧和其他目标，对每个目标使用最近的上下文窗口。匹配插值子集排除输入帧，并保留两个模型源区间内的其他目标。外推集从较早的上下文窗口渲染未来帧，而不是将其分配给最近的窗口。

对于每个相机，PSNR 在应用对数之前跨片段汇总 RGB 平方误差和有效值计数；SSIM 汇总有效的空间窗口统计量。然后我们对五个相机分数取平均。动态区域由车辆和其他可移动物体（包括停放车辆）的语义掩码定义。该类别并未单独区分实际正在移动的物体。两个模型应用相同的掩码。由于模型使用不同的输入相机数量和上下文方案，该基准比较的是它们的重建系统，而非孤立地比较 Gaussian 解码器。

7.4.2. 定量比较

如表 15 所总结，Foundation4D 相较于 Instant NuRec 表现出显著改进。值得注意的是，即使没有真值姿态或轨迹，我们的预测输入变体在整体 PSNR 上比 Instant NuRec（其使用真值自车姿态）高出 1.28 dB（23.94 对 22.66 dB），SSIM 高出 0.02。在所有评估划分（整体、插值和外推）中，静态区域的性能提升尤为明显。虽然动态区域的整体 PSNR 略低（19.98 对 20.01 dB），但 SSIM 始终有所提升（0.73 对 0.72）。在匹配的真值自车姿态设置下，Foundation4D 达到最高分 24.02 dB。这些发现凸显了我们的方法在重建静态环境方面的鲁棒性，同时指出动态新视角外推是未来探索的方向。所有评估帧均从相关上下文窗口的高斯预测渲染，而非从跨整个场景合并的高斯渲染。全场景合并需要自车姿态，并且容易受到姿态预测误差的影响，类似于第 7.2.3 节中观察到的情况。

7.4.3. 定性结果

图 15 中的多相机渲染展示了 Foundation4D 高斯在所有六个原生视角下的广泛覆盖和强多视角几何一致性。此外，图 16 中的并排比较表明，在道路表面纹理、远处背景几何和不同光照条件下的天空外观方面，相较于 Instant NuRec 有显著的视觉改进。请注意，图 16 中的逐帧 PSNR 标注反映的是单个场景性能，直接印证了表 15 中的整体汇总结果。

7.5. 统一模型

图 17 中的场景级可视化汇集了几何、语义占用和跟踪对象。我们在四相机设置中研究几何、检测和占用之间的交互，然后分析启用了所有任务头的最终六相机统一模型。

7.5.1. 任务组合研究

我们训练了几何（GEO）、检测（DET）和占用（OCC）的所有七种组合，如表 16 所总结。每种配置均从相同的 LingBot-Map 第一阶段权重初始化，并在单阶段中训练 80,000 次更新，使用前视广角、前视长焦、左交叉和右交叉相机。数据到任务的分配和多任务损失权重遵循第 4 节；单任务运行使用单位损失权重。仅 OCC 配置省略了 MLMCF，因为其缺少占用标签。

内容类型：文档

所有配置在每个任务上共享相同的评估协议。我们在301个CICD301片段上使用第7.1节定义的指标评估几何，包括rig mAA@3。检测在300个类别分层的PlanNet验证片段上评估，使用汽车、行人、骑行者、公交车和重型卡车的top-class mAP，并采用3D中心距离匹配。对于占用，我们在99个NRE片段上报告空感知语义mIoU：空体素进入混淆矩阵，而均值在占用的语义类别上取。

发现

检测受益于与几何和占用的协同训练，top-class mAP从仅DET的40.94%提升至同时包含两个任务时的42.14%。与任一任务协同训练也能改善检测。这些一致的增益表明，几何和占用监督有助于将共享表示锚定在3D结构中，为物体检测提供有用的空间线索。

反过来，占用也受益于与几何的协同训练：mIoU从11.00%上升至11.82%。这两个任务描述了同一场景的互补方面。深度和点图提供了对观测表面的稠密、像素对齐监督，而占用将这种重建扩展到体积场景补全。因此，学习这些表面约束可能会改善用于占用预测的共享特征。仅检测不能提供同样的益处：DET+OCC达到10.49% mIoU，而加入几何后将其提升至11.53%。

几何在轨迹和rig平移精度方面也受益。与检测协同训练将轨迹ATE从5.00降至4.38 cm，rig RTE从7.53降至6.52 cm，同时实现最高的rig mAA@3。其他包含几何的组合也改善了这些指标。一个合理的解释是稠密占用输出按时间戳逐个解码并释放。

训练任务			检测	占用	深度	轨迹	Rig位姿
GEO	DET	OCC	Top-mAP $\uparrow$(%)	mIoU $\uparrow$(%)	AbsRel $\downarrow$	ATE $\downarrow$(cm)	mAA@3 $\uparrow$(%)	RTE $\downarrow$(cm)	RRE $\downarrow$(°)
✓	—	—	—	—	0.123	5.00	37.09	7.53	0.898
—	✓	—	40.94	—	—	—	—	—	—
—	—	✓	—	11.00	—	—	—	—	—
✓	✓	—	41.30	—	0.127	4.38	43.17	6.52	0.966
✓	—	✓	—	11.82	0.124	4.72	40.46	7.08	0.909
—	✓	✓	41.64	10.49	—	—	—	—	—
✓	✓	✓	42.14	11.53	0.127	4.55	42.05	6.64	0.957

组件	T = 24	T = 36	T = 48
图像编码器	2.218	3.322	4.455
时空聚合器	1.248	2.175	3.305
几何头	1.786	2.673	3.559
共享DET/OCC颈部	0.014	0.021	0.028
检测头	0.090	0.128	0.168
占用头$^{\dagger}$	1.060	1.576	2.104
3DGS头（不含渲染）	3.255	4.578	6.155
完整前向（s）	9.673	14.480	19.782
峰值分配内存（GiB）	32.47	45.44	58.41

检测和占用监督增强了位姿头所使用的共享场景特征。这些增益伴随着权衡：仅GEO保留了最低的深度AbsRel和rig旋转误差。

7.5.2. 运行时间分析

我们在单个NVIDIA H100 80GB GPU上使用第4.3节的混合精度设置对最终统一模型进行性能分析。所有任务头在来自一个CICD301场景的六摄像头窗口上一起运行，分辨率为$1036\times 1036$，每个摄像头的时间戳数为T∈{24,36,48}T \in \{24, 36, 48\}T∈{24,36,48}。我们报告两次预热迭代后五次运行的中位前向时间。计时不包括数据加载和准备、高斯光栅化、损失、指标和输出导出。峰值内存指PyTorch分配的GPU内存。

如表17所示，3DGS头约占前向时间的三分之一，其次是图像编码器和几何头。将窗口从24个时间戳加倍到48个时间戳大致使总前向时间加倍，峰值分配内存从32.47增加到58.41 GiB。

8. 应用于无激光雷达 NuRec

我们将 Foundation4D 应用于无激光雷达 NuRec [6]，使用其相机轨迹、稠密几何和参与者轨迹作为场景重建的先验。此应用补充了第 3.7 节中的前馈高斯解码器：NuRec 针对录制的图像为每个场景优化单独的高斯表示。

8.1. 重建工作流

图 18 中的工作流将多相机视频和车辆 GPS/IMU 轨迹作为录制输入。视频级处理将 Foundation4D 从图像预测的位姿和深度组装为相机轨迹和融合点云，用于初始化重建几何。检测和跟踪提供具有持久参与者身份的有向长方体，将移动对象与静态场景分离，并随时间关联其观测。这些输出取代了先前从激光雷达或单独重建与感知流程获得的先验。NuRec 使用它们针对 RGB 观测优化动态高斯场景，以进行新视角渲染 [85, 99]。

8.2. 重建质量与效率

输入先验的质量影响 NuRec 将图像观测分配给场景组件的方式：不准确的位姿或不一致的参与者轨迹可能导致几何错位和重影。图 19 中的示例说明了感知与重建质量之间的这种联系。表 18 报告了端到端工作流周转时间从每片段 16.0 小时减少到 3.7 小时，加速 4.3 倍。相机位姿和深度估计与融合也因前馈预测取代单独的迭代重建阶段而加速。这些测量描述了整体工作流改进，并未单独隔离各个模型优化。

范围	无 Foundation4D（小时/片段）	有 Foundation4D（小时/片段）	加速
端到端无激光雷达 NuRec	16.0	3.7	4.3x
相机位姿估计	3.5	0.4	8.8x
深度估计与融合	8.0	1.0	8.0x

9. 局限性与开放问题

统一模型

增加更多任务并不总能提升性能。几何和占用一起训练达到 11.82% 的占用 mIoU，而同时包含检测的三任务模型为 11.53%（表 16）。更好的任务加权和数据采样可能有助于模型更一致地从联合监督中受益，但测试新方案成本高昂。为提高效率，我们的训练计划在感知预训练之后引入高斯重建，推迟高斯解码和渲染的成本。感知训练耗时约 18 天，随后高斯头训练和联合微调又耗时 9 天。尽管最后阶段联合优化感知头和高斯头，我们尚未研究从一开始就一起训练它们的收益，也未系统评估几何监督和渲染监督如何相互影响。

几何

深度误差在远距离和物体边界附近增加（图 6 和图 7）。远处物体和细结构占据的像素很少，使其深度难以可靠估计。相机采集时间的差异也会影响位姿估计：设备监督可能将固定相机标定与曝光之间的自车运动混合。对自车轨迹进行插值并不能解决这种歧义。

检测和跟踪

拥挤场景和远距离的检测错误也会影响跟踪。漏检对象和置信度暂时下降会中断可用于关联的观测，导致轨迹碎片化。因此，可靠的长视频跟踪既需要更稳定的检测，也需要在观测间隙中更好地恢复。

语义占用

占用精度在远距离下降，稀有类别常被漏检或分配错误的语义标签。预测也会在帧间波动，尤其是在物体边界和细结构周围。提高训练数据中稀有类别的覆盖率并鼓励跨帧一致的预测，可能有助于减少这些错误。

10. 结论

我们提出了 Foundation4D，一个用于从多相机驾驶视频进行感知和重建的统一模型。共享视觉特征支持几何、物体、语义占用和高斯重建，而视频级对齐和跟踪将其预测扩展到长驾驶序列。为支持学习和评估，我们的标注流程在生成稠密深度和语义占用标签时处理传感器时序、运动和可见性。发布的 PAI-Foundation4D 基准使这些标注可用于在同一驾驶场景上比较几何、检测和占用方法。

我们的评估既展示了时间观测的价值，也展示了当前联合训练方案的局限。更长的输入窗口无需重新训练即可改善检测，轨迹细化可改善跨窗口的位姿估计。在我们的任务组合研究中，检测在所有三个任务下表现最佳，而占用在与几何配对时表现最佳。预测的几何和轨迹还为无激光雷达 NuRec 提供先验，展示了它们在仿真重建中的用途。改善任务之间的平衡并理解几何监督与渲染监督之间的相互作用仍是开放方向。

附录

A. 作者列表

几何：Qunjie Zhou、Shengyu Huang、Mingxuan Liu、Bingxin Ke、Fei Xue

检测：Guillem Braso、Sérgio Agostinho、Tim Meinhardt、Ilya Fedorov、Cristiano Saltiri、Mingxuan Liu

占用：Cristiano Saltori、Tim Meinhardt、Bingxin Ke、Maximilian Apodaca、Gang Huang

高斯重建：Ning Xu、Shengyu Huang、Jiahui Huang

统一模型：Shengyu Huang、Guillem Braso、Tim Meinhardt

数据：Bingxin Ke、Aljoša Ošep、Michele Fenzi、Shengyu Huang、Mingxuan Liu、Sérgio Agostinho、Jiahui Huang

产品团队：Emmanuel Attia、George Dong、Jin-Bey Yu、Kefei Ren、Keqiang Wu、Kuan-Ting Lee、Naveen Kumar Rai、Ning Xu、Tian Liu

产品领导：Lei Zhang

领导：Laura Leal-Taixé

致谢

我们特别感谢产品经理 Martijn Tideman，他不懈努力帮助我们使该项目成为现实。我们感谢 Dynamic 自动标注团队的 Ning Xu 和 Jiaxin Zhang 为我们提供语义占用标注。我们感谢 Hunter van Adelsberg 和 Xiangyu Chen 对 PAI 数据集发布的贡献。我们感谢 Jiawei Ren、Zan Gojcic、Sanja Fidler、Nick Schneider 和 Matt Cragun 的富有洞见的讨论。

转载自 CSDN-专业IT技术社区

原文链接：https://blog.csdn.net/hhhhhhhhhhwwwwwwwwww/article/details/170244529