为自动驾驶而生，Lightning NeRF：速度提升10倍

写在前面&笔者的个人理解

最近的研究强调了NeRF在自动驾驶环境中的应用前景。然而室外环境的复杂性，加上驾驶场景中的视点受限，使精确重建场景几何体的任务变得复杂。这些挑战往往会导致重建质量下降，训练和渲染的持续时间延长。为了应对这些挑战，我们推出了Lightning NeRF。它使用了一种高效的混合场景表示，在自动驾驶场景中有效地利用了激光雷达的几何先验。Lightning NeRF显著提高了NeRF的新颖视图合成性能，并减少了计算开销。通过对真实世界数据集（如KITTI-360、Argoverse2和我们的私人数据集）的评估，我们证明了我们的方法不仅在新视图合成质量方面超过了当前最先进的技术，而且在训练速度上提高了五倍，在渲染速度上也提高了十倍。

• 代码链接：https://github.com/VISION-SJTU/Lightning-NeRF

详解Lightning NeRF

Preliminaries

NeRF是一种表示具有隐式函数的场景的方法，这种隐式函数通常由MLP进行参数化。它能够根据观察方向d返回场景中3D点x的颜色值c和体积密度预测σ。

为了呈现像素，NeRF使用分层体积采样沿着射线r生成一系列点，然后通过累积组合这些位置的预测密度和颜色特征。

尽管NeRF在新视角合成方面表现出色，但它的长训练时间和慢渲染速度主要是由于采样策略效率低造成的。为了改善模型的效率，我们在训练过程中保持粗略的网格占用，并仅对占用体积内的位置进行采样。这种采样策略与现有工作类似，有助于提高模型的性能并加快训练速度。

Hybrid Scene Representation

混合体积表示已经使用紧凑的模型实现了快速优化和渲染。鉴于此，我们采用混合体素网格表示来对辐射场进行建模以提高效率。简言之，我们通过在网格顶点存储σ来显式地对体积密度进行建模，同时使用浅MLP以隐式方式将颜色嵌入f解码为最终颜色c。为了处理户外环境的无边界性质，我们将场景表示分为前景和背景两部分，如图2所示。具体来说，我们从轨迹序列中检查每一帧中的相机截头体，并定义前景边界框，使其紧密包裹对齐坐标系中的所有截头体。背景框是通过沿每个维度按比例放大前景框而获得的。

体素网格表示。体素网格表示在其网格顶点中显式存储场景属性（例如，密度、RGB颜色或特征），以支持高效的特征查询。这样，对于给定的3D位置，我们可以通过三线性插值来解码相应的属性：

前景。我们建立了两个独立的特征网格，用于对前景区域的密度和颜色嵌入进行建模。具体来说，密度网格映射将位置映射到密度标量σ中，用于体积渲染。对于颜色嵌入网格映射，我们通过哈希表以不同分辨率备份实例化多个体素网格，以获得更精细的细节，并具有可承受的内存开销。最终的颜色嵌入f是通过在L个分辨率级别上串联输出而获得的。

背景尽管前面提到的前景建模适用于对象级别的辐射场，但将其扩展到无界的室外场景并非易事。一些相关技术，如NGP，直接扩展其场景边界框，以便可以包括背景区域，而GANcraft和URF引入了球形背景辐射来处理这个问题。然而，前一种尝试导致其功能的浪费，因为其场景框内的大多数区域都用于背景场景。对于后一种方案，它可能无法处理城市场景中复杂的全景（例如，起伏的建筑或复杂的景观），因为它只是假设背景辐射仅取决于视线方向。

为此，我们设置了一个额外的背景网格模型，以保持前景部分的分辨率不变。我们采用[9]中的场景参数化作为背景，经过精心设计。首先与反球面建模不同，我们使用反三次建模，用ℓ∞ 范数，因为我们使用体素网格表示。其次我们不实例化额外的MLP来查询背景颜色以节省内存。具体来说，我们通过以下方式将3D背景点扭曲为4D:

LiDAR Initialization

使用我们的混合场景表示，当我们直接从有效的体素网格表示而不是计算密集型MLP查询密度值时，该模型可以节省计算和内存。然而，考虑到城市场景的大规模性质和复杂性，由于密度网格的分辨率有限，这种轻量级表示很容易在优化中陷入局部极小值。幸运的是，在自动驾驶中，大多数自动驾驶汽车（SDV）都配备了LiDAR传感器，为场景重建提供了粗略的几何先验。为此，我们建议使用激光雷达点云来初始化我们的密度网格，以减轻场景几何和辐射联合优化的障碍。

Color Decomposition

最初的NeRF使用与视图相关的MLP来对辐射场中的颜色进行建模，这是对物理世界的简化，其中辐射由漫射（与视图无关）颜色和镜面（与视图相关）颜色组成。此外，由于最终输出颜色c与观看方向d完全纠缠，因此难以在看不见的视图中渲染高保真图像。如图3所示，我们在没有颜色分解（CD）的情况下训练的方法在外推设置中的新视图合成中失败（即，基于训练视图将观看方向向左移动2米），而我们在颜色分解的情况下给出了合理的渲染结果。

采样位置的最终颜色是这两个因素的总和：

训练损失

我们使用重新缩放的权重wi来修改光度损失，以优化我们的模型，使其专注于硬样本以实现快速收敛。权重系数定义为：

图片

实验

结论

本文介绍了Lightning NeRF，这是一种高效的户外场景视图合成框架，它集成了点云和图像。所提出的方法利用点云快速初始化场景的稀疏表示，实现了显著的性能和速度增强。通过更有效地对背景进行建模，我们减少了前景上的代表性应变。最后，通过颜色分解，分别对视图相关和视图无关的颜色进行建模，增强了模型的外推能力。在各种自动驾驶数据集上进行的大量实验表明，我们的方法在性能和效率方面都优于以前的先进技术。