添加小助理微信AIDriver004，或者 关注公众号【自动驾驶Daily】， 后台回复“ 三维重建 ”获取所有论文。
神经辐射场（Neural Radiance Fields）自2020年被提出以来，相关论文数量呈指数增长，不但成为了三维重建的重要分支方向，也逐渐作为自动驾驶重要工具活跃在研究前沿。
三维重建是一个古老的课题，发展至今已经形成了较为成熟的管线。输入若干2D图像，用运动结构恢复（SfM，Structure from Motion）估计它们的相机位姿；已知相机位姿，可以用多视角几何（MVS，Multi-View Stereo）从二维恢复三维结构；如果需要实时且同步的相机追踪和地图建模，那就可以使用同步定位与建图（SLAM，Simultaneous Localization And Mapping）。这些传统pipeline用严格的几何约束和精确的方程运算构建起点云模型，从中生成mesh，贴上纹理，加入光追，力图使得模型的渲染贴近真实的输入。
而NeRF之所以能够异军突起，正是因为它跳过了传统CV重建pipeline的特征点提取和匹配、对极几何与三角化、PnP加Bundle Adjustment等步骤，甚至跳过mesh的重建、贴图和光追，直接从2D输入图像学习一个辐射场，然后从辐射场输出逼近真实照片的渲染图像。也就是说，让一个基于神经网络的隐式三维模型，去拟合指定视角下的2D图像，并使其兼具新视角合成和能力。NeRF的照片级渲染能力为CV、CG，乃至影像界带来了重大变革，并且随着研究前沿的不断推进，NeRF已经开始展现其商业价值，其落地应用也如雨后春笋般涌现，例如基于NeRF的移动端重建应用Luma AI，能够从用户上传的一段视频中重建完整的真实的模型或者场景。
NeRF的发展也和自动驾驶息息相关，具体体现在真实的场景重建和自动驾驶仿真器的应用中。NeRF擅长呈现照片级别的图像渲染，因此用NeRF建模的街景能够为自动驾驶提供高真实感的训练数据；NeRF的地图可以编辑，将建筑、车辆、行人组合成各种现实中难以捕捉的corner case，能够用于检验感知、规划、避障等算法的性能。因此，NeRF作为一个三维重建的分支方向和建模工具，掌握NeRF已经成为了研究者们做重建或者自动驾驶方向必不可少的技能。
如何结合自动驾驶学习Nerf？ NeRF作为三维重建的一个分支方向，要求同学们熟悉三维视觉的基本概念（如相机模型、刚体位姿变换），以及必不可少的深度学习知识；在CG这边，NeRF的体密度、渲染、辐射场等基本概念都来源于传统CG渲染pipeline，也要求同学们有所涉猎。但是不必焦虑，NeRF在这些基本概念之上自成体系，无需深入研究CV和CG。因此有了基本知识储备之后，只需研读NeRF重要论文及其代码，并尝试复现一二，就能够具备NeRF研究的能力了。这是一个非常重要但是又比较年轻的学科，许多小伙伴都想踏足这个领域，但是受限于入门较难，很难有效开展。
为此，自动驾驶之心为大家梳理了11篇Nerf经典论文，从0到1为大家阐述nerf的来龙去脉，以及在自动驾驶方向上有哪些应用！
第一篇 | NeRF：神经辐射场的开山之作（ECCV2020）
第二篇 | Mip-NeRF 360: 室外无边界场景（CVPR2022）
第三篇 | Instant-NGP：显式体素加隐式特征的混合场景表达（SIGGRAPH 2022）
第四篇 | F2-NeRF：任意相机轨迹下的NeRF重建（CVPR2023）
第五篇 | MobileNeRF：移动端实时渲染，Nerf导出Mesh（CVPR2023）
第六篇 | Co-SLAM：实时视觉定位和NeRF建图（CVPR2023）
第七篇 | 3D Gaussian Splatting：从点云出发建立实时渲染的辐射场（SIGGRAPH 2023）
第八篇 | Neuralangelo：当前最好的NeRF表面重建方法（CVPR2023）
第九篇 | MARS：首个开源自动驾驶NeRF仿真工具（CICAI2023）
第十篇 | UniOcc：NeRF和3D占用网络（AD2023 Challenge）
第十一篇 | Unisim：自动驾驶场景的传感器模拟（CVPR2023）
论文领取 添加小助理微信AIDriver004，或者关注公众号【自动驾驶Daily】，后台回复“ 三维重建 ”获取所有论文。
