论文《Chat Edit 3D: Interactive 3D Scene Editing via Text Prompts》的作者包括来自北京航空航天大学博士生方双康、北京航空航天大学副研究员王玉峰，谷歌AI技术主管Tsai Yi-Hsuan，旷视高级研究员杨弋，北京航空航天大学研究员丁文锐，旷视首席科学家周舒畅，加州大学默塞德分校和谷歌DeepMind研究科学家Yang Ming-Hsuan教授。
项目地址：https://sk-fun.fun/CE3D/
代码：https://github.com/Fangkang515/CE3D/tree/main
论文：https://arxiv.org/abs/2407.06842
机构：北航 & 谷歌 & 旷视
1. 一句话概括 本文设计了一种由大语言模型驱动的、可集成任意数量视觉模型的交互式三维场景编辑框架，其文本形式不再受限、编辑能力不再单一。 (对话式 3D 场景编辑过程示例视频) 2. 引言 现有的文本驱动 3D 场景编辑方法通常局限于固定的文本输入形式和受限的编辑能力。用户需要使用固定形式的文本指令或单一的 diffusion 多模态模型来实现所需的效果。比如 InstructNeRF2NeRF 只能使用 “指令式文本” 且编辑能力受限于 InstructPix2Pix 模型。然而，实际应用中，用户的语言是及其丰富的，用户的编辑需要也是多种多样的，现有方法的设计范式均无法满足用户的诉求。 为了突破这些限制，本文提出了一种全新的 3D 场景编辑新范式 —CE3D。该方法将 3D 场景的编辑变成在 2D 空间上图集的编辑，实现对现有方法的 “降维打击”。降维后可利用大规模语言模型实现灵活且高效的任意模型的集成，大大丰富了文本对话能力和场景编辑能力。 3. 本文方法 CE3D CE3D，即 Chat-Edit-3D。其核心思想是通过大规模语言模型解析用户的任意文本输入，并自主调用相应的视觉模型来完成 3D 场景的编辑。为了实现任意视觉模型的集成，本文先设计 Hash-Atlas 的映射网络，将对 3D 场景的编辑转换为对 2D 空间内的图集编辑操作，从而实现了 2D 多视角编辑与 3D 场景重建过程的完全解耦，因此，本文将无需固定的 3D 表示形式和 2D 编辑方法。用户想用什么视觉模型就可以用什么视觉模型。 3.1 Hash-Atlas 网络 Hash-Atlas 网络将 3D 场景的不同视图映射到 2D 图集中，从而将 3D 场景编辑过程转移到 2D 空间中执行。为了实现适配已有 2D 多模态编辑模型，映射后的图集需要满足以下条件：（1）防止图集中出现过多的扭曲和倾斜，以维持视觉模型的理解能力；（2）前景和背景图集应大致对齐，以确保精确编辑；（3）需要更快、更精确的映射，以便于高效编辑。为了满足这些条件，本研究设计了一个基于哈希结构的网络，如图所示：
图 1 Hash-Atlas 网络示意图 假设场景中有 T 个视图，点在第 t 个视图中被函数映射到两个不同的 UV 坐标：
其中 CE 表示交叉熵损失，等式右侧第二项则鼓励和前景图集的稀疏性，这有助于前景和背景图集内容的明确分离。完成预训练后，可以通过监督图集重建视图来训练整个模型。但直接进行训练会导致背景图集中明显的区域遗漏，影响了后续的编辑任务。为了解决这个问题，本文引入了修补损失。具体而言，利用 ProPainter 模型对遮罩背景进行初步修补，生成一组新的修补视图。假设原始视图中的点 P 在修补视图中对应于，则重建损失可以表示如下：
