社区所有版块导航
Python
python开源   Django   Python   DjangoApp   pycharm  
DATA
docker   Elasticsearch  
aigc
aigc   chatgpt  
WEB开发
linux   MongoDB   Redis   DATABASE   NGINX   其他Web框架   web工具   zookeeper   tornado   NoSql   Bootstrap   js   peewee   Git   bottle   IE   MQ   Jquery  
机器学习
机器学习算法  
Python88.com
反馈   公告   社区推广  
产品
短视频  
印度
印度  
Py学习  »  机器学习算法

AAAI 2024 清华大学最新NeuSurf,从稀疏输入视图重建高质量表面的深度学习方法

3D视觉工坊 • 10 月前 • 256 次点击  
来源:计算机视觉工坊

在公众号「计算机视觉工坊」后台,回复「原论文」可获取论文pdf及支撑材料、代码链接

这里给大家推荐下三维重建微信群,扫码入群,方便大家沟通交流:


本文涉及的研究探讨了神经隐式函数在稀疏视角重建中的应用。提出了一种新的稀疏视角重建框架,利用表面先验信息来实现高度准确的表面重建。该框架设计了全局几何对齐和局部几何细化的约束条件,共同优化粗略形状和精细细节。采用神经网络学习全局隐式场,并将其作为粗略几何约束,同时利用局部几何一致性,将表面点投影到不同视角上,以捕捉精细几何约束。实验结果表明,该方法在两种常见的稀疏设置下,使用DTU和BlendedMVS数据集,相比现有最先进的方法,取得了显著的改进。

读者理解:

该篇文章提出了一种新的神经网络方法,用于从稀疏输入的视图中重建表面。该方法结合了表面的先验知识和深度学习技术。

先验知识涵盖了表面的平滑性、连续性和光滑性等特征。这些知识是通过训练神经网络从大量数据中学习得到的,这种学习使得模型能够理解并利用这些特征来重建表面。

深度学习不仅用于学习表面的局部特征,还应用于获取全局几何信息,并将这些信息融合到重建过程中。

该方法经过多个数据集上的评估,结果显示它能够从稀疏输入视图中重建出高质量的表面。总的来说,这种方法具有高效、快速和适用于多种数据集的特点。

1 引言

本文讨论了在计算机视觉和计算机图形领域中的表面重建任务。传统方法如多视图立体(MVS)利用图像间的几何一致性进行深度图计算和点云重建,但可能引入累积几何误差,在稀疏视角下效果不佳。近年来,神经渲染方法被广泛用于改善重建结果,但光度损失优化可能存在形状-辐射模糊性问题。针对稀疏视角输入的挑战,某些方法通过引入通用先验部分解决问题,但这些先验只在固定设置下有效,限制了其适用性。这里也推荐工坊推出的新课程《相位偏折术,三维重建领域的王冠!》

本文提出了一种新的稀疏视角重建框架,利用表面点先验实现高度准确的表面重建,避免了长时间训练和复杂数据预处理。这些先验直接从原始输入中获取,无需额外训练,对不同的稀疏设置具有鲁棒性。通过SfM方法获取初始表面点并设计了两个损失函数约束,利用全局几何场和局部特征一致性优化粗略和精细几何,使得重建结果在不同常见稀疏设置下均达到了最先进的水平,有效提高了重建结果的准确性和鲁棒性。

作者的贡献如下:

  • 提出了一种用于从稀疏视角图像进行表面重建的新框架。作者的框架充分利用表面点云作为额外的有效监督,以指导几何学习。

• 使用从表面点中获得的全局几何场来帮助学习粗糙和连续的几何形状。此外,作者优化表面点的局部特征一致性,以帮助学习精细几何。

• 在广泛使用的DTU和BlendedMVS数据集上实现了不同常见稀疏设置下的最先进的重建结果。

2 方法

本文提出了一种名为NeuSurf的神经表面重建方法,旨在通过稀疏视角图像进行高质量的场景几何重建。该方法采用结构运动(SfM)获取的表面点作为“自由”数据源,并利用这些点学习全局几何场,用以对齐粗略几何信息。此外,为获得表面的精细细节,还优化了表面点的局部特征一致性。文章使用了体积渲染和有符号距离函数(SDF)表示几何和颜色场,并引入了一个连续的几何场作为全局先验,帮助稳定神经渲染优化过程。对于局部几何细化,基于表面点在不同视角下的特征一致性,进行了图像渲染和特征投影的联合优化。总体而言,该方法包括全局几何对齐、局部几何细化和损失函数的优化步骤,以实现稀疏视角图像的高质量几何重建。

3 总结

NeuSurf方法利用表面先验实现了稀疏视角表面重建。通过训练UDF网络学习表面几何场,实现了全局几何对齐,并通过优化特征一致性实现了局部几何细化,从而重建了详细的表面。该方法在不同数据集和稀疏设置下均取得了先进的性能,表现出较好的鲁棒性和重建效果。

下载

在公众号「3D视觉工坊」后台,回复「 3dcv」,即可获取工业3D视觉、SLAM、自动驾驶、三维重建、事件相机、无人机等近千余篇最新顶会论文;巴塞罗那自治大学和慕尼黑工业大学3D视觉和视觉导航精品课件;相机标定、结构光、三维重建、SLAM,深度估计、模型部署、3D目标检测等学习资料。

3D视觉方向交流群成立啦

目前工坊已经建立了3D视觉方向多个社群,包括SLAM、工业3D视觉、自动驾驶、三维重建、无人机方向,细分群包括:

[工业3D视觉]相机标定、立体匹配、三维点云、结构光、机械臂抓取、缺陷检测、6D位姿估计、相位偏折术、Halcon、摄影测量、阵列相机、光度立体视觉等。

[SLAM]视觉SLAM、激光SLAM、语义SLAM、滤波算法、多传感器融合、多传感器标定、动态SLAM、MOT SLAM、NeRF SLAM、机器人导航等。

[自动驾驶]深度估计、Transformer、毫米波|激光雷达|视觉摄像头传感器、多传感器标定、多传感器融合、自动驾驶综合群等、3D目标检测、路径规划、轨迹预测、3D点云分割、模型部署、车道线检测、Occupancy、目标跟踪等。

[三维重建]NeRF、多视图几何、OpenMVS、MVSNet、colmap、纹理贴图等

[无人机]四旋翼建模、无人机飞控等

除了这些,还有求职、硬件选型、视觉产品落地、最新论文、3D视觉最新产品、3D视觉行业新闻等交流群

大家可以添加小助理微信:dddvisiona,备注:加群+方向+学校|公司, 小助理会拉你入群。

添加小助理微信:dddvisiona,加群+方向+学校|公司,拉你入群


Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/166326
 
256 次点击