革命VINS领域 | AB-VINS：深度学习赋能的视觉惯性SLAM系统、高效且鲁棒

点击下方卡片，关注「3DCV」公众号
选择星标，干货第一时间送达

今天给大家分享一篇新工作：AB-VINS是一种新型的视觉惯性SLAM系统，它结合了深度学习与传统方法的优势。如果您有相关工作需要分享，欢迎文末联系我们！

读者个人理解

AB-VINS 是一种新型的视觉惯性 SLAM 系统，它结合了深度学习与传统方法的优势。该系统只估计单目深度图的尺度和平移参数（a和b），以及其他一些用于利用多视图信息校正深度的项，从而得到一个压缩的特征状态。尽管AB-VINS是一个基于优化的系统，但其主要VIO线程的效率超过了最先进的滤波器方法，同时还提供了稠密的深度图。此外，AB-VINS采用了一种名为“记忆树”的新型数据结构，其中关键帧位姿是相对定义的，而不是在一个全局框架中，这使得 AB-VINS 在进行闭环时只需要影响少量变量。实验结果表明，AB-VINS具有与最先进的 VINS 系统相当甚至更好的鲁棒性，并且效率更高。

论文信息

标题：Visual-Inertial SLAM as Simple as A, B, VINS

主要贡献

1. 提出了一个新型单目视觉惯性SLAM系统AB-VINS
2. 提出了一个紧凑的特征表示方法 AB 特征
3. 引入了一种新颖的数据结构：记忆树

方法

AB-VINS 是一种新型单目视觉惯性SLAM系统，它具有以下特点：

核心技术：

深度学习: AB-VINS 利用深度学习技术来估计深度图的比例和偏差参数，从而实现稠密深度估计。
紧凑特征表示: AB-VINS 采用 AB 特征来表示特征位置，这种表示方法只需要少量参数即可描述大量特征，从而提高计算效率。
记忆树: AB-VINS 引入了一种新颖的数据结构：记忆树，用于加速位姿图优化，从而提高闭环检测的效率。

系统架构：AB-VINS 系统主要包括三个线程：

主 VIO 线程: 负责跟踪和局部建图，利用深度学习技术进行稠密深度估计，并使用 AB 特征进行特征表示。
局部映射线程: 负责将关键帧加入局部映射窗口，并进行局部位姿图优化，利用记忆树数据结构来加速优化过程。
全局映射线程: 负责闭环检测和全局位姿图优化，使用 NetVLAD 和 SuperPoint 深度网络进行特征匹配，并通过记忆树进行高效优化。

优势

高鲁棒性: AB-VINS 能够在低运动、IMU 饱和和存在坏闭环等挑战性场景下保持稳定运行。
高效率: AB-VINS 的主 VIO 线程效率非常高，能够满足实时性要求。同时，记忆树数据结构能够有效加速闭环检测的优化过程。
稠密深度信息: AB-VINS 能够提供稠密深度信息，这对于增强现实、虚拟现实和机器人导航等应用非常有用。

应用场景

AB-VINS 可以应用于各种场景，例如：

增强现实 (AR) 和虚拟现实 (VR)
机器人导航
无人机和自动驾驶汽车

实验

AB-VINS 论文在多个数据集上进行了实验，评估了系统的精度、效率和鲁棒性。

1. 精度：

AR Table 数据集: 在 AR Table 数据集上，AB-VINS 的位姿精度略低于最先进的 VINS 系统，但仍然能够满足 AR/VR 等应用的需求。此外，AB-VINS 的稠密深度估计精度优于 MiDaS 深度网络，并且可以用于下游应用。
TUM-VI 数据集: 在 TUM-VI 数据集上，AB-VINS 的位姿精度同样略低于最先进的 VINS 系统，但闭环检测结果显著优于 VIO 结果，表明记忆树数据结构能够有效提高精度。
2D 位姿图数据集: 在 2D 位姿图数据集上，AB-VINS 的记忆树优化算法的精度略低于 iSAM2，但仍然能够产生合理的轨迹。

2. 效率：

VIO 线程: AB-VINS 的主 VIO 线程效率非常高，能够满足实时性要求，并且优于最先进的优化基 VINS 系统 VINS-Fusion，甚至超过了滤波基 VIO 系统 OpenVINS。
记忆树: 记忆树优化算法的效率非常高，其中 top-down 方法在平均情况下只需要重新线性化常数数量的变量，并且能够在短时间内完成全局位姿计算。

3. 鲁棒性：

低运动场景: AB-VINS 能够在低运动场景下成功初始化和估计位姿，而其他系统则无法工作。
IMU 饱和: AB-VINS 能够有效处理 IMU 饱和问题，而其他系统则容易失败。
坏闭环: AB-VINS 的 robust χ2 检验能够有效识别并拒绝坏闭环，从而保持系统稳定。

疑问解答

问1：AB-VINS 论文中提到的 AB 特征表示法，相较于传统的稀疏特征点表示法，有哪些优势和劣势？

答：优势：
紧凑性: AB 特征只需要少量参数即可描述大量特征，从而减少状态空间的大小，提高计算效率。
鲁棒性: AB 特征利用深度学习技术进行稠密深度估计，并使用校正项来消除单目深度估计的误差，从而提高系统的鲁棒性。
稠密深度信息: AB 特征能够提供稠密深度信息，这对于增强现实、虚拟现实和机器人导航等应用非常有用。
劣势：
精度: AB 特征的精度略低于传统的稀疏特征点表示法，尤其是在高精度应用中。
复杂性: AB 特征的计算过程相对复杂，需要使用深度学习网络进行深度估计和校正项计算。

问2：AB-VINS 中的 Memory Tree 数据结构，相较于传统的因子图优化方法，如何实现更高效的闭环优化？

答：Memory Tree 数据结构通过相对位姿定义、子树移动和 top-down 优化算法，实现了更高效的闭环优化，使得 AB-VINS 能够在更少的计算资源下进行闭环检测，并提高系统的实时性。

问3：AB-VINS 在鲁棒性方面做了哪些改进，使其能够在低激励运动、像素噪声、IMU 饱和以及错误闭环等情况下保持稳定？

答：AB-VINS 在鲁棒性方面做了以下改进，使其能够在低激励运动、像素噪声、IMU 饱和以及错误闭环等情况下保持稳定：
1. 低激励运动：
初始化: AB-VINS 使用了一种简单的初始化方法，只需要第一帧图像即可完成初始化，无需任何运动。
深度学习: AB-VINS 利用深度学习技术进行稠密深度估计，即使在低运动情况下也能够提供有效的深度信息。
AB 特征: AB 特征能够利用多视图信息来校正深度，从而提高系统的鲁棒性。
2. 像素噪声：
局部映射优化: AB-VINS 的局部映射优化算法采用了鲁棒的 Cauchy 损失函数，并使用 χ2 检验来剔除噪声较大的特征，从而提高系统的鲁棒性。
3. IMU 饱和：
IMU 饱和检测: AB-VINS 能够检测 IMU 饱和情况，并自动调整 IMU 测量值的噪声协方差矩阵，从而提高系统的鲁棒性。
IMU 饱和处理: AB-VINS 采用了一种鲁棒的预积分方法，能够有效处理 IMU 饱和问题，从而保证系统在 IMU 饱和情况下仍然能够正常运行。
4. 错误闭环：
robust χ2 检验: AB-VINS 采用了一种 robust χ2 检验来检测和拒绝错误的闭环测量，从而防止错误闭环对系统造成影响。
Memory Tree 优化: Memory Tree 优化算法能够有效处理闭环路径上的关键帧，并保证闭环路径的稳定性。
总的来说AB-VINS 通过多种改进措施，使其能够在各种挑战性场景下保持稳定运行，并具有良好的鲁棒性。

总结

总结：AB-VINS通过结合深度学习和新颖的数据结构，实现了高效、鲁棒且能够提供稠密深度信息的视觉惯性SLAM系统，为VINS领域带来了新的思路和方法。

注：今天给大家分享一篇新工作：AB-VINS是一种新型的视觉惯性SLAM系统，它结合了深度学习与传统方法的优势。如果您有相关工作需要分享，欢迎联系：cv3d008

本文仅做学术分享，如有侵权，请联系删文。

3DCV技术交流群

目前我们已经建立了3D视觉方向多个社群，包括2D计算机视觉、大模型、工业3D视觉、SLAM、自动驾驶、三维重建、无人机等方向，细分群包括：

2D计算机视觉：图像分类/分割、目标/检测、医学影像、GAN、OCR、2D缺陷检测、遥感测绘、超分辨率、人脸检测、行为识别、模型量化剪枝、迁移学习、人体姿态估计等

大模型：NLP、CV、ASR、生成对抗大模型、强化学习大模型、对话大模型等

工业3D视觉：相机标定、立体匹配、三维点云、结构光、机械臂抓取、缺陷检测、6D位姿估计、相位偏折术、Halcon、摄影测量、阵列相机、光度立体视觉等。

SLAM：视觉SLAM、激光SLAM、语义SLAM、滤波算法、多传感器融合、多传感器标定、动态SLAM、MOT SLAM、NeRF SLAM、机器人导航等。

自动驾驶：深度估计、Transformer、毫米波|激光雷达|视觉摄像头传感器、多传感器标定、多传感器融合、自动驾驶综合群等、3D目标检测、路径规划、轨迹预测、3D点云分割、模型部署、车道线检测、BEV感知、Occupancy、目标跟踪、端到端自动驾驶等。

三维重建：3DGS、NeRF、多视图几何、OpenMVS、MVSNet、colmap、纹理贴图等

无人机：四旋翼建模、无人机飞控等

除了这些，还有求职、硬件选型、视觉产品落地、最新论文、3D视觉最新产品、3D视觉行业新闻等交流群

添加小助理: dddvision，备注：研究方向+学校/公司+昵称（如3D点云+清华+小草莓）, 拉你入群。

3D视觉技术星球

3D视觉从入门到精通知识星球、国内成立最早的3D视觉学习交流社区。包括：星球视频课程近20门（价值超6000）、项目对接、3D视觉学习路线总结、最新顶会论文&代码、3D视觉行业最新模组、3D视觉优质源码汇总、书籍推荐、编程基础&学习工具、实战项目&作业、求职招聘&面经&面试题等等。欢迎加入3D视觉从入门到精通知识星球，一起学习进步。

3D视觉课程官网：www.3dcver.com

3DGS、NeRF、结构光、相位偏折术、机械臂抓取、点云实战、Open3D、缺陷检测、BEV感知、Occupancy、Transformer、模型部署、3D目标检测、深度估计、多传感器标定、规划与控制、无人机仿真、三维视觉C++、三维视觉python、dToF、相机标定、ROS2、机器人控制规划、LeGo-LAOM、多模态融合SLAM、LOAM-SLAM、室内室外SLAM、VINS-Fusion、ORB-SLAM3、MVSNet三维重建、colmap、线面结构光、硬件结构光扫描仪，无人机等。

3D视觉相关硬件

图片	说明	名称
	硬件+源码+视频教程	精迅V1(科研级)）单目/双目3D结构光扫描仪
	硬件+源码+视频教程	深迅V13D线结构光三维扫描仪
	硬件+源码+视频教程	御风250无人机(基于PX4)
	硬件+源码	ROS-SLAM两轮差速小车NanoBot
	配套标定源码	高精度标定板(玻璃or大理石)
添加微信:cv3d007或者QYong2014 咨询更多