激光雷达图像也能"美颜"？芬兰团队用深度学习玩转超分辨率与色彩还原

龙哥寄语：
当激光雷达遇上深度学习，黑暗低分辨率的激光图像也能焕发新生！这项技术将为自动驾驶和机器人视觉带来革命性突破。

论文标题:
Analysis of Deep Learning-Based Colorization and Super-Resolution Techniques for Lidar Imagery 发表日期:
2024年09月作者:
Sier Ha, Honghao Du, Xianjia Yu, Jian Song, Tomi Westerlund 发表单位:
Turku Intelligent Embedded and Robotic Systems (TIERS) Lab, University of Turku, Finland 原文链接:
https://arxiv.org/pdf/2409.11532v2

引言

激光雷达(LiDAR)和相机是机器人及自动驾驶系统中最常用的传感器组合。虽然深度学习技术在处理传统相机RGB图像方面已相当成熟，但由于点云数据的高计算复杂性和相对稀疏的语义内容，其在激光雷达点云处理上的应用仍然有限。最新激光雷达技术不仅能生成密集点云，还能产生360度低分辨率图像，这为深度学习技术的应用开辟了新途径。

问题背景及相关工作

激光雷达(LiDAR)和相机是机器人和自动驾驶系统中最常用的传感器组合。虽然深度学习技术在处理传统相机RGB图像方面已相当成熟，但由于点云数据的高计算复杂性和相对稀疏的语义内容，其在激光雷达点云处理上的应用仍然有限。

最新激光雷达技术不仅能生成密集点云，还能产生360度低分辨率图像，这为深度学习技术的应用开辟了新途径。这些激光雷达生成的图像在低光照和恶劣天气条件下（如雾天）比传统相机图像更具鲁棒性。然而，这些图像通常分辨率较低且过于黑暗，限制了其进一步处理。

图1：基于深度学习的激光雷达图像超分辨率和着色结果：RGB图像（左），激光雷达信号图像，着色近红外图像和着色信号图像（右，从上到下）

目前已有研究探索将最初为传统RGB图像设计的深度学习技术应用于激光雷达生成图像，包括目标检测、分割和关键点提取等任务。然而，其他潜在有价值的深度学习技术，如超分辨率和着色，尚未得到充分评估。

术语解读

LiDAR：Light Detection and Ranging（激光探测与测距），是一种通过发射激光束来测量距离的遥感技术。

GAN：Generative Adversarial Network（生成对抗网络），由生成器和判别器组成，通过对抗训练生成数据。

NoGAN：一种GAN训练技术，通过减少对抗训练来提高生成器的稳定性。

方法概述

本文对基于深度学习的超分辨率和着色方法进行了全面回顾和定性分析，评估了这些方法在激光雷达图像上的性能。研究涵盖了室内外环境下的激光雷达图像，并报告了每种方法的运行时性能。

在着色方面，评估了包括BigColor、Colorful Image Colorization、DDColor、DeOldify、DISCO、InstColorization、Let there be color和PearlGAN等方法。在超分辨率方面，评估了CARN、SwinIR、DCSCN、ESRGAN和SCUNET等方法。

核心设计

着色模型：DeOldify使用NoGAN技术对黑白图像进行着色和恢复。DDColor采用双解码器架构，分别关注空间细节和语义感知的颜色表示。

超分辨率模型：SRCNN作为最早的深度学习超分辨率模型之一，采用三层CNN架构。VDSR通过20层CNN和残差学习提高了性能。SRGAN首次将GAN应用于超分辨率任务。

评估方法：使用开源多模态激光雷达数据集进行评估，重点关注Ouster激光雷达的信号图像。评估包括室内外环境，并测量了每种方法的处理速度。

论文主体思路

*表格超出部分左右可以滑动

应用场景	激光雷达图像的超分辨率和着色
问题建模	将低分辨率、黑暗的激光雷达图像转换为高分辨率、彩色图像
模型Backbone	CNN、GAN、Transformer等
训练数据集	ImageNet、DIV2K、Flicker2K等
测试数据集	Ouster激光雷达数据集
训练方法	监督学习、对抗训练
方法优势	提高激光雷达图像质量，增强下游任务性能
方法缺点	计算成本高，部分模型泛化能力有限