单像素成像是一种新型计算成像技术，已广泛应用于医学成像、生物成像、高光谱成像、全息成像、遥感以及光学加密等领域。近年来，随着大数据技术的发展、计算能力的提升以及优化算法的不断改进，深度学习已被用于单像素成像的各种研究领域。相较于传统单像素重建算法，深度学习能够在更低的采样率下实现更高的成像质量和更快的成像速度。
近日，来自太原理工大学的肖连团教授团队及合作者全面综述了深度学习在超分辨单像素成像、透过散射介质单像素成像、光子级单像素成像、单像素光学加密和无图像感知领域的研究进展，并探讨了深度学习在单像素成像领域中面临的瓶颈及潜在的解决方案。该综述以“Advances and Challenges of single-pixel imaging based on deep learning”为题发表在Laser & Photonics Reviews期刊。太原理工大学物理与光电工程学院在读博士生宋恺为论文第一作者。
单像素成像利用一组空间掩膜对成像目标进行照明，并利用单像素探测器捕获测量数据。然后，通过反演算法从这些测量数据中恢复出完整的目标图像。目前，单像素成像技术主要包括结构化探测和结构化照明。在结构化探测中，将物体成像到预先加载一系列掩膜的数字微镜器件进行空间调制，并通过单像素探测器收集调制信号，如图1 (a)所示。在结构化照明中，通过光源照明数字微镜器件产生清晰的空间结构光，该结构光照明物体后的散射信号被单像素探测器收集，如图1(b)所示。
图1：不同的单像素成像方案
图源：
Laser & Photonics Reviews
从驱动源的角度来看，现有单像素成像中的深度学习算法可归纳为数据驱动、模型驱动和混合驱动三种学习策略。
图2：单像素成像中不同的深度学习策略
图源：Laser & Photonics Reviews
数据驱动策略：一种典型的监督学习模式。在该策略中，神经网络通过从大规模数据集中学习先验知识来恢复目标图像，如图2a和2b所示。其中，联合优化策略能够在训练过程中生成与重建部分相匹配的最佳掩膜来进一步降低采样率，如图2c所示。经过训练的神经网络仅需执行一次正向过程即可重建出高质量的目标图像，极大地缩短了成像过程中冗长的图像重构时间。然而，有限的泛化能力限制了该策略在实际场景中的应用。
模型驱动策略：一种自监督学习模式。该策略将单像素成像的物理过程与神经网络相结合，利用实际测量值与估计测量值之间的差异来约束网络优化，如图2d所示。受益于自监督学习模式，模型驱动重建算法无需训练即可适用于各种成像场景。该策略迭代收敛的过程通常需要大量计算时间，主要应用在实时性要求不高的场景。
混合驱动策略：对数据驱动策略与模型驱动策略的有效融合，通过对数据模型策略中涉及的神经网络进行预训练来缩短迭代时间。但该策略在高速图像处理、抗噪声干扰方面仍存在不足。
解决不适定问题的新范例：单像素图像重建通常被视为一个极具挑战性的不适定问题。深度学习的引入显著提升了其在处理复杂、可变和不确定问题的能力。通过从原始数据中自动学习和提取复杂特征，深度学习消除了传统方法所依赖的手工特征提取。此外，深度学习强大的数据表示能力能够捕捉数据集中复杂的细节和潜在的相关性，在处理不适定问题时表现出更强的鲁棒性和泛化性。
成像性能的显著提升：通过从原始数据中自动提取并整合关键特征，深度学习算法能够恢复出结构清晰、细节丰富的目标图像。与传统算法相比，利用深度学习恢复的图像在保真度、分辨率、速度和噪声鲁棒性方面展现出更加显著的优势。
应用场景的扩展：深度学习的引入使单像素成像能够与先进的计算机视觉任务（如目标分类、检测和分割）完美结合，极大地拓展了单像素成像在工业、生物、军事等领域的应用潜力。
超分辨成像：空间分辨率量化了光学成像系统分辨细节的能力，是评价成像质量的重要指标。分辨率主要受到检测器离散采样和光学系统衍射的限制。尽管一些先进的硬件设备已经可以实现单像素超分辨率成像，但其复杂的系统结构限制了其在更多领域的应用。深度学习的引入提供了一种切实可行的解决方案，在提高单像素光学系统分辨率方面展现出显著的有效性和适用性。
透过散射介质成像：透过散射介质成像是一种极具挑战性的技术难题，在遥感、水下成像和生物医学成像等领域中具有重要应用价值。单像素成像独特的成像方式使其在透过散射介质成像中展现出巨大的优势，而深度学习的引入使单像素成像能够在更加复杂环境中实现高效运行。
光子级单像素成像：在极端或超远距离成像场景中，成像信号通常非常微弱甚至达到单光子水平。单光子成像技术凭借其卓越的探测灵敏度成为了应对极端条件下成像的最佳解决方案。尽管阵列式单光子成像技术已取得显著发展，但其仍面临像元不一致、占空比低和暗计数等一系列挑战。基于深度学习的单光子单像素成像技术已经能够有效处理这些问题。
光学加密：光学加密是一种利用光丰富自由度（如振幅、相位、频率和偏振等）对信息进行编码和解码的技术。得益于其间接成像方式，单像素成像近年来迅速成为光学加密技术中一种备受青睐的方案。结合深度学习，单像素成像不仅能够实现数据压缩，还能有效增强加密系统的安全性。
彩色单像素成像：彩色单像素成像可以通过频分复用、多探测器测量或空间光谱采集等技术实现。与灰度单像素成像不同，彩色单像素成像通常需要更长的重建时间，且未知的颜色响应系数通常会导致重建结果出现颜色失真。深度学习的引入显著降低了系统的复杂性，并有效缩短了成像时间，提高了彩色单像素成像的性能。
无图像感知：单像素成像的最终目标不仅仅是恢复高质量图像，更重要的是为高级计算机视觉任务提供可靠的数据。然而，这些计算机视觉任务通常仅利用图像的部分特征而非整个图像。基于深度学习的无图像感知技术可以直接对有限的测量值进行处理，减少了计算时间和成本。
图3：单像素成像中不同的深度学习策略
图源：Laser & Photonics Reviews
深度学习的引入为单像素成像注入了新的活力，极大地拓展了其应用场景。然而，较高的采样率和耗时的重建过程使单像素成像始终难以在成像速度与成像质量之间达到理想的平衡。单像素成像较差的视觉体验、较低的抗干扰能力以及信息利用率不足等问题，依然制约着该领域的发展。
深度学习技术的不断发展，包括插帧技术、散射动态补偿、正向模型优化等，以及与光学系统优化及高维信息提取技术的融合，将为单像素成像在视觉体验、抗干扰能力和信息利用率等方面提供有效的解决方案。此外，深度学习与新型光学器件（如新型光源、光学神经网络和探测器）的集成，将有助于拓展单像素成像在工业、医疗和安全领域的应用。
K. Song, Y. Bian, D. Wang, R. Li, K. Wu, H. Liu, C. Qin, J. Hu, L. Xiao, Advances and Challenges of Single‐Pixel Imaging Based on Deep Learning. Laser Photonics Rev 2024, 2401397.https://onlinelibrary.wiley.com/doi/10.1002/lpor.202401397
宋恺，第一作者，太原理工大学物理与光电工程学院在读博士生，研究生方向为：智能计算成像、单光子成像、单像素成像。以第一作者在Laser & Photonics Reviews、Optics Express、Medical Physics等期刊发表学术论文4篇。主持山西省研究生创新项目1项，曾获研究生国家奖学金、全国研究生电子设计大赛二等奖等荣誉。
卞耀兴，通讯作者，太原理工大学物理与光电工程学院讲师，硕士生导师。博士毕业于北京师范大学光学专业，目前主要研究方向为随机激光器、单光子成像、单像素成像。在Laser & Photonics Reviews、ACS Photonics、Applied Physics Letters等期刊发表学术论文10余篇，授权发明专利3项，主持国家自然科学基金项目和山西省基础研究计划项目2项。
胡建勇，通讯作者，山西大学量子光学与光量子器件国家重点实验室副教授，硕士生导师。主要研究方向为：量子保密通信及其攻防、单光子成像、量子压缩感知。在Light: Science & Applications、Physical Review Letters、Photonics Research等期刊发表学术论文10余篇，授权发明专利14项（美国发明专利1项，澳大利亚发明专利1项，欧洲发明专利1项），主持国家自然科学基金等项目4项。
肖连团，通讯作者，太原理工大学教授，博士生导师，教育部CJ学者特聘教授，国家重点研发计划首席科学家，中国光学学会会士，教育部创新团队带头人，国家百千万人才工程人选，国务院政府特殊津贴专家。兼任山西大学量子光学与光量子器件国家重点实验室副主任。主持承担国家重点研发计划、国家重大科研仪器研制项目等。在Nature Physics、Light: Science & Applications、Nature Communications、Physical Review Letters、Nano Letters等发表学术论文180余篇，获国家/国际发明专利授权30余项。研究成果入选中国高等学校十大科技进展和中国光学十大社会影响力事件（Light 10），获教育部技术发明一等奖。
