近日，南京理工大学的陈钱教授和左超教授领导的研究团队提出了一种基于深度学习的创新技术——单帧三维超快成像技术(SSSR-FPP)。该技术能够在100,000帧每秒的速度下实现超高频率的三维成像，显著提升了成像的动态捕捉能力。SSSR-FPP技术仅需一对低信噪比且分辨率较低的条纹图像作为输入，通过缩小高速相机的读出窗口，从而在保证成像速度的同时，显著提高了成像帧频。
在这一技术框架中，研究团队通过结合建立的物理域调控信息和后端统计模型之间的关联，有效实现了超时空分辨率的绝对相位精确解耦。这一方法不仅打破了高速相机在传统成像模式下的限制，还在物理域和计算域的协同作用下，通过深度学习算法对成像过程进行进一步优化，从而大幅提升了三维成像的精度和帧率。
该技术突破了传统探测器在物理读出上的极限，开创了高速三维动态成像的新方向，并为未来的科研探索提供了新的技术路径。相关研究成果以“Single-shot super-resolved fringe projection profilometry (SSSR-FPP): 100,000 frames-per-second 3D imaging with deep learning”为题，发表在国际顶尖学术期刊《Light: Science & Applications》上。
为了揭示力学、物理学和生物学中瞬态现象的基本科学原理，研究人员多年来一直致力于开发具有高时空分辨率的三维成像技术。这些技术的研究目标是能够精确捕捉和分析快速变化的动态现象，进而为科学探索提供强有力的工具。在众多三维成像技术中，条纹投影轮廓术凭借其非接触、高速、高精度和全场测量等优点，成为了当前最具前景的技术之一。该技术不仅广泛应用于工业检测，还在科学研究领域中得到了越来越多的应用。
随着数字光投影仪、高速光探测器等光电器件的飞速发展，以及高性能计算机等计算处理单元的进步，结构光三维成像技术面临着更高的技术要求。这些要求不仅体现在成像精度上，还包括了成像速度，特别是在高速成像过程中，如何平衡这两者之间的矛盾，成为了亟待解决的挑战。尽管精度与速度常常被视为技术进步中的对立面，但在结构光三维成像技术中，速度已经逐渐成为一个必须充分考虑的关键因素。尤其是在快速捕捉动态现象的过程中，实现高精度和高速度的三维成像成为了技术发展的重要目标。
近年来，人工智能，特别是深度学习技术的迅速发展，极大地推动了光学计量学领域的技术进步。通过将深度学习与彩色条纹技术、几何约束以及频域复用等先进方法结合，现有的三维成像技术能够在单帧图像条件下（即图像传感器的帧率上限），实现高精度且无歧义的三维重建。然而，当前的高速摄像机即使在较高的分辨率下，其成像帧率通常仅能达到几千赫兹，且对图像的信噪比要求较高。在这种情况下，现有的条纹投影轮廓术（FPP）技术在实际应用中的三维成像帧率通常仅为约20 kHz，远远不能满足捕捉超快动态现象的需求。
进一步提高成像帧率时，研究人员面临着多方面的挑战。首先，由于成像系统的带宽限制，提升成像帧率通常会导致像素分辨率的降低。其次，随着曝光时间的缩短，图像的信噪比会显著下降，这使得在高速成像过程中保持图像的高质量变得更加困难。因此，如何在同一系统中实现“高分辨率、快帧率和高信噪比”并存，成为了当前三维成像技术研究中的一项关键任务，也是亟待解决的重要难题。
针对结构光三维成像技术中对高时空分辨探测的迫切需求，南京理工大学的研究团队提出了一种基于深度学习的创新方法——超时空分辨单帧结构光三维成像技术。这一方法在传统的结构光三维成像基础上进行了显著改进，成功突破了成像速度与分辨率之间的矛盾，提供了一个全新的解决方案。
具体来说，该方法通过部分读出成像窗口的方式，显著提升了成像帧率。这一技术创新使得成像系统在不牺牲图像分辨率的前提下，大幅提高了成像速率。此外，研究团队还结合了物理域调控信息和后端统计模型之间的关联，利用深度学习方法精确解耦了超时空分辨率的绝对相位。这一过程不仅突破了成像系统硬件在高速成像过程中的物理极限，还有效提升了成像的质量与速度，从而使得三维成像的速率达到了前所未有的水平，提升了一个数量级以上（如图1所示）。
这种新方法的提出，为超时空分辨三维成像技术的发展开辟了新的方向，具有广阔的应用前景。无论是在工业检测领域，还是在科学研究中，它都能提供更加精确、快速的三维成像结果，为深入研究瞬态现象提供了有力的技术支持。
图1 SSSR-FPP系统示意图。
SSSR-FPP系统包括两台高速CMOS科学相机（Vision Research Phantom V611）和一个定制的DLP投影系统。随着相机最大帧率的提高，曝光时间变得过于有限，无法捕捉到足够亮的图像，导致图像的信噪比较低，并且明显叠加了读出噪声。
为了验证所提出方法的实际应用效果，研究团队对多个不同类型的瞬态场景进行了详细的实验演示。这些实验涵盖了旋转的涡轮风扇叶片、爆炸的建筑块以及蒸汽机往复运动等多种高速动态过程。通过这些多样化的实验场景，研究团队展示了该方法在超高帧率下的卓越性能，特别是在高达100,000 Hz的超高速成像下，能够精确捕捉这些动态场景的三维信息，验证了其在超快三维成像中的强大能力。
通过这些实验验证，研究团队不仅成功证明了该方法在极高帧率下的可行性和有效性，而且还为解决结构光三维成像中速度与精度之间的平衡问题提供了一条新的技术路径。传统上，速度与精度常被视为互相制约的两个因素，而本研究突破了这一瓶颈，为实现高速动态现象的实时成像提供了有力的技术支持。此次突破性的研究成果，不仅推动了三维成像技术的发展，也为未来在工业检测、生物医学成像、材料科学等多个科研领域的应用开辟了新的可能性和广阔前景。
如图2所示，SSSR-FPP方法通过仅使用一对低信噪比、低分辨率的条纹图像作为输入，成功实现了高分辨率的绝对相位解耦。这一过程是通过特别设计的训练网络完成的，该网络能够从低质量的输入图像中提取出精确的三维空间信息，从而突破了成像中常见的图像质量限制。为了解决这一问题，SSSR-FPP方法采用了两个结构相似但功能互补的卷积神经网络。这两个网络在独立且顺序的训练过程中，分别发挥各自的作用，协同实现了高分辨率的相位复原及相位展开。
具体而言，CNN1的任务是从低分辨率的输入图像中提取出潜在的相位信息，通过深度学习算法的训练，使得网络能够在噪声较大的图像中找到有效的相位线索。接下来，CNN2基于这些潜在的相位信息，进一步进行相位展开和高分辨率重建。CNN2不仅能准确地从提取到的相位信息中恢复出精细的空间细节，还能够在高分辨率下重建三维空间的精确几何结构，从而实现了低信噪比输入图像的质量提升和三维成像的高精度重建。
通过这一方法，研究团队成功突破了传统三维成像方法中的硬件和信噪比限制，展现了超高帧率、超高精度的三维成像能力。该方法的成功实施，为高速动态场景的实时成像提供了一种创新的解决方案，同时为结构光三维成像领域的技术进步开辟了新的方向。研究成果的广泛应用潜力，特别是在高速检测、动态监测及医学影像等领域，预示着该技术在未来将带来革命性的突破，推动这些领域的科技进步。
为了实现高精度的相位复原，SSSR-FPP方法采用了一种创新性的策略，通过调整镜头焦距以优化图像质量和增强训练过程中的数据多样性。具体来说，研究团队将镜头焦距从24 mm的电控调焦镜头增加至72 mm，这一调整有助于在高分辨率和低分辨率图像之间进行更加有效的映射学习。通过增加焦距，成像系统能够获取更加清晰和细致的图像数据，这为网络的训练提供了更丰富和精确的输入数据。此外，焦距的调整有助于改善低分辨率图像到高分辨率数据的映射过程，从而实现更加准确的空间信息重建。
这种基于焦距调整的策略不仅增强了数据多样性，还帮助模型更好地理解和恢复低分辨率图像中丢失的细节信息。通过这一创新的训练框架，SSSR-FPP能够在处理低信噪比图像时，依然提供高质量的三维成像结果。该方法突破了传统成像技术在高速成像中的限制，为高分辨率、超快成像领域提供了一个切实可行的解决方案，并推动了三维成像技术的发展。
为验证
SSSR-FPP方法在高时空分辨率下的性能，研究团队对两个独立的被测物体进行了动态测量实验。这两个物体分别是高速旋转的风扇叶片和静态的石膏模型。尽管原始条纹图像存在显著的背景噪声和像素化问题，SSSR-FPP依然能够成功地重建出风扇叶片的几何结构以及石膏模型表面的细节。这一结果验证了该方法在极端条件下的鲁棒性，以及其出色的高分辨率成像能力。
为了进一步验证测量结果的可重复性，研究团队在风扇叶片上选择了三个关键点（A、B、C），并在15毫秒的时间窗口内对这些点的深度变化进行了跟踪和分析。测量结果表明，SSSR-FPP在高速成像过程中展现出了卓越的稳定性和可重复性。通过对这些关键点的监测，研究团队验证了该方法不仅能够在高帧率下精准进行三维成像，而且能够确保成像结果的一致性和可靠性。
图2 所提出的SSSR-FPP方法的工作流程。(a) 步骤
1：输入低分辨率灰度条纹图案，并输出分子和分母项。步骤2：生成预测的高精度绝对相位，并通过预先标定的参数恢复三维形状。(b) 我们方法的网络结构，采用编码器-解码器结构。跳跃连接增强了图像特征信息的传输，同时缓解了梯度消失问题。考虑到学习的非对称映射，部署了一个额外的约束，可以视为共同保留高分辨率和低分辨率图像之间的双重回归映射，以增强网络在实际环境中的鲁棒性和泛化能力。
图3展示了旋转叶片和静态石膏模型的测量过程。在图3a中，显示了相机捕获的原始图像，其中包含明显的背景噪声和像素化效应。图3b展示了在观察开始时（T = 0 ms）通过SSSR-FPP重建的整个风扇的三维形状，插图中提供了局部区域的三维重建细节。这一过程表明，SSSR-FPP能够从受噪声影响的低质量图像中恢复出高质量的三维结构。图3c则展示了网络预测的分子数值，这些数值被用于进一步的三维结构重建。图3d提供了图
3b中红色线条位置的详细放大和高度剖面图，帮助研究人员深入了解风扇表面局部的细节。
在图3e中，展示了风扇表面在T = 0.17 ms时的时间冻结状态，使用色彩图呈现三维重建的表面信息。这一图像展示了在极短时间内，SSSR-FPP能够准确捕捉高速动态物体表面的细节。图3f展示了沿着径向方向（对应图3e中的虚线）绘制的高度曲线，研究人员在每个时间间隔0.17 ms内进行了高度测量。这些测量进一步验证了SSSR-FPP在捕捉快速变化的表面细节方面的高精度。
最后，图3g展示了在15 ms的时间窗口内，风扇叶片上选定的A、B
、C三点在z方向的位移变化。这些数据表明，SSSR-FPP在高速动态测量中展现出了卓越的可重复性和稳定性。这一实验结果进一步确认了该方法在处理高速动态场景中的可靠性和高分辨率成像能力。
通过这些实验结果，研究团队展示了SSSR-FPP在高速动态场景下对复杂物体表面细节的精准捕捉能力，证明了其在不同物体类型中的广泛适用性。特别是在处理高速旋转物体和静态物体时，SSSR-FPP能够提供高质量的三维重建结果。这些实验验证了该技术不仅在静态物体的测量中表现出色，更能够应对高速动态物体的挑战，展现了广泛的应用前景。未来，SSSR-FPP有望在工业检测、材料科学、生物医学成像等领域得到更加广泛的应用，为相关领域的研究提供强有力的技术支持。
图3 旋转叶片和静态石膏模型的测量。(a) 相机获得的原始图像。(b) 在观察期开始时（T = 0
毫秒），风扇的整个三维形状被重建，插图显示了三维重建的局部放大图。(c) 网络预测的分子项。(d) 在（b）中红线位置的详细放大和高度轮廓。(e) 风扇表面以颜色编码的三维渲染形式表示，时间冻结在T = 0.17毫秒时。(f) 沿径向方向绘制的高度曲线（对应于e中的虚线），每个曲线对应的时间间隔为0.17毫秒。(g) 在三个选定点位置（如a所示的A、B和C）上，z
方向位移的变化，时间范围为15毫秒。
此外，研究团队还将SSSR-FPP技术应用于一款每分钟转速约为9771转的涡扇发动机模型，进行了动态三维测量，实验结果如图4所示。在该实验中，研究团队通过高时空分辨率的成像能力，展示了从两个不同角度对涡扇发动机模型的三维渲染结果。SSSR-FPP技术的优势使得研究团队能够以0.01毫秒的时间间隔，提供连续的三维测量数据，从而精确捕捉到涡扇发动机运转过程中，齿轮的纹理细节及其动态变化。这一高时空分辨率的测量结果不仅证明了该技术在高速动态场景中的应用潜力，还展示了其在复杂动态物体上的强大适应性和精确度。
视频1记录了涡扇发动机模型的动态三维测量过程，进一步展示了SSSR-FPP在处理高速动态物体时的出色能力，尤其是在面对具有复杂几何形状和表面反射率的瞬态物体时，仍能保持良好的成像质量。这些实验结果为SSSR-FPP技术在高速动态成像中的应用提供了有力支持，特别是在高转速设备和复杂机械零件的三维重建中，展现了其无与伦比的鲁棒性和通用性。
图4
展示了涡扇发动机模型在最大物理转速下的三维测量结果。图4a是由相机获得的原始图像，可以观察到图像中明显的低分辨率和噪声干扰。尽管如此，研究团队通过SSSR-FPP技术对这些图像进行了有效处理，成功将图像的几何结构和细节清晰再现。图4b显示了涡扇发动机模型的三维重建结果，从两个不同视角呈现，通过SSSR-FPP技术，模型的几何结构和复杂细节得以精确还原。图4c展示了由深度学习网络预测的分子数值，并采用三频率和12步相位移方法进一步处理原始图像。这一处理步骤有效地帮助提取和校正了相位信息，从而显著提高了三维重建的精度，使得涡扇发动机的几何特征得到了更加精确的呈现。
图4d展示了在不同时间点冻结的选定区域1的三维渲染结果，插图中进一步提供了该区域随时间变化的三维测量数据，时间间隔为0.01毫秒。通过这一细致的时间分辨率，研究人员能够观察到涡扇发动机齿轮表面在高速旋转过程中微小的动态变化和细节。这种高时间分辨率的测量方法为研究人员提供了前所未有的观察视角，使得涡扇发动机运转过程中每一细节都能够被清晰捕捉。
图4e展示了在选定的A
、B和C三个关键点上的z方向位移波动情况，研究团队绘制了在8毫秒时间间隔内的位移变化曲线，进一步验证了SSSR-FPP方法在高速动态测量中的精确性和可靠性。通过这些位移变化数据，研究人员能够精确监测齿轮和其他组件在高速运转过程中的细微形变，确保了成像结果的高精度和一致性。
图4f提供了选定区域2在不同时间点冻结的三维渲染结果，展示了涡扇发动机另一部分的动态变化。图4g则展示了齿轮标记曲线在x-z平面上的截面剖面图，从图4f中的两个不同点进行分析。通过这些详细的剖面数据，研究团队能够揭示涡扇发动机在高速旋转过程中，齿轮及其他组件的形变与位移情况。该分析进一步展示了SSSR-FPP技术在实际工业应用中的巨大潜力，尤其是在高转速机械设备的实时动态监测与三维重建中。
通过这些实验，研究团队不仅展示了SSSR-FPP技术在高速旋转物体三维成像中的广泛应用前景，还验证了该技术在工业检测、机械工程、航空航天等领域的巨大潜力。SSSR-FPP方法能够精确捕捉到涡扇发动机及其他复杂动态场景中的微小变化，并提供高质量的三维重建结果，这使得该技术在实时监测和动态成像中的应用成为可能，并为未来的工业自动化和智能检测系统提供了强有力的支持。
图4 原型涡扇发动机组件在最大物理转速下的三维测量。(a) 相机获得的原始图像。(b) 从两个不同视角展示的涡扇发动机模型的三维渲染图。(c) 网络预测的分子项，以及通过三频12步相位移法获得的相应原始图像。(d) 在不同时间点冻结并进行颜色编码的选定区域1的三维渲染图。插图显示了0.01毫秒时间间隔下的三维测量变化。(e) 在图
d中选定点A、B和C处的z方向位移波动，绘制了8毫秒时间跨度内的变化曲线。(f) 在不同时间点冻结并进行颜色编码的选定区域2的三维渲染图。(g) 显示图(f)中齿轮标记曲线在两个不同点上的x-z平面截面轮廓。
通过这些实验结果，研究团队成功证明了SSSR-FPP技术的广泛适用性，不仅能够应对静态物体或低速运动物体的三维成像需求，还能够在复杂的、高速动态的工业场景中，提供高分辨率的实时测量。特别是在涡扇发动机这种高转速且具备复杂几何形状的动态物体的测量中，SSSR-FPP
展现了其在高速动态成像和精准三维重建方面的卓越性能。这一技术的成功应用，为未来的工业检测、故障诊断以及其他高速动态物体的精准测量提供了坚实的技术基础，标志着其在高速动态环境下的应用潜力。
SSSR-FPP方法通过有效缩小成像窗口，并结合先进的深度学习技术，成功突破了传统高速相机的物理极限，弥补了成像速度与分辨率之间的巨大差距。这一创新性的技术架构，使得三维成像的速率得以大幅提升，达到了每秒100,000帧以上的速度，极大地提升了动态测量的能力。相比传统的成像方法，SSSR-FPP不仅克服了捕捉超快瞬态现象时所面临的速度瓶颈，而且在确保成像精度的同时，仍能保持足够的空间分辨率。这一技术的突破刷新了超快瞬态结构光三维成像的速度纪录，为超高速动态成像领域提供了极大的技术支持。这一成果的出现，不仅在科研领域具有深远意义，也为未来高速动态物体的实时监测和分析提供了强有力的工具。
随着成像帧率更高的传感器不断迭代和升级，结合高功率照明光源与大孔径光学系统的支持，基于SSSR-FPP技术的三维成像帧率有望进一步突破至百万帧每秒，甚至可能达到更高的水平。这将为超快动态成像技术的持续发展铺平道路，使得对高速运动现象的测量与分析变得更加精确和实时，为未来的动态监测任务提供前所未有的技术能力。
此外，SSSR-FPP技术不仅为深度学习与光学测量技术的深度融合提供了理论支持，还为其在实际应用中的广泛推广与发展奠定了坚实的基础。随着这一技术的不断成熟和应用，SSSR-FPP将在多个领域产生广泛的影响。例如，在生物医学领域，它将帮助研究人员更精确地观察细胞和分子层级的动态变化，提供更为深入的生物过程分析。在材料科学领域，SSSR-FPP技术能够实时监测材料在高速变形过程中的微观结构变化，为新材料的研发和应用提供重要的实验数据。而在精密制造领域，SSSR-FPP将显著提升生产过程中的实时检测能力，有效确保产品在生产中的质量精度，推动制造业向更高的精度和效率迈进。这些潜力表明，
SSSR-FPP技术不仅具有突破性的意义，还将为各行各业的发展提供重要的技术支持与推动力。
总之，SSSR-FPP技术的成功实施和不断优化，不仅在高分辨率、高速度动态成像领域设立了新的技术标准，也为工业、科研和医疗等多个领域的应用提供了强大的技术支撑，预示着这一技术将在未来发挥更加重要的作用，带来一系列革命性的变化。
原文链接：
https://doi.org/10.1038/s41377-024-01721-w
撰稿人：高思达
声明:本文旨在传递和分享科研资讯，仅供个人学习、参考和学术交流使用，不作为商业用途，文中所引用文献已指明该团队及来源。
来自计思光益公众号
