空间分辨率提高近 10 倍，港科大团队开发用于细胞内动力学成像的单帧深度学习超分辨率显微镜

将 ScienceAI 设为星标

第一时间掌握

新鲜的 AI for Science 资讯

单分子定位显微镜（SMLM）可用于解析亚细胞结构，与传统荧光显微镜相比，空间分辨率提高了十倍。然而，需要数千帧的单分子荧光事件的分离，这显著增加了图像采集时间和光毒性，阻碍了瞬时细胞内动力学的观察。

香港科技大学的研究人员开发了一种基于深度学习的单帧超分辨率显微镜（SFSRM）方法，该方法利用亚像素边缘图和多分量优化策略来指导神经网络从衍射受限图像的单帧重建超分辨率图像。

在可容忍的信号密度和负担得起的信噪比下，SFSRM 能够实现时空分辨率为 30nm 和 10ms 的高保真活细胞成像，从而可以长时间监测亚细胞动力学，例如线粒体和内质网之间的相互作用、沿微管的囊泡运输以及内体融合和裂变。此外，它对不同显微镜和光谱的适应性使其成为各种成像系统的有用工具。

该研究以「Single-frame deep-learning super-resolution microscopy for intracellular dynamics imaging」为题，于 2023 年 5 月 18 日发布在《Nature Communications》。

背景

活细胞荧光成像需要低光毒性照明和高成像速度，通常使用宽视场 (WF) 荧光显微镜进行。传统荧光显微镜的空间分辨率受到衍射的限制，因此无法分辨小于 200nm 的亚细胞结构。在过去的二十年中，已经开发出各种类型的超过衍射极限的超分辨率显微镜。例如，结构化照明显微镜（SIM）可用于低侵入性的活细胞成像；然而，它最多只能将图像的空间分辨率提高 2 倍。

为了进行时间分辨和无创超分辨率成像，近几十年来已经探索了许多先进的标记策略、光学成像系统和图像重建方法。尽管如此，由于光学系统的物理边界，必须在空间和时间分辨率、可实现的信号强度和细胞毒性之间进行固有的权衡。

人工智能解法是未来但仍有局限性

人工智能的快速发展导致许多传统的硬件限制被超越。各种深度学习网络在单图像超分辨率 (SISR) 任务中表现出色，该任务通常将单张低分辨率 (LR) 照片转换为高分辨率 (HR) 照片。逼真照片的 SISR 任务的重点是增强纹理和提高视觉质量。相比之下，显微图像的超分辨率任务需要从衍射极限图像中高精度地恢复超微结构。

最近，计算机视觉中流行的神经网络已经被修改以提高显微图像的分辨率。然而，由于 WF 显微镜获取的 LR 图像与 SMLM 重建获得的 HR 图像之间的分辨率差距较大，因此仍然需要多帧具有单分子荧光事件的 LR 图像来重建 SR 图像。因此，多帧超分辨率成像的基本问题，例如定位显微镜中的采集时间长和光漂白引起的光毒性，仍然阻碍了其在活细胞动力学成像中的应用。

一种基于深度学习的解决方法

香港科技大学的研究人员开发了一种 SFSRM 方法，用于从活细胞获取的 LR 图像中进行单帧 SR 重建，分辨率提高了 10 倍。研究人员已经证明，由于采用了多分量损失，SFSRM 可以从 LR 图像中恢复细微结构，并在边缘图的帮助下显示出对噪声损坏的卓越稳健性。

图示：SFSRM 的架构。（来源：论文）

此外，通过采用逐步提高图像信噪比和分辨率的双子网框架，SFSRM 的单帧图像转换避免了 SR 显微镜中空间分辨率、成像速度和光剂量之间可能的权衡，并允许在活细胞中进行长期 SR 成像，而不会对细胞造成明显的光损伤。SFSRM 与不同活细胞成像系统的结合提高了光子预算有限的荧光显微镜的时空分辨率，从而成为结合超分辨率显微镜和实时活细胞成像优点的强大工具。

尽管如此，与所有其他基于学习的方法一样，SFSRM 面临着准确性问题。虽然它实现了比以前的方法平均更高的准确度，但 SFSRM 仍然存在局部重建错误。因此，研究人员根据多个指标（包括重建偏差、MS-SSIM 和 HAWKMAN 分数）对固定样本上的 SFSRM 重建与相应的 GT 图像进行了仔细检查。

SFSRM 的重建精度显示出对输入图像的 SNR 和信号密度的依赖性。当输入 SNR >7 且信号密度≤0.5 时，它达到了普遍令人满意的精度（平均重建偏差 <1 像素，HAWKMAN 分数 >0.8，错误率 <0.15）。

图示：SFSRM 的概览性能。（来源：论文）

而在无法获取 GT 图像的活细胞应用中，研究人员尝试了基于与 LR 图像的相似性的评估，以及活细胞成像中同一样本、网络集成和相邻帧的噪声集成图像的重建不确定性分析。考虑到 SFSRM 对不同的光谱和成像系统足够稳健，研究人员相信他们之前对 SFSRM 在不同 SNR、信号密度和固定样本结构上的验证，结合活细胞成像中的质量检查方法，可以使其成为活细胞超分辨率成像的实用工具。除了这些平均精度评估外，研究人员还建议针对特定应用进行定制设计的评估。

图示：SFSRM 能够在数千帧的毫秒时间分辨率下对活细胞进行无创超分辨率成像。（来源：论文）

使用普通荧光显微镜实施 SFSRM 可以清楚地解析微管的高频横向振动和囊泡的令人惊讶的动态行为，例如沿微管的扩散运动、微管上的摆动以及微管之间的切换。其中许多过程以前从未见过，它们增强了人们对真实细胞内运输环境的理解。

此外，SFSRM 揭示的其他亚细胞过程，如网格蛋白-内体共定位和 ER-线粒体相互作用，表明 SFSRM 在促进亚细胞过程研究方面的潜力，这些亚细胞过程需要在超微结构信息的背景下解释时间动力学，这可能为发现涉及细胞器动力学和相互作用的活细胞成像打开大门。

结语

总的来说，SFSRM 在具有挑战性的条件下（例如低照度、短采集时间或多通道 SR 成像）是传统 SR 显微镜的有用替代方案。它的成功在于使用了为高级 SR 显微镜获得的足够训练数据。考虑到这些高成本的 SR 成像系统在大多数生物实验室中并不普遍，研究人员希望 SFSRM 能够充分利用可用的 SR 数据集并为更多研究人员服务。

然而，在现实的实验环境中，不能排除实验图像中呈现的结构特征与训练数据集范围不匹配的风险。例如，微管的曲率或网格蛋白涂层凹坑的直径超出了训练数据集的曲率/直径范围，或者更粗略的不匹配，例如由内质网训练的网络用于处理微管图像。解决这个问题的一种简便方法是使用匹配的训练数据集对训练好的网络进行微调，这有助于网络快速适应不同的结构特征空间。

论文链接：https://www.nature.com/articles/s41467-023-38452-2