责编 | 兮
近年来，尽管光电探测技术与精密光学技术发展迅速，但光学仪器的成像质量仍然面临信号噪声等严峻挑战。对于复杂的成像过程进行物理建模，与深度学习有机结合，有望突破经典技术手段面临的诸多局限。以荧光显微成像技术为例，由于成像过程固有的模糊和噪声，显微镜获取的原始荧光图像不可避免的受到退化影响。为了实现快速高分辨率成像，国内外许多实验室在显微镜硬件设计或相关的图像处理算法等方面做出了重大努力。在这一领域的研究过程中，浙江大学刘华锋教授团队、美国国家生物医学成像和生物工程研究所Hari Shroff（现入职Janelia Research Campus）研究团队、芝加哥大学的Patrick La Riviere研究团队进行了广泛合作并取得了系列成果。2020年，该联合研究团队在Nature Biotechology上发表了一篇名为 Rapid image deconvolution and multiview fusion for optical microscopy 的文章，其中提出了两种提高图像分辨率的优化方法，一种是优化Richardson-Lucy去卷积算法中的反向投影算子可以提高去卷积的效率，另一种是利用深度学习网络进行去卷积映射关系的学习（详见BioArt报道：NBT丨新技术使荧光显微镜图像后处理效率提高数十甚至上千倍—— 更快的图像后处理为荧光显微镜研究注入新活力）。近年来，深度学习网络在各个研究领域都有不凡表现，但是它难以解释的“黑盒”特性以及对训练数据质量的高度依赖性，导致使用一种数据训练的基于内容（Content-based）的模型很难直接应用于其他类型数据上。基于成像模型的优化方法往往具有很好的泛化能力，比如针对同一成像系统，在点扩展函数不变的假设下，Richardson-Lucy去卷积算法可以直接应用于不同数据。但是这些优化方法需要使用者有一定的调参经验才能更好发挥其效果，比如反向投影算子的设计过程需要设计到一系列参数调节，不正确的参数调节将影响去卷积效率或引入伪影。而在深度学习研究中，往往绕过复杂的成像过程，直接利用目标的高级特征。出于结合传统优化方法的泛化能力和深度学习强大的学习能力的考虑，2022年10月31日，浙江大学刘华锋教授团队联合美国国家生物医学成像和生物工程研究所Hari Shroff（现入职Janelia Research Campus）研究团队在Nature Methods杂志发表题为Incorporating the image formation process into deep learning improves network performance的研究论文。该研究将荧光显微图像后处理中常用的Richardson-Lucy去卷积模型显式地引入全卷积深度学习框架中，提出一种Richardson-Lucy Network（RLN），建立迭代优化方法和深度学习方法之间的联系，更好的实现荧光显微图像分辨率优化，提高网络可解释性和泛化能力，构建新型智能模态。
由于在Richardson-Lucy去卷积算法和全卷积网络中，卷积操作都是关键步骤，RLN利用深度学习中的卷积层替代了Richardson-Lucy去卷积算法中的卷积操作，相当于使用网络对去卷积算法中的正向投影算子和反向投影算子进行学习。RLN的设计理念如图1，它包括三个模块：下采样估计模块、原始尺寸估计模块和融合模块，同时兼顾了大视野和精细结构的恢复。图1. Richardson Lucy去卷积的分解以及RLN的训练和应用。RLN的方案设计包括三个部分：下采样估计模块、原始尺寸估计模块和融合模块。下采样估计模块和原始尺寸估计模块的FP1、DV1、BP1、FP2、DV2、BP2遵循RL去卷积迭代公式。在训练期间，低分辨率数据（即输入）送入RLN，相应的高分辨率真值用于监督网络参数的学习。应用模型时，RLN执行常规测试（训练数据集与测试数据集包含相同类型的结构）和泛化测试（测试数据集和测试数据集来自不同结构的数据）。本研究通过仿真数据以及多种成像系统采集的真实数据对RLN的去卷积能力、泛化能力进行了展示，并通过展示网络的中间过程输出显示了RLN和传统去卷积方法的联系，从一定程度上提供了RLN的可解释性。在RLN种种优异表现中，有几点格外突出。比如，结合了“裁剪拼接”模块的RLN能够实现大型透明组织光片显微数据后处理流程4-6倍的加速，以250GB（6370 x 7226 x 2850 体素）的数据为例，RLN相比于之前使用的基于迭代去卷积的方法加速了5倍并且得到的结果精度更高。RLN另一令人惊艳的优势就是它的泛化能力。通过使用合成数据对RLN进行训练，在与合成数据使用相同（或类似）点扩散函数的真实生物数据集上对RLN进行测试时，本研究发现RLN能提供鲁棒的去卷积，并且能提供比传统去卷积和先进的商业去卷积软件提供了更好的效果。这一特点十分有用，因为在真实实验中采集高信噪比、高质量的训练数据是复杂有难度的，尤其是获取高分辨率真值。鉴于RLN的优秀表现，RLN还有更多有趣的应用值得进一步开发，可以与多种成像系统结合，大幅提升成像系统的性能。浙江大学刘华锋教授和美国国家生物医学成像和生物工程研究所Yicong Wu博士为该文章共同通讯作者，博士生李玥为第一作者。原文链接：
https://doi.org/10.1038/s41592-022-01652-7
制版人：十一
【非原创文章】本文著作权归文章作者所有，欢迎个人转发分享，未经作者的允许禁止转载，作者拥有所有法定权利，违者必究。
