在肝活检组织学中利用深度学习技术精准定量评估肝脂肪变性

在肝活检组织学中利用深度学习技术精准定量评估肝脂肪变性

肝脂肪变性是由肝细胞中脂质过度积累引起的疾病，准确测量脂肪变性成分是临床决定是否使用供肝进行移植的关键步骤。在临床实践中，病理学家通过检查苏木精—伊红(H&E)染色的组织切片来确定脂肪变性成分的程度。然而，当人工进行病理检查时，由于脂肪变性实例数量巨大且外观显著不同，因此结果具有很高的可变性。在这项研究中，团队提出了一种基于深度学习的区域边界集成网络，用于精确量化整个肝脏切片组织病理图像的脂肪变性。此外实验中还存在脂肪变性重叠液滴较大的问题，而现有的重叠脂肪变性液滴定量图像分析方法都不具备全玻片图像分析能力，团队研究出了一个全新的脂肪变性分割模型，以识别单个脂肪变性，并在肝脏活检的整个切片显微镜图像中勾画重叠脂肪变性的边界。

实验数据集来自亚特兰大儿童医院和埃默里大学的36例非酒精性脂肪性肝病(NAFLD)患者的全玻片肝脏组织病理学图像。所有肝组织永久切片均用福尔马林固定，石蜡包埋，H&E染色，人工排除门管区胆管和大血管，只留下肝小叶进行定量分析。将每个完整的组织成分图像分割为大小为512 × 512像素的无重叠图像块，产生了2050个图像Patch（小块图像），这些小块图像以8:2的比例被分为训练和验证队列。

实验中每个脂肪变性成分边界由领域专家标注公示，并作为脂肪变性边界预测模块的标准参考对象。在这项研究中，基于深度学习的区域边界集成网络包括两个连续的步骤：首先是设计了一个基于区域的模块从背景像素中分割前景脂肪变性液滴区域，同时引入了一个边界模块来学习每个重叠脂肪变性区域的感知边界特征。然后，结合区域和边界信息训练神经网络模型，负责将脂肪变性液滴团块分割。提出的网络架构被命名为深度学习脂肪变性分割(delimate，即：dil-Unet+HNN+FCN-8s)（图1）。同时团队定量评估了模型的准确性，并将其与其他最先进的5种方法（U-Net+U-Net+U-Net，U-Net+U-Net+FCN-8s，dil-Unet+HNN+FCN-8s，Unet+HNN+FCN-4s，dil-Unet+HNN+dil-FCN）进行比较。

如图表1所示，评价指标包括Precision，Recall，F1-Score,Object wise Dice Index和Hausdorff Distance五个。基础网络模型有FCN和DeepLab V2两种。六个模型包括1个实验模型以及5个衍生模型。第一种U-Net+U-Net+U-Net模型（Precision：0.97，Recall：0.83，F1-Score：0.90，Object wise Dice Index：0.9247，Hausdorff Distance：5.8289）由区域提取、边界检测和信息集成三个U-Net模块组成，第二个模型U-Net+U-Net+FCN-8s（Precision：0.96，Recall：0.90，F1-Score：0.93，Object wise Dice Index：0.9458，Hausdorff Distance：3.8773）。评价指标Hausdorff Distance表示这两个模型都没有产生一致的结果。第三种模型是U-Net+HNN+FCN-8s（以下模型性能详见表1），由于HNN（Hopfield神经网络，详见名词解释1）能有效地从多尺度边缘场中恢复边界信息，这种模型整体分割性能最好。为了进一步改进脂肪变性区域掩码预测，团队对标准U-Net模块进行了修改，将深度为3的扩展卷积层与最低分辨率的特征映射叠加在瓶颈块处。如图2a所示，这种扩展的U-Net模块被称为dil-Unet，其性能优于标准U-Net。用dil-Unet得到的模型变化称为dil-Unet+HNN+FCN-8s。在综合比较研究中，还测试了集成网络FCN-4s，该模型的dil-Unet+HNN+FCN-4s与dil-Unet+HNN+FCN-8s的性能相当。最后，用扩展的FCN模块dil-FCN进行测试，在卷积层6处使用atrous卷积，积分层的膨胀率为3。然而，所得模型dil-Unet+HNN+dil-FCN并不能显著改善脂变性液滴团块弱边界的恢复。综合评价，dil-Unet+HNN+FCN-8s模型的性能优于其他模型。图3中重叠脂肪变性液滴的视觉分割结果证实了这一点。（图3从左至右分别为:原始图像、真实数据、FCN、DeepLab V2、U-Net+U-Net+U-Net(提出的模型的一个变体)和dil-Unet+HNN+FCN-8s(提出的delimate模型)的结果。

在对比研究中，所有图像中黑箱所示的块状脂肪变性区域通过delimate模型都能很好地分离出来，但其他方法均未成功。另外，绿框中的问题区域只有通过delimate模型才能完全恢复。）基于delimate模型的基线实验的定量和定性结果，以及其网络变异和基于深度学习的分割方法都证明了delimate模型的优越性。delimate分析包括两个阶段，训练和测试。文章的delimate模型只需要训练一次。模型经过训练后，可以用来分析新的案例进行测试。delimate模型平均可在0.26 s内生成斑块级预测结果，准确率高达98%（表1）。通过统计检验，表明delimate脂肪变性计数% (DSC%)是预测肝脏脂肪变性分级的一个有前途的组织学脂肪变性指标（表2）。最后的结果表明，人工智能辅助技术在增强全视野切片图像的肝病决策支持方面具有很高的潜力。此次研究提供了一个新的框架，在未来的研究中，团队计划改进方法，以自动识别与脂肪变性液滴外观相似的冷冻切片伪迹，造福患者。