【摘要】食管癌(EC)是全球发病率和死亡率排名前列的肿瘤,影像学检查是EC临床分期、疗效评估以及预后判断的主要方法,但传统影像学检查的诊断准确性不高。近年来发展起来的影像组学方法在上述领域具有重要价值,深度学习在医学领域的应用进一步推动了影像组学技术的发展。本文对基于深度学习的影像组学在EC中的应用进展进行综述。【关键词】食管癌;深度学习;影像组学;体层摄影术,X线计算机;磁共振成像【中图分类号】R735.1;R814.42;R445.2食管癌(esophageal
carcinoma,EC)在中国的发病率位居癌症的第六位,其中95.5%为鳞状细胞癌(esophageal squamous cell
carcinoma,ESCC)[1]。EC患者早期症状隐匿,且EC具有高浸润性和淋巴结跳跃性转移的特点,中晚期时可能导致食管梗阻,病灶的浸润和转移严重影响患者的生活质量和生存预后。实现早期诊断和个体化精准治疗是提高EC患者五年生存率的关键[2]。传统影像学检查依赖于放射科医师的人工判读,而医师间专业知识的差异可导致一定的漏诊和误诊率。此外,医师的视觉评估无法观察到肿瘤的异质性,而影像组学技术的发展为解决这些困境提供了新的机遇和方法[3]。
影像组学是一种对肿瘤表型进行定量分析和预测的方法,结合机器学习(machine learning, ML)技术将肿瘤特征与患者的临床和病理数据进行相关性分析,可提高诊断或预测的准确性[4]。影像组学可分为两大类:传统影像组学,也称为手工影像组学(handcrafted
radiomics, HCR)和基于深度学习的影像组学(deep
learning-based radiomics, DLR)。
HCR 研究在EC领域已经得到广泛开展[5],其工作流程可以归纳为以下几个步骤:(1)图像采集和重建;(2)图像分割和ROI勾画(半自动或手动描绘);(3)特征提取和量化;(4)面向临床任务模型的建立与验证。然而,HCR存在ROI绘制的标准化程度低、特征提取及降维等步骤繁琐耗时等问题。此外,使用由数学公式定义的影像组学特征(包括形状、纹理和强度特征)较易受到噪声的影响,鲁棒性不足。
近年来,深度学习(deep
learning, DL)作为一种极具潜力的医学图像分析技术逐步受到了广泛关注[6]。DL是ML的分支,指的是一大类算法而不是特定的模型,这类算法以神经网络为基础对量化数据进行特征学习。一些研究者在影像组学研究中结合了DL的优势,开发了DLR[7],以解决HCR研究的局限性[8]。如,使用医学成像领域中最流行的DL算法之一的卷积神经网络(cable news network, CNN
),从医学图像中自动检测和分割病灶,或者从完整图像中直接提取百万数量级的特征,并自动学习代表性特征,可轻松构建端到端的预测模型,避免了需由人工参与以及繁琐的特征提取和降维过程。
影像组学在EC中的应用
1、EC自动检测
提高EC患者生存期的关键是早期诊断,HCR在这一领域无法发挥作用,采用DLR的相关研究也较少。Takeuchi等[9]使用微调的VGG16网络架构构建了基于CT图像自动检测食道癌病灶的DLR模型,其诊断符合率为84.2%,敏感度和特异度分别为71.7%和90.0%。Sui等[10]使用了改进的V-Net网络架构从胸部CT平扫图像中对食管进行感兴趣区体积分割,然后通过计算食管内各点的平均边界距离对食管厚度进行评估,从而判断是否存在EC。该DLR模型实现了88.8%的敏感度和90.9%的特异度,可以基于胸部CT平扫图像有效检测EC,尤其是偶发早期EC患者。
2、评估淋巴结转移状态
淋巴结转移情况是EC患者临床分期的重要依据,影响临床治疗方案的选择。然而,传统影像学方法是基于淋巴结的大小(短轴直径10mm)来判断是否为转移性淋巴结,但其诊断符合率较低(仅约53%)[11],由此可见,传统影像学诊断方法在判断淋巴结是否发生转移方面存在天然缺陷。因此,临床上亟需新的成像标志物来准确判断淋巴结转移状态。
Chen等[12]使用ResNet50网络架构进行迁移学习,从淋巴结的CT图像中提取了1000个DL特征,随后进行特征降维后分别建立支持向量机(support vector machine,SVM)、自适应增强(Adaboost)以及随机森林(random forest,RF)分类模型。在测试集中,以RF模型在预测淋巴结转移时的效能最佳(AUC=0.80)。在另一项研究中,
Wu等[13]进一步发挥DL的优势,使用基于DL算法的CNN-F网络架构从EC病灶的CT图像中提取组学特征,分别构建HCR、计算机视觉和DLR模型来预测ESCC患者的淋巴结转移状态,随后构建了多个联合模型,包括模型1(HCR+CT报告淋巴结转移状态)、模型2(模型1+计算机视觉)和模型3(模型2+DLR),并对模型的预测效能进行比较,结果显示,包含有DLR的模型3在所有队列(训练、内部验证和外部验证)中均表现出最佳的鉴别效能(AUC分别为0.875、0.874和0.840)。
3、预测病理分化
尽管ESCC术后病理检查显示的肿瘤细胞分化情况不能直接影响患者治疗方案的选择,但可以对患者进行危险分层,这对于临床指导临床个体化精准治疗和预测患者的预后至关重要。Kawahara等[14]的研究中将ESCC的患者分为低分化和中高分化两组,并从放疗计划的CT扫描图像中提取了肿瘤和瘤周5mm范围的手工影像组学特征,并应用了基于DL架构的分类器来构建预测低分化ESCC的模型,模型在测试集中的AUC达到了0.92,表明预测效能较好。
4、预测治疗效果
肿瘤的异质性导致其对单独放疗(radiotherapy, RT)、同步化放疗(concurrent chemoradiation,CCRT)、新辅助化疗(neoadjuvant
chemotherapy,NAC)和新辅助化疗放疗(neoadjuvant chemoradiation treatment,NCRT)等治疗方法的反应存在差异,准确预测肿瘤对治疗的反应对于患者个性化治疗方案的制订具有重要意义,这是目前EC领域的热门研究方向之一。
Hou等[15]从
68例接受CCRT治疗患者的MRI图像上提取了EC病灶的手工影像组学特征,分别构建SVM模型和DL模型以预测治疗反应。结果显示,DL模型的AUC达0.883,与SVM模型的诊断效能(AUC=0.929)接近。Amyar等[16]在其研究中放弃了手工影像组学特征,而是基于3D-CNN架构直接建立了一个端到端预测EC患者CCRT疗效的DLR模型,与同类文献中其它方式建立的模型进行对比后发现,包含肿瘤以及瘤周2cm信息的DLR模型的诊断效能最佳,符合率达到了0.75。Xie等[17]进行了一项多中心研究,旨在预测ESCC患者的RT疗效。他们从CT图像中提取了EC病灶的手工影像组学特征和DL特征,然后分别构建HCR模型和端到端的DLR模型并比较了它们的预测效能,结果显示DLR模型优于HCR模型(在内部和外部测试队列中的AUC分别为0.802和0.732)。该研究结果表明,DLR模型可以在不降低数据维度和删除冗余特征的情况下提高预测效能。Li等[18]则在9个医疗机构的306例患者中开展了DLR的前瞻性研究,旨在预测晚期胸段ESCC患者对CCRT治疗的反应。他们首先回顾分析每个患者的CT图像来确定矩形边界,以每例患者肿瘤最大层面为中心,选择12个连续层面,将矩形边界内的图像裁剪为3D立方体。然后,他们将每层图像统一调整为32×32像素,并将单通道图像转换为3通道图像,从而将每例患者的图像固定为3×
12×32×32像素的输入格式,用于输入基于改进ResNet34网络架构的DLR模型,该模型以端到端的方式输出预测结果,结果显示,模型在在外部测试集中的AUC为0.833,阳性预测值更是高达100%;此外,他们还验证了DLR模型与临床因素相结合构建的联合模型的预测效能,其在验证集中的AUC为0.861,显示出更佳的预测效能。
除了通过实体瘤反应评估标准预测CCRT或RT治疗效果外,多项DLR研究还针对影像组学能否在新辅助治疗前预测患者疗效甚至病理完全缓解(pathologic complete response, pCR)状态的临床问题进行了验证。Murakami等[19]在PET图像中提取手工影像组学特征,使用DL分类器对接受NCRT治疗的EC患者的治疗反应进行预测,5折交叉验证后模型的平均AUC为0.95。该研究初步验证了DLR在预测ESCC患者NCRT疗效方面的潜在价值。Ypsilantis等[20]在预测患者NAC疗效的研究中,从107例EC患者的PET图像中自动分割病灶,然后分别提取手工影像组学特征和DL特征用于预测患者对NAC的治疗反应,并对基于手工影像组学特征和DL特征的分类模型的效能进行了比较。结果显示,DLR模型具备最佳的预测性能,其平均特异度和敏感度分别为80.7%和81.6%。Hu等[21]进行了一项多中心研究,他们对手动分割的ROI提取了手工影像组学特征和基于多个神经网络架构的DL特征,并应用Combat
Harmonization协调方式校正不同图像采集协议导致的影像组学特征的差异性。最后,采用SVM分类器建立预测模型,对比多个模型的预测效能。结果显示基于ResNet50提取的DL特征对预测ESCC
患者NCRT治疗后的pCR状态具有最佳的效能(在内部训练队列和外部测试队列中的AUC分别为0.901和0.805)。上述研究不仅证实了DL特征有着更强的鲁棒性,还在一定程度上说明了DLR模型在处理分类问题上具有更高的准确性。
5、预测无症状生存期和总生存期
无论选择何种治疗方式,肿瘤的复发与患者的总生存期密切相关。如果能够准确预测肿瘤复发并识别出不良预后的高风险人群,临床医师可对这类人群采取更加密切的监测或调整为更为有效的治疗方案。同样,这个问题也是EC领域研究的热门方向之一。
在一项研究中,Wang等[22]基于CT图像从EC病灶中提取手工影像组学特征,并使用DenseNet-169网络架构提取病灶的DL特征。随后,他们进行特征降维并分别构建了DLR模型、HCR模型、以及将DLR标签、HCR标签与临床相关因素相结合构建逻辑回归模型(logistic
regression,LR),来预测食道癌患者经过化放疗后未来3年的生存率。结果显示,在验证队列中,DLR模型的效能明显高于HCR模型,而将DLR模型联合LR分类模型后取得了最佳效能,在验证队列中,LR、DLR和HCR模型的AUC分别为0.942、0.846和0.665。该研究中还通过方差膨胀系数检验了LR模型中各个变量之间的多重共线性,结果显示模型标签之间不存在严重的共线性(DLR标签、HCR标签和临床相关因素两两检验,方差膨胀系数分别为1.45、1.41和1.07)。这表明DL特征和手工影像组学特征可以互相补充信息,从而提高模型的预测能力。
Yang等[23]构建了一个基于ResNet18网络架构的3D-CNN模型,在
PET图像上同时进行EC病灶识别和预测患者一年生存率两个任务。该模型最终输出EC患者一年后的生存状态,预测效能分析显示其AUC为0.738。随后的随访研究发现,模型判断一年后死亡但实际存活的患者,五年生存率要低于预测存活且实际存活的患者。这意味着DLR模型能够准确地识别出更具侵袭性的EC。
Gong等[24]在进行DL特征提取之前对患者的CT增强图像做了预处理,他们以最大ROI层面为中心选择10层,并将每个层面调整为64×64像素,以确保每个患者的输入都是64×64×10像素的立方体。然后,使用3D-Densent网络架构提取了DL特征,并与手工影像组学特征采取相同的降维方式选择与患者局部无复发生存率(LRFS)相关的特征。研究团队最终建立了3个独立模型:临床因素、HCR、DLR模型,以及4个混合模型(HCR+DLR、HCR+临床、DLR+临床因素以及HCR+DLR+临床因素)。在外部验证队列中,结合了HCR、DLR和临床因素的混合模型取得了最佳预测效能(AUC为0.76),且通过对比发现,DL特征具有最强的泛化能力,同时也能最大程度地提高模型的预测效能。
Amyar等[25]在研究中更深层次地应用了DL模型,开发了一个可进行多项任务处理的DLR模型,在PET图像上实现了对EC的识别、病灶勾画以及患者生存预测分析。研究者调整模型任务模式并进行了多次测试,结果显示模型可以从PET图像中准确识别和分割EC病灶;在分类任务中,符合率最高可达0.98;分割任务的戴斯相似系数(Dice similarity
coefficient,DSC)最高为0.79;在患者生存预测方面,模型的AUC为
0.77。该DLR模型首次实现了无需人工参与的诊断和生存预测。然而研究人员也指出,模型无法使用相同的参数和特征让EC识别、病灶勾画及患者生存预测分析任务同时取得最佳结果。他们预计在未来引入注意力机制,以综合利用不同的特征来优化模型。
6、协助制订放疗计划
DLR模型可用于指导临床制订EC患者的放疗方案。Barragán-Montero等[26]在同质化数据库中建立并验证了一个DLR模型,该模型旨在预测EC患者的最佳放疗剂量分布。此外,该项研究中还发现小规模队列研究中数据库质量的差异会显著影响DLR模型的预测效能。Yue等[27]针对放疗前的计划流程设计了一个新的DL架构,名为GloD-LoATUNet,用于自FDG-PET-CT图像上自动分割EC病灶,结果显示该模型具有了良好的分割性能,在所有队列中的DSC均大于0.80。Wang等[28]则在一个小规模前瞻性研究中采用改进后的2D-nnU-Net网络对治疗前的MR图像进行EC病灶的自动分割,结果显示病灶分割的DSC均大于0.9。此外,基于自动分割模型的适应调形计划的计划目标量展现出较基于位置的计划更低的异质性指数。
未来展望
近年来,影像组学领域取得了显着进展,随着DL在医学图像处理中的应用越来越成熟,影像组学从HCR逐渐向DLR发展。相关研究充分证实了DLR技术的诸多优势,包括更强的泛化能力以及更高的预测准确性。展望未来,DLR端到端的建模方式为影像组学领域带来了新的可能性,使得多个任务(如早期病变检测与分割、淋巴结转移状态评估、病理预测等)可以同时进行,从而显着提高了其临床实用性。
然而,目前影像组学研究仍然存在一些亟待解决的问题。首先,大多数回顾性DLR研究仍然需要医师的参与,如病灶的分割等,而手工分割方式不可避免地影响DL特征的鲁棒性。而且,多个研究中对DL特征的处理方式仍延续了HCR研究中手工影像组学特征的降维方法,这种方式并未充分利用CNN的优势。未来的研究中,不断进步的DL自动分割算法以及端到端的建模方式很有希望改善当前的状况。其次,目前尚缺乏公认可靠的算法来协调不同中心之间的数据差异。因此建立高质量的公共数据库或者展开前瞻性的多中心研究,对于未来影像组学在临床上的实际应用至关重要。最后,目前大多数DLR研究需要进行复杂的参数调整,这强烈依赖于研究者的个人经验,使得DLR相关研究目前更多的停留在科研阶段。未来,DLR模型应具备自适应参数调整及拥有简便实用的交互界面等特性,从而让研究者能专注于待解决的临床问题。
参考文献:
[1]毛友生, 高树庚, 王群, 等. 中国食管癌临床流行特征及外科治疗概况大数据分析[J]. 中华肿瘤杂志, 2020, 42(3): 228-233.[2] Yang H, Liu H, Chen Y,
et al. Neoadjuvant chemoradiotherapy followed by Surgery Versus Surgery Alone
for Locally Advanced Squamous Cell Carcinoma of the Esophagus (NEOCRTEC5010): A
phase III multicenter, randomized, open-label clinical trial[J]. J Clin Oncol,
2018, 36(27): 2796-2803.[3] 孙嘉阳, 郭占林. 外科治疗Ⅲ期食管癌患者的生存状况研究[J]. 中国现代医学杂志, 2017, 27(15): 87-91.[4]
Davnall F, Yip C, Ljungqvist G, et al. Assessment of tumor heterogeneity: an
emerging imaging tool for clinical practice[J]. Insights Imaging, 2012, 3(6):
573-589.[5] 杨洪安, 张景润, 王家兴, 等. 基于MRI的放射组学评分和临床病理影像参数预测垂体瘤复发的Nomogram模型研究[J]. 放射学实践, 2023, 38(7): 853-862.[6] 彭慧, 冯峰. 食管癌影像组学研究[J]. 放射学实践, 2021, 36(6): 706-711.[7] LeCun Y, Bengio Y,
Hinton G. Deep learning[J]. Nature, 2015, 521(7553): 436-444.[8] Chan H, Samala R,
Hadjiiski L, et al. Deep learning in medical image analysis[J]. Adv Exp Med
Biol, 2020, 1213(0): 3-21.[9] Hashimoto R, Requa J,
Dao T, et al. Artificial intelligence using convolutional neural networks for
real-time detection of early esophageal neoplasia in Barrett's esophagus (with
video)[J]. Gastrointest Endosc, 2020, 91(6): 1264-1271.[10] Afshar P, Mohammadi A,
Plataniotis KN, et al. From handcrafted to deep-learning-based cancer
radiomics: challenges and opportunities[J]. IEEE Signal Process Mag, 2019,
36(4): 132-160.[11] Hatt M, Parmar C, Qi
J, et al. Machine (deep) learning methods for image processing and
radiomics[J]. IEEE Trans Radiat Plasma Med Sci, 2019, 3(2): 104-108.[12] Zhang X, Zhang Y,
Zhang G, et al. Deep learning with radiomics for disease diagnosis and treatment:
challenges and potential[J/OL]. Front Oncol, 2022, 12(0): e773840 [17 February
2022]. DOI: 10.3389/fonc.2022.773840.[13] Zhou P, Zeng R, Yu L,
et al. Deep-learning radiomics for discrimination conversion of alzheimer's disease
in patients with mild cognitive impairment: a study based on F-FDG PET imaging[J/OL].
Front Aging Neurosci, 2021, 13: e764872 [26 October 2021]. DOI:
10.3389/fnagi.2021.764872.[14] Takeuchi M, Seto T,
Hashimoto M, et al. Performance of a deep learning-based identification system
for esophageal cancer from CT images[J]. Esophagus, 2021, 18(3): 612-620.[15] Sui H, Ma R, Liu L, et al. Detection of incidental esophageal
cancers on chest CT by deep learning[J/OL]. Front Oncol, 2021, 11(0): e700210 [16
September 2021]. DOI: 10.3389/fonc.2021.700210.[16] Betancourt Cuellar S,
Sabloff B, Carter B, et al. Early clinical esophageal adenocarcinoma (cT1): utility
of CT in regional nodal metastasis detection and can the clinical accuracy be
improved[J]. Eur J Radiol, 2017, 88(0): 56-60.[17] Chen L, Ouyang Y, Liu
S, et al. Radiomics analysis of lymph nodes with esophageal squamous cell carcinoma
based on deep learning[J/OL]. J Oncol, 2022, 2022(0): e8534262 [13 September
2022]. DOI: 10.1155/2022/8534262.[18] Wu L, Yang X, Cao W,
et al. Multiple level CT radiomics features preoperatively predict lymph node metastasis
in esophageal cancer: a multicentre retrospective study[J/OL]. Front Oncol,
2019, 9(0): e1548 [21 January 2020]. DOI: 10.3389/fonc.2019.01548.[19] Kawahara D, Murakami
Y, Tani S, et al. A prediction model for degree of differentiation for
resectable locally advanced esophageal squamous cell carcinoma based on CT
images using radiomics and machine-learning[J/OL]. Br J Radiol, 2021, 94(1124):
e20210525 [08 July 2021]. DOI: 10.1259/bjr.20210525.[20] Hou Z, Li S, Ren W, et
al. Radiomic analysis in T2W and SPAIR T2W MRI: predict treatment response to
chemoradiotherapy in esophageal squamous cell carcinoma[J]. J Thorac Dis, 2018,
10(4): 2256-2267.[21] Amyar A, Ruan S,
Gardin I, et al. 3D RPET-NET: development of a 3D PET imaging convolutional neural
network for radiomics analysis and outcome prediction[J]. IEEE Trans Radiat
Plasma Med Sci, 2019, 3(2): 225-231.[22] Xie Y, Liu Q, Ji C, et
al. An artificial neural network-based radiomics model for predicting the
radiotherapy response of advanced esophageal squamous cell carcinoma patients:
a multicenter study[J/OL]. Sci Rep, 2023, 13(1): e8673 [29 May 2023]. DOI:
10.1038/s41598-023-35556-z.[23] Li X, Gao H, Zhu J, et
al. 3D deep learning model for the pretreatment evaluation of treatment response
in esophageal carcinoma: a prospective study (ChiCTR2000039279) [J]. Int J
Radiat Oncol Biol Phys, 2021, 111(4): 926-935.[24] Murakami Y, Kawahara
D, Tani S, et al. Predicting the local response of esophageal squamous cell carcinoma
to neoadjuvant chemoradiotherapy by radiomics with a machine learning method using
F-FDG PET images[J]. Diagnostics (Basel), 2021, 11(6): 1049[7 June 2021]. DOI:
10.3390/diagnostics11061049.[25] Ypsilantis P, Siddique
M, Sohn H, et al. Predicting response to neoadjuvant chemotherapy with PET imaging
using convolutional neural networks[J/OL]. PLoS ONE, 2015, 10(9): e0137036 [10
September 2015]. DOI: 10.1371/journal.pone.0137036.[26] Hu Y, Xie C, Yang H,
et al. Computed tomography-based deep-learning prediction of neoadjuvant
chemoradiotherapy treatment response in esophageal squamous cell carcinoma[J].
Radiother Oncol, 2021, 154(0): 6-13.[27] Wang J, Zeng J, Li H,
et al. A deep learning radiomics analysis for survival prediction in esophageal
cancer[J/OL]. J Healthc Eng, 2022, 2022: e4034404 [24 March 2022]. DOI:
10.1155/2022/4034404.[28] Yang C, Yeh J, Yu W,
et al. Deep convolutional neural network-based positron emission tomography analysis
predicts esophageal cancer outcome[J/OL]. J Clin Med, 2019, 8(6): e844 [13 June
2019]. DOI: 10.3390/jcm8060844.
[29] Gong J, Zhang W, Huang
W, et al. CT-based radiomics nomogram may predict local recurrence-free
survival in esophageal cancer patients receiving definitive chemoradiation or
radiotherapy: a multicenter study[J]. Radiother Oncol, 2022, 174(0): 8-15.[30] Amyar A, Modzelewski
R, Vera P, et al. Multi-task multi-scale learning for outcome prediction in 3D
PET images[J/OL]. Comput Biol Med, 2022, 151(Pt A): e106208 [25 October 2022].
DOI: 10.1016/j.compbiomed.2022.106208.[31] Barragán-Montero A,
Thomas M, Defraene G, et al. Deep learning dose prediction for IMRT of
esophageal cancer: the effect of data quality and quantity on model performance[J].
Phys Med, 2021, 83(0): 52-63.[32] Yue
Y, Li N, Zhang G, et al. Automatic segmentation of esophageal gross tumor
volume in F-FDG PET/CT images via GloD-LoATUNet[J/OL]. Comput Methods Programs
Biomed, 2023, 229: e107266 [5 December 2022]. DOI: 10.1016/j.cmpb.2022.107266.[33] Wang H, Liu X, Song Y,
et al. Feasibility study of adaptive radiotherapy for esophageal cancer using
artificial intelligence autosegmentation based on MR-Linac[J/OL]. Front Oncol,
2023, 13: e1172135 [08 June 2023]. DOI: 10.3389/fonc.2023.1172135.(收稿日期:2023-10-23,修回日期:2024-01-20)