顶刊阅读:《COMPUTERS IN BIOLOGY AND MEDICINE》IF=7.0 基于深度学习和光学流的眼震模式分类

点击👆蓝字或👇名片，关注"AI与医学"

0 前言

良性阵发性位置性眩晕 (BPPV) 是最常见的前庭周围性眩晕疾病，其特征是伴随位置性眼震的短暂反复眩晕。

临床上通常通过分析患者的红外眼震视频来识别眼震模式。现有方法无法有效识别不同的眼震模式，尤其是旋转性眼震。

0.1 论文信息

0.2 期刊信息

0.3 名词解释

眼震视频分类网络（NVCN）是一种专门设计用于识别和分类眼震模式的深度学习模型。眼震是指眼球的不自主运动，通常与某些疾病有关，比如良性阵发性位置性眩晕（BPPV）。

1 研究介绍

1.1 目的

为了提高对不同眼震模式的识别性能，本文提出了一种基于深度学习和光流的BPPV眼震模式自动识别方法，以辅助医生分析BPPV的类型。

1.2 方法

（1）提出了一种自适应方法，用于消除眼震视频中由于眼睑遮挡或眨眼引起的无效帧，并快速有效地分割视频帧中的虹膜和瞳孔区域。

（2）使用基于深度学习的光流方法提取眼震信息。

（3）提出了一个眼震视频分类网络 (NVCN)，用于对眼震模式进行分类。

（4）使用ConvNeXt提取眼动特征，并使用LSTM提取时间特征。

1.3 结果

在临床收集的红外眼震视频数据集上进行的实验表明：

（1）NVCN模型在眼震模式分类任务中达到了94.91%的准确率和93.70%的F1分数

（2）在旋转性眼震识别任务中达到了97.75%的准确率和97.48%的F1分数。

（3）提出的框架能够有效识别不同的眼震模式。

2 数据介绍

2.1 数据集来源

（1）来自广东省人民医院耳鼻喉科，包含BPPV临床诊断过程中采集的眼震视频。

（2）眼震视频记录了多种眼震模式，包括左侧跳跃、右侧跳跃、顺时针旋转向上、逆时针旋转向上等。

2.2 数据集构建

（1）从2016年1月至2018年12月的病历中创建了728个眼震视频的数据集。

（2）按眼震模式分类，并剔除了无效帧，最终数据集包含约191,000帧。

（3）通过随机过采样，生成了1060个样本的数据集V1，确保四类样本比例均等。

（4）为验证NVCN模型，创建了另一个包含旋转眼震和不包含旋转眼震的视频数据集V2，经过平衡处理后样本比例为1:1。

3 研究方法

眼震模式分类框架

3.1 数据集平衡

随机过采样：通过复制少数类别的数据来平衡数据，防止过拟合。
帧序列随机选择：从每个眼震视频中随机选择帧序列作为输入，减少数据重复。

3.2 数据预处理

通过自适应方法消除无效帧，减少眼睑和睫毛的干扰。
提取每隔一帧的图像，进行开运算和闭运算以消除光反射和遮挡。
计算并使用阈值对图像进行二值化，删除瞳孔区域比例低的帧。

3.3 虹膜分割

通过瞳孔定位分割虹膜区域，减少无用区域的干扰。
步骤包括找到瞳孔轮廓、计算瞳孔区域的极点、并在圆区域内进行裁剪。

3.4 光流提取

使用LiteFlowNet提取光流信息，将每个像素的色调用于表示移动方向，强度表示移动距离。

3.5 眼震视频分类网络（NVCN）

CNN：使用ConvNeXt网络提取眼球运动特征。
LSTM：整合连续图像中的时间特征。
全连接层和softmax：对特征向量进行分类以识别眼震视频类型。
ConvNeXt：结合标准ConvNet模块的准确性和Transformer的可扩展性，使用GeLU激活函数和LayerNorm归一化。

4 结果

4.1 NVCN模型性能

（1）NVCN模型在眼震模式分类任务中表现有效。

（2）使用ConvNeXt提取特征向量相较于ResNet101，能显著提升分类性能。

（3）在旋转眼震识别任务中，NVCN模型表现优异。

NVCN模型性能比较

4.2 消融实验

（1）消融实验表明每个模块都对最终分类效果有贡献。

（2）所有模块的存在都有助于提高分类精度和效果。

消融实验结果

4.3 分类表现

（1）NVCN模型在区分非旋转性和旋转眼震方面表现良好。

NVCN模型在眼震模式分类任务中的准确率为94.88%，F1分数为93.30%；

NVCN模型在眼震模式分类任务中的表现

在旋转眼震识别任务中的准确率为97.75%，F1分数为97.48%。

NVCN模型在旋转眼震识别任务中的表现

（2）对于水平眼震分类效果良好，但对CCTU和CTU眼震的精确度和召回率较低，可能由于旋转眼震数据不足。

4.4 虹膜分割方法比较

（1）自适应虹膜粗分割方法和基于迁移学习的虹膜分割方法在分类效果上相似。

（2）自适应虹膜粗分割方法在处理速度上明显更快，每个视频分割仅需1.17秒，总耗时851.76秒。

（3）迁移学习方法处理同一数据集V1总耗时53,872.93秒，每个视频约74秒。

不同虹膜分割方法的比较

5 学习心得

基于深度学习的眼震分类框架仅需分析患者眼部的红外视频数据，对设备要求较低，可用于大多数眼震的临床诊断。
基于眼震视频的自适应无效帧去除方法，可有效计算眼震视频的瞳孔灰度值，并在无需手动设定阈值的情况下去除无效帧。
眼震视频分类网络 (NVCN)，由CNN模型和LSTM模型组成，用于有效地分类眼震模式。

引用

[1] Kong S, Huang Z, Deng W, Zhan Y, Lv J, Cui Y. Nystagmus patterns classification framework based on deep learning and optical flow. Comput Biol Med. 2023 Feb;153:106473. doi: 10.1016/j.compbiomed.2022.106473IF: 7.0 Q1 . Epub 2022 Dec 29. PMID: 36621190.

感谢您的阅读，如果您对这项研究感兴趣或想了解更多关于AI在医学中的应用，请继续关注我们，我们会定期分享最新的科研成果和健康资讯。别忘了点赞和转发哦！👍🔄

快来看，大壮卖艺，提供医工交叉科研服务