基于深度视频分析的面瘫识别及自动分级评估算法研究

This project plans to carry out research on automatic recognition and grade estimation of facial paralysis based on deep video analysis by applying computer vision technology to the automatic diagnosis of facial paralysis. For the complicated facial movement characteristics in the diagnosed videos of the patients with facial paralysis, we design deep nonlinear network models to learn the effective facial features; and combine the visual and deep videos to analyze the details of facial movements more comprehensively. This project mainly explores the methods and strategies for building a complete diagnosing video library of facial paralysis. A network model with multiple convolution layers is designed to accurately divide a complete diagnosing video of facial paralysis into the sub-videos of different facial movements. We need to analyze the differences between the facial movements of facial paralysis patients and normal for the identification of facial paralysis. The features of temporal facial deformation and texture variation are extracted, and fused for grade estimation of facial paralysis in the general situation. Furthermore, in the visual and deep videos, we make a deep analysis of the subtle facial changes of the patients with mild facial paralysis or being treated, and put forward a two-channel time-domain convolution neural network model, to Perform a fine-grained grade estimation by fusing multi-source videos. The expected results would lay the foundations for the diagnosis and medical intellectualization of facial paralysis and other diseases.

本项目面向利用计算机视觉技术进行面瘫自动诊断的应用需求，展开基于深度视频分析的面瘫自动识别与分级评估的相关研究。针对面瘫患者诊断视频中面部运动特征的复杂性，引入深度学习的理论和方法，设计能够学习更本质面部特征的深层非线性网络结构；结合可见光和深度视频数据更全面地分析面部运动细节特征。项目主要探索建立较完备的面瘫诊断视频库的方法和策略；研究具有多重卷积结构的网络模型，以将面瘫诊断的完整视频准确划分为不同动作的子视频；深入分析患者与正常人面部运动之间的差异，完成真假面瘫识别；提取面部运动过程中的时序形变特征和纹理变化特征，并进行特征融合，以解决一般情况下面瘫分级评估问题；深入分析轻度面瘫患者以及患者在恢复过程中面部运动在可见光视频和深度视频中所体现出的细微变化特征，研究融合多源视频信息的双通道时域卷积神经网络模型对面瘫等级进行细粒度评估。项目研究成果为面瘫及其他病症的诊断和医疗智能化奠定基础。

本项目面向利用计算机视觉技术进行面瘫自动诊断的应用需求，展开基于深度视频分析的面瘫自动识别与分级评估的相关研究。针对面瘫患者诊断视频中面部运动特征的复杂性，引入深度学习的理论和方法，设计能够学习更本质面部特征的深层非线性网络结构；结合可见光和深度视频数据更全面地分析面部运动细节特征。.项目组按研究计划，完成以下工作：.①与陕西省中医医院、上海交通大学附属瑞金医院和陕西省人民医院合作，制定数据采集的标准和规范，持续采集面瘫患者面部诊断动作的图像和视频数据，最终建立面瘫分级评估的视频数据库。共采集了146位患者的数据，总计1471个视频片段，并都具有相应的标记信息。.②利用面部关键点检测算法对面瘫视频数据进行归一化处理；.③提出并完成了“基于表情迁移的面瘫数据扩充方法”、“基于差异网络模型的真假面瘫识别算法”、“基于静态和动态特征相互融合的面瘫分级评估算法”、“基于多尺度加权光流模型的面瘫自动评估方法”、“基于深度差异网络模型的面瘫分级评估方法”、“基于自监督面部非对称特征学习的面瘫分级评估方法”、“基于面部运动特征增强和身份免疫的面瘫评估方法”。.项目组工作基本按照项目初始计划顺利完整相关任务，提出了多种模型改进和新方法，面瘫识别准确率达到了89.67%，面瘫分级评估准确率达到0.7042%；病情逐步加深了研究深度，探索了更多的未知规律。项目研究共发表相关论文共计27篇，其中包括：SCI期刊17篇，CCF确认的A类会议9篇。申请发明专利2项。围绕本项目相关研究工作，目前参与人员中有2位教师由讲师升任为副教授；2名博士生研究生毕业，8名硕士研究生毕业，2名在读研究生继续相关科研工作。.项目研究相关技术为基于计算机视觉的面瘫疾病辅助诊断技术研究提供先进的理论、方法和技术支持，突破传统的人工评估的局限性和传统自动评估方法的关键技术难题。研究成果为面瘫及其他病症的诊断和医疗智能化奠定基础。