基于时空内部注意力和动作聚合双流网络模型的新生儿全身运动评估

newborn general movements assessment has good predictive value and clinical application value in early screening of neonatal cerebral palsy. Video-based human action recognition technology provides an effective solution for automatic quantitative analysis of newborn general movements assessment. This project studies several key scientific issues in spatio-temporal self-attention mechanism and action VLAD based two stream networks model for newborn general movements assessment: (1) Studying the spatio-temporal self-attention based fusion description for human behavior to solve long-term motion information extraction and action fusion expression inaccuracy; (2) Studying network feature learning model based on spatio-temporal information suppression, in order to reducing redundant features; (3) The problem of insufficient aggregation of network aggregation in the two stream network structure is studied. The action aggregation method based on the HOD-VLAD coding model is studied to improve the efficiency of network feature aggregation. The research of this subject provides a new solution for human behavior recognition, and provides technical support for automatic quantitative analysis and assist diagnosis based on artificial intelligence in newborn general movements assessment.

新生儿全身运动评估，在新生儿脑性瘫痪超早期筛查中具有良好的预测价值和临床应用价值。基于视频的人体行为识别技术为新生儿全身运动评估提供了自动定量分析的有效解决途径。本项目研究基于时空内部注意力机制和动作聚合双流网络模型的新生儿全身运动评估中的几个关键科学问题：（1）研究基于时空内部注意力机制的人体行为融合特征描述，解决长时运动信息捕获和动作特征表达不准确问题；（2）研究基于时空信息抑制的空间网络特征学习模型，减少冗余特征；（3）双流网络结构中网络信息聚合存在聚合不充分问题，研究基于高斯核分布直方图局部聚合编码模型的动作聚合方法，提升网络特征聚合有效性。本课题的研究为人体行为识别提供了新的解决思路，为基于人工智能新生儿全身运动评估的自动定量分析和辅助诊断提供技术支撑。

基于视频的人体行为评估和识别是新生儿全身运动评估提供了自动定量分析的有效解决途径也是本项目的研究核心，其中关键目标检测和分割是两个重要研究内容，准确的特征描述、空间特征优化、特征信息聚合对准确从每一帧图像中检测和分割核心对象进而分析其行为状态至关重要。项目组提出图像PCA抖动增强算法和透视变换增强算法保证多尺度、多视角变换状态下检测目标特征表达的一致性，有效提高小样本数据集目标检测的学习能力；提出锚定损失优化策略，约束网络损失优化方向，提高目标检测的准确性；引入注意力机制，构造轻量级特征模块和注意力感知模块大幅约减冗余参数，优化网络的实时检测效率；提出勒让德多项式驱动加权因子结合全局平均强度加权因子的双加权符号约束函数，提高灰度不均和对比度低的图像分割精度和鲁棒性；提出基于长度和距离正则化的水平集优化约束，结合卷积网络有效提高低质量图像端到端精确分割的学习性能。研究内容在一定程度上为目标检测和关键对象分割提供了新的学习算法思路，提高了检测和分割性能的稳定性、鲁棒性和准确性，为准确的行为动态估计和识别提供了基础。.通过基金委对本项目的资助，项目组共表论文8篇，其中SCI检索期刊论文3篇，EI检索国际会议论文4篇，中国高水平国际新刊1篇（已获得PubMed收录和检索，预计2023年可被SCI收录和检索），申请发明专利3项。支撑培养3名博士生和3名硕士生。