低功耗网络传输环境下可穿戴用户主观视角行为识别方法研究

The ever increasing needs of activity recognition from egocentric perspective video based on wearable device has made the low power consumption and complexity design a challenging issue. To conquer this issue,this foundation proposes to establish a subjective of behavior recognition and combining with the characteristics of low power method. We mainly focus on the following tasks: (1) We propose an efficient and compact image feature evolutionary model with Convolutional Neural Network (CNN), which can ensure the robustness and integrity of image features and expression the features of the background. (2) We study the combination the motion information and the background information to get the activity recognition result. This research is of great benefit to making use of the egocentric perspective video resources and combine the motion information with the background information, and the research make it reliable to monitor the human’s activities by wearable equipment.

随着可穿戴用户主观视角行为识别需求的不断提高，如何在保证行为识别准确度的前提下降低设备的设计复杂度和功耗已成为学术界面临的重要问题之一。针对该问题，本课题建立一种主观视角行为特征识别方法与无线网络低功耗传输方法相结合的闭环研究模式，实现低功耗网络传输环境下主观视角行为的远程识别与监控。具体研究内容包括：（1）研究高效紧凑的卷积神经网络算法，对主观视角视频图像环境特征进行提取和表达；（2）研究主观视角视频图像与惯性传感器数据多模态信息融合，实现行为特征的表达与识别。上述问题的解决将环境信息与运动信息得到有效结合及利用，在提高主观视角行为识别准确度的前提下大幅减少存储空间与设备功耗，实现可穿戴用户行为监控的智能化分析与决策。

本课题针对低功耗网络传输环境下可穿戴用户主观视角行为识别方法展开研究。研究内容包括以下两个主要部分：1）图像场景信息提取与表达：研究了AlphaMEX网络模块及高效紧凑的卷积神经网络算法，构建了MAP多激活值池化卷积神经网络及可变收缩率瓶颈模块架构，在提高分类准确度的前提下对网络结构进行了优化，最大限度压缩网络结构。AlphaMEX结构在标准图像识别数据库测试中，相比顶尖卷积神经网络ResNet架构能够有效提升准确率5%以上；可变收缩率瓶颈模块在使用少量参数，同等计算量条件下，全面降低了ImageNet数据集top-1和top-5错误率达到0.5%。相比于CondenseNet (G=C=4)网络结构，课题组提出的紧凑型网络仅使用2/3的参数量和较少的计算量，便能够达到相同效果。紧凑型网络模块的提出减少了网络计算量和存储空间占用，使之更好的应用于可穿戴设备。2）多模态信息融合：研究了主观视角视频图像与惯性传感器数据多模态信息融合方法，提出了基于多模态D-S证据推理的闭环数据融合策略，一方面建立图像传感器图像信息、惯性传感器动作信息与行为之间的融合关系；另一方面构建闭环反馈系统，通过可穿戴设备多模态自适应控制，降低设备功耗，提高识别准确度。通过建立多模态信息融合闭环模型，将可穿戴设备传感器获取的环境信息和动作信息进行融合，实现了行为的准确判别及设备端传感器频率自适应调节，在提高行为识别准确性的基础上降低设备功耗。.通过以上研究，突破了卷积神经网络结构压缩、AlphaMEX卷积神经网络模块、卷积神经网络和SIFT的融合主观视角导航定位、MAP多激活值池化网络模块、基于可变收缩率瓶颈结构的RSNet网络结构搭建、自适应性可穿戴设备主观视角图像采集方法等关键技术。课题成果将环境信息与运动信息高效融合，在提高主观视角行为识别准确度的前提下大幅减少存储空间与设备功耗，实现了可穿戴用户行为监控的智能化分析与决策。