多源传感器环境下基于异构特征信息融合的行为识别

In multi-sensors network environment, features of object are extracted and fused by making use of complementary advantages of heterogeneous data, and then to be used to identify object action and understand action semantics. It is an important direction of intelligent development of Internet of Things. However, existing methods of heterogeneous data fusion and object collaborative understanding have poor adaptability. Especially in complex scenes, discrimination of object action has lower accuracy. This study intends to integrate sensor network, computer vision, data fusion, etc., for researching on heterogeneous feature extraction and fusion recognition. First, the study will establish cooperative object projection model with aid of multi view sensors, does research on method of object depth geometry representation; Secondly, based on heteromorphy features of visual image, infrared heat source and spatial depth, the study will propose adaptive feature extraction and fusion framework for sensor collaboration networks; Once again, the study will analyze dependent constraints of local features and mapping structure of global features, design feature saliency of heterogeneous feature comparison, object space center position, multi-source object distribution and so on, construct adaptive model of feature synergy saliency; Finally, the study will optimize computing model of convolutional neural network, improve multi-source heterogeneous nonlinear fusion feature recognition performance in depth learning framework. Research results are of great significance to enrich and promote development of basic theory of action recognition, and provide solutions and scientific basis for application of action recognition in sensor network environment.

多源传感器环境下利用异构数据互补优点，提取并融合目标特征，从而识别目标行为、理解目标行为语义，是当前物联网智能化发展的重要方向。但现有异构数据融合与目标协同理解方法适应性较差，尤其在复杂场景中对目标行为的判别精准度较低。本项目拟集成传感器协同网络、计算机视觉、数据融合等理论方法，开展目标异构特征提取及融合识别研究。建立多视角传感器协同目标投影模型，研究目标深度几何表示方法；综合视觉图像、红外热源及空间深度等异态特征，提出适用于传感器协同网络的自适应特征提取融合框架；分析局部特征关联约束及全局特征映射结构，设计异构特征比对、目标空间中心位置、多源目标分布等特征显著度，构建特征协同显著度自适应模型；优化卷积神经网络计算模型，提高深度学习框架的多源异构非线性融合特征识别性能。研究成果对丰富和促进行为识别基础理论发展具有重要意义，为传感器网络环境下的行为识别技术领域应用提供解决方案和科学依据。

本项目在物联网传感器采集获取到海量多源异构数据基础上，基于计算机视觉技术检测提取出感兴趣目标，把有效信息与复杂背景分割开，分析识别目标行为动作，并在上下文语境指导下，理解目标行为语义。项目从目标建议框的重新优化及多尺度特征融合方式的改进角度，对基于YOLO V3算法进行了优化，采用K-Means算法对目标框尺寸进行重新聚类，并在算法训练过程中更改目标建议框的尺寸；在特征提取和多尺度特征融合方式上，引入了一种增强的特征金字塔结构，提升算法在特征提取以及特征融合上的性能。项目研究了基于时空图卷积网络SENet和GhostNet的YOLO网络，通过SE注意力机制让模型可以更加关注信息量最大的通道特征，而抑制那些不重要的通道特征。GhostNet基于一组原始的特征图，应用一系列线性变换，以很小的计算代价生成从原始特征发掘所需信息的特征图。在CPM基础上通过增加一个预测网络分支进行关节亲和域预测，项目改进了OpenPose网络模型，对全局上下文信息进行编码，解析使用贪婪的自上而下方法，关节热度图和关节亲和域通过双阶段预测所得，以二维向量域子集作为关节亲和域，通过阈值设定确定人体关节位置。提出了一套基于目标检测、人体姿态估计以及行为分类的视频监控处理技术，其中包括基于改进的YOLO V3-PS4算法实现目标的定位，基于OpenPose的人体骨架信息提取，基于改进的AT-STGCN实现动作分类。提出了将CNN网络和LSTM网络结合在一个统一的框架中。其中CNN网络负责特征提取，通过三层网络叠加，将原始数据中的特征抽象出来并映射到特征图中；LSTM采用双向循环卷积网络的架构，对特征图在时间轴前后的依赖关系进行建模，并实现多信道的特征融合；最后将特征送入Softmax分类器进行分类。本项目针对复杂场景中目标行为理解问题，开展了多源异构传感器环境下目标特征提取及融合识别研究，提出了适用于传感器协同网络的自适应特征提取融合框架，丰富和促进行为识别基础理论的发展，进一步拓宽了基于传感器网络的行为识别技术应用领域。