基于三维视频多视觉任务协同分析研究

3D data provides a reliable means to support synergetic analysis for multi-visual tasks in complex scenes. The associated high volume data analysis demands high performance and multi-tasking concurrency. The project goal is to find a fast and general descriptor which can describe different visual tasks simultaneously and compresses redundant data. By integrating biological visual perception mechanisms, we establish an intelligent and synergetic feature learning model for extracting motion and geometry information from 3D videos, resulting in an effective method for solving the problem of visual synergetic analysis. The project will focus on the following subjects: (1) 3D video mesh motion scale invariant feature description for multi-visual tasks; (2) a hierarchical synergetic feature learning model for multi-visual tasks in complex scenes..The innovative research work described above, mainly concerns the process of establishing a synergetic feature description and learning model and then building a presentation platform for visual synergetic analysis, which will verify the validity of multi-task visual synergetic analysis in complex scenes. The expected results of this research could provide important guidance for the further development of the intelligent information push toward personalization of control services in the smart city.

三维视频数据立体化、动态化、精准化的特点，为研究并解决复杂场景下多视觉任务的协同分析问题提供了可靠的数据支持。面对大容量数据分析中，对高效能、多任务并发的处理需求，迫切需要为其寻找到一种能同时描述不同视觉任务的快速通用化特征，实现数据去冗余。结合生物视觉感知机理，针对三维视频中的运动和几何信息建立智能化的协同特征学习模型，成为解决视觉协同分析问题的有效途径。本项目将重点研究：（1）三维视频中面向多视觉任务的网格化移动尺度不变性特征描述方法；（2）复杂场景下多视觉任务的层次化协同特征学习模型的建立。通过以上创新性研究工作，拟在智能场景的协同特征描述与学习模型建立方面实现重要突破，搭建视觉协同分析演示平台，验证复杂场景下多视觉任务协同分析的有效性。预期成果可为未来智慧城市的智能信息推送、个性化控制服务等方面的进一步研究和发展提供有价值的研究结果和理论技术指导。

课题组根据申请书的计划，结合三维视频多视觉任务协同分析的发展形势，在充分调研的基础上，对三维视频数据的特征描述和特征学习方法进行相关性分析，总结归纳出多视觉任务协同分析所面临的主要问题：.1. 数据海量。随着通信带宽的不断增长和传输速度的持续提升，使得海量视频数据获取的门槛迅速降低。面对海量数据的高昂训练成本，使其对持续数据流输入的真实识别任务性能欠佳。.2. 场景复杂。光照、姿态、遮挡、动态背景等复杂的场景变化使得即使是同一目标所获取的视频数据也存在巨大差异。.3. 运动精细。包括手势和微表情等，对包含情感分析、行为理解等高层视觉信息分析具有至关重要的作用。. 课题组结合生物视觉感知机理，研究三维视频中的运动和几何信息建立智能化协同特征学习模型，提出了面向多视觉任务的网格化移动尺度不变性特征和时空局部二值编码特征，以推进跨媒体多源感知数据在不同目标多任务场景下的智能感知应用，作为多任务协同分析的基础。在研究深度学习网络和协同关联模型的基础上，定义了复杂场景下多视觉任务协同特征学习模型，以及基于目标行为触发的，融合生物视觉多层感知机理的层次化关联学习模型；针对三维视频数据的特点，创新性地将局部特征描述和区域稀疏回归模型建立关联机制，既保留了数据中的本征判别信息，又通过内嵌描述子估计低维回归矩阵，可有效地克服数据中的遮挡、串扰和噪声数据。通过特征学习和识别结果的逆向解析和任务分解，提出并实现了一种特征自适应的反馈评估机制，使感知识别结果不断自我进化，建立智能多任务协同的自适应识别框架。课题组还在所在实验室内完成了多个三维视频多视觉任务协同分析的原型系统。. 课题组在研究过程中出版了一部专著《视听媒体感知与识别》，发表了多篇学术论文，包括SCI论文9篇，EI论文8篇，申请发明专利6项，授权1项，申请软件著作权2项，培养博士生2人，硕士生9人。. 通过本课题的研究，为多视觉任务协同分析的实现提供了理论指导和应用参考。