视频大数据全效处理体系关键技术及应用研究

This research intends to establish a video-adaptive holons representation framework, namely V-ADORE. This framework enhances the training efficiency and the ultimate performance of the network via data-driven and prior knowledge based on an information reinforcement policy; builds a weakly-supervised analysis model to conduct consistency constraints for video content and semantic labels; builds a video description model based on the integrated attention mechanism for video applications, the model can improve the description accuracy via adaptive weights of different frames, and designs the stable transfer mechanism of the information to achieve information sharing between different video tasks effectively. This research intends to concentrate on the key contents such as “information reinforcement policy”, “weakly-supervised analysis network”, “video description and annotation models”, “information transfer and sharing mechanism” etc. This research mainly focuses on flexible and reliable models and algorithms of the video-oriented applications. From the perspective of effectiveness, this research overcomes the limitations such as lack of training labels, poor transplant universality, and low processing efficiency of traditional video applications, and provides the balance validation of video-adaptive in complex environment on computation complexity and accuracy.

本课题拟建立一个视频大数据全效处理体系框架，我们将其命名为V-ADORE(Video-Adaptive Holons Representation)。该框架通过信息增强策略，以融合数据驱动和先验指导的方式提升网络训练效率与最终性能；建立弱监督分析模型，对视频内容与标签语义进行一致性约束，缓解标签噪声问题；建立融合注意力机制的视频描述模型，提取视频各帧图像关键信息，提高自然语言描述准确性；设计稳定的信息迁移规则，建立视频内容与描述句子语义间的联系，实现不同视频任务间信息的高效共享。课题拟围绕“信息增强策略”、“弱监督分析模型”、“视频描述与标注应用模型”、“视频任务迁移及共享机制”等核心内容，主要研究灵活可靠的视频应用模型与算法，从实效的角度克服传统视频应用训练标签缺失、移植普适性差、处理实时性低的问题，为视频大数据提供在复杂环境下计算复杂度和精准度的平衡性验证。

本项目建立了一个视频大数据全效处理体系框架，其被命名为V-ADORE(Video-Adaptive Holons Representation)。该框架通过信息增强策略，以融合数据驱动和先验指导的方式提升网络训练效率与最终性能；建立弱监督分析模型，对视频内容与标签语义进行一致性约束，缓解标签噪声问题；建立融合注意力机制的视频描述模型，提取视频各帧图像关键信息，提高自然语言描述准确性；设计稳定的信息迁移规则，建立视频内容与描述句子语义间的联系，实现不同视频任务间信息的高效共享。.通过对视频大数据全效处理技术的研究，深入挖掘和探索视频应用的高效能全效表达，建立了一套以融合数据驱动策略与先验知识指导为信息增强策略的弱监督学习框架，设计了一个基于深度增强学习的视频描述与标注应用模型。弥补了传统视频应用训练标签缺失、移植普适性差、处理实时性低的缺陷，解决了视频大数据来源分散、结构缺失、信息冗余的问题，为视频大数据全效处理体系及应用研究提供全新理论与可行实践基础。.对于复杂环境不确定性的挖掘（数据驱动），建立视频大数据在多维度上的隐含信息挖掘机制。研究搭建将先验指导与数据驱动有机融合于网络中的信息增强策略。提出了一种用于单图像去雨的非局部增强编码器解码器网络，受自适应非局部均值滤波器的启发，将非局部操作纳入该网络端到端网络框架的设计中。.对于挖掘视频大数据的深层语义特征，研究视频大数据的弱监督分析模型及任务迁移规则，研究适用于视频大数据的弱监督学习模型，为视频大数据的标签增强及关键信息获取提供支撑。提出了一种基于策略的多区域注意力模型用于自动视频描述。通过压缩向量来表示视频的动态信息，最后，通过长短时记忆网络的变体接受这个压缩向量并输出一个可变长度的句子。在多个领域权威数据集上均取得优异表现。.对待检测样本缺少标签和清晰数据的视频数据构建自动标注与表达共享机制的研究。提出了一个称为紧密无监督网络的紧凑型网络来解决图像分类问题。与通常的卷积神经网络学习方法相比，该网络的学习是通过K-means方法在不同的图像块上实现的。适用于几乎没有任何标记的训练图像上，大大降低了计算成本，同时保持了高辨别力，此方法在稀疏标签和模糊样本图像感知问题上具有很大意义。