面向视频大数据检索的哈希方法研究

Recent years have witnessed the explosive growth of the video data, containing abundant valuable information that needs fully exploiting. Developing fast video retrieval techniques becomes the key to the efficient video mining and analysis. The literature has proved that the hash based nearest neighbor search, largely reducing the memory and time consumption, plays a quite important role in large-scale visual (especially image) search systems. However, due to the spatial-temporal and semantic complexity of the temporal data like video, there.are rare sequence hashing methods that systematically and efficiently handle large-scale video retrieval. To address the above issues, this project will comprehensively study the hash-based video indexing techniques from the theoretical, algorithmic and systematic views, aiming to solve the fast accurate retrieval of the sequence data like video. Specifically, for the problems of compact representation, efficient indexing, and precise ranking in video retrieval, the project will concentrate on the spatial-temporal distribution sensitive representation and its temporal consistent hashing, multiple complementary hash table indexing and its distributed learning algorithm, multi-level precise ranking and its merging strategy etc., and finally improve the efficiency, robustness and precision of the large-scale video retrieval. Besides, targeting the practical requirements in many areas like public safety, the project will build large-scale video retrieval system that integrates and tests the.proposed algorithms, and further drive the quick development of the research and applications of the big visual data retrieval.

近年来视频数据呈现爆炸式增长，其中蕴含的丰富价值亟需挖掘利用。研究高效的视频检索方法是解决视频大数据高效挖掘分析的关键。基于局部敏感哈希的最近邻搜索方法能够显著降低存储、提高搜索效率，在图像等大规模视觉数据检索系统中发挥着重要作用。然而，针对视频等时空-语义耦合数据，目前还缺乏系统、有效的时序相关的哈希方法。本项目拟从理论、算法和系统等方面深入研究视频大数据的哈希索引方法，旨在解决视频等视觉大数据的快速准确检索。针对视频大数据的紧致表达、高效索引和精准排序等科学问题，项目将分别研究时空分布敏感的高效紧致表达及时序一致性哈希编码、多哈希表互补增强策略及分布式学习算法、多哈希表多层次精准排序及融合策略等，最终实现高效、鲁棒、准确的视频大数据检索。本项目还将结合公共安全等领域对视频检索的需求，构建视频大数据哈希检索系统，集成和验证项目研究成果，推动视频等视觉大数据信息检索研究和应用的发展。

建立高效索引并实现快速检索是解决视频大数据深度挖掘和分析的关键，成为视频大数据领域的研究热点。本项目面向视频大数据检索开展高效哈希方法研究，从视频大数据的紧致表达、高效索引、精准排序和鲁棒学习四个方面开展工作。提出了基于子空间的视频数据时序一致性表征、基于三维卷积的图注意力机制的时空特征学习等方法，构建视频时空高效紧致表征；提出了多哈希表索引互补集成学习算法，探索了基于结构内容感知的互补特征学习方法；提出了多哈希表分布式学习方法，探索了视频特征学习模型的量化加速技术，实现紧致哈希编码的有效扩展和新数据的快速编码；提出了小样本表征学习方法和对抗鲁棒性学习方法，提高视频特征学习的准确性和稳定性。在IEEE TNNLS、IEEE TMM、IEEE CVPR、IJCAI等高水平会议和期刊上发表论文37篇，申请发明专利及软件著作6项；提出真实场景下的高质量X光数据集以及多种计算机视觉场景下的真实噪音数据集，并在ChinaMM、PRCV、IJCAI、ACM MM、AAAI、CVPR等国内外顶级会议组织专题论坛6次。同启智社区、科大讯飞、商汤科技等开展产学研合作，促进视频大数据技术在智能医疗、社会安全、网络文化、智慧城市等方面落地，服务国民经济主战场。项目成果获中国仿真学会科学技术一等奖（项目负责人排名第1）、陕西省自然科学一等奖（项目负责人排名第2）、北京市科技新星计划等。指导毕业的3名博士生进入北京高校和科研院所继续从事科研工作，指导学生获2021年北京地区广受关注学术论文、低功耗视觉挑战赛全球冠军、北京图象图形学学会优秀博士论文等奖励和荣誉。