基于异构统一化的可视媒体鲁棒哈希精度问题研究

Robust hashing can achieve higher efficiency in near-duplicate content retrieval of visual media such as image and video. However, under the situation of the complex network environment and various editing ways, the accuracy of robust hashing is still difficult to satisfy practical criteria. With consideration of the essential reasons that influence the accuracy of robust hashing in the fields of feature generation and hash construction, this proposal plans to incorporate some related tools such as manifold model, tensor and machine learning to handle the three key problems from the perspective of heterogeneous unification: (1) How to construct a unified representation framework that represents the visual media heterogeneous features. Based on the proposed representation we can explore and use the consensus and unity hiding in the heterogeneous features to improve the accuracy of robust hashing. (2) How to explore the auxiliary mechanism of social attributes. That is, how to transfer user's social attributes into visual media and thus achieve a unification of them for improvement in accuracy of robust hashing. (3) How to build a hash coding model for controlling the information loss. We can implement a heterogeneous unity coding according to the different dimensions of features, and then reduce the quantitative loss to improve detection accuracy of hashing. The proposed solutions in this proposal will provide a theoretical basis and technological methodology for the visual media content searching, recommendation, harmful content filtering and detection. Meanwhile, the idea of the heterogeneous unification is a basically general issue in computer vision. Therefore, this proposal can provide a new solution for the multiple features-based problems in computer vision.

鲁棒哈希在图像/视频等可视媒体相似内容检索效率方面具有优势，但是，在当前复杂网络环境和多种编辑手段下，鲁棒哈希检测精度仍难以满足实际需要。本项目针对特征生成和哈希构造两个环节中影响鲁棒哈希精度的本质原因，以异构统一化为切入点，利用流形建模、张量理论和机器学习等工具，探索提升鲁棒哈希检测精度的三个关键问题：（1）如何建立异构特征统一表达框架，挖掘统一信息来提升鲁棒哈希检测精度；（2）如何探明社交属性的辅助机制，把用户社交属性转移并与内容特征统一表达，进而提升鲁棒哈希检测精度；（3）如何建立哈希编码信息损失调控模型，根据特征不同维度功能异构性实现量化编码，减小量化损失，提升鲁棒哈希检测精度。本项目的研究可为互联网可视媒体内容搜索和推荐、有害内容过滤和检测等应用提供理论和智力支撑。同时，异构统一化的思想在计算机视觉领域具有一定的共性，本项目的研究可望为多特征分析的计算机视觉问题提供一个新的思路。

针对特征生成和哈希构造两个环节中影响鲁棒哈希精度的本质原因，本项目从特征表示和融合、社交属性辅助、哈希学习方法等方面展开了研究，取得了以下研究成果：.（1）在异构特征融合方面，项目组研究了可视媒体异构特征挖掘和融合方法，通过对异构特征的一致性和互补性分析进行关联性建模，利用张量分解、图论、多视角学习等理论和方法进行特征选择和融合，提出了一系列特征挖掘和融合方法，并应用于可视媒体检索中。.（2）在社交属性对可视媒体检索、推荐等应用的辅助作用的研究方面，项目组研究了社交网络的信息扩散，基于社交属性的可视媒体检索、图像质量评价等相关模型和方法，并把相关模型应用于可视媒体检索和推荐中，取得了较好的效果。.（3）在可视媒体鲁棒哈希学习方法方面，分别在单模态和跨模态领域，提出了一系列哈希学习方法和模型。在单模态领域，提出了鲁棒线性哈希学习算法，增强了线性哈希学习模型稳定性，提出了线性哈希学习模型性能优化提升框架，显著提升了基于哈希学习检索模型的精度性能；在跨模态领域，提出了模态结构保持的哈希学习算法和快速跨模态哈希学习算法，有效提升了可视媒体跨模态检索的精度和效率。.（4）针对海量视频检索相关问题，项目组研究了基于哈希学习的视频检索方法和视频内容理解模型。提出了基于多视角学习的大规模视频哈希检索方法；针对社交媒体中的微视频检索问题，提出了基于多模态融合的微视频场景检索方法；此外，针对监控视频领域的检索需求，提出了监控视频异常内容检测方法，增强了对监控视频内容的理解能力。.项目按预定计划进行，实现了预定研究目标，依托本项目，在国内外重要学术刊物以及高水平国内外会议上共发表学术论文40篇（其中CCF A类期刊会议论文9篇，IEEE/ACM Trans类期刊论文共计11篇，中文期刊论文6篇）；获得科研奖励3项；授权发明专利2项，实质审查阶段专利5项。