面向流式大数据检索的增量哈希学习方法研究

For large-scale dynamic streaming data, the existing hashing methods cannot update the model according to the change of data, and have large computation and storage requirements, which make them cannot meet the practical requirements. This project aims at studying the incremental hashing theory and methods based on the infiniteness, timeliness and time-variation characteristics of massive streaming data for the efficient indexing and quick query of steaming big data, to improve the performance of hash nearest neighbor search in terms of accuracy and efficiency. The main research contents include: (1) building deep online hash model through studying the evolvement rules of streaming data and establishing online update rules of hash functions, to improve the efficiency of hashing methods; (2) constructing multiple hash tables through studying correlations between hash tables and establishing self-adaptive updating multiple hash tables, to improve the retrieval accuracy of online hash model; (3) learning incremental hash codes through studying complementary criterion of hash codes and designing incremental extension method, to enhance the scalability of hash learning system. The research findings will enrich and improve the basic theory and methods of hashing, and will provide technical support for hash nearest neighbor search in the applications of multimedia information retrieval, big data mining, public opinion analysis based on social network analysis, etc.

针对海量动态增长的流式数据，现有哈希学习方法无法随数据变化自适应更新学习模型，并且需要消耗大量的存储和计算资源，致使检索的效率和精度难以满足实际需求。本项目面向流式大数据的高效索引和快速查询，基于流式数据的无限性、时效性和时变性等特点，研究增量哈希学习理论和方法，从精度和效率两个方面提高哈希最近邻搜索的性能。主要研究：（1）深度在线哈希模型，研究流式数据演化规律，建立哈希函数在线更新规则，提高哈希方法的学习效率；（2）自适应多哈希表构造方法，研究多哈希表相关关系，建立自适应更新的多哈希表框架，提高在线哈希模型的检索精度；（3）增量式哈希码扩展方法，研究哈希码互补准则，设计哈希码扩展方法，增强哈希学习模型的可扩展性。研究成果将丰富和完善哈希学习的基础理论和方法，同时为哈希学习技术在多媒体信息检索、大数据挖掘认知和社交网络舆情分析等领域的应用提供技术支撑。

哈希最近邻搜索方法是大数据智能分析与理解的基础，具有重要的理论意义和应用价值。针对海量动态增长的流式数据，现有哈希学习方法无法随数据变化自适应更新学习模型，并且需要消耗大量的存储和计算资源，致使检索的效率和精度难以满足实际需求。本项目面向流式大数据的高效索引和快速查询，研究增量哈希学习方法，丰富和完善哈希学习的基础理论，探索基于哈希的快速大规模视觉计算解决方案，继而提高海量数据处理与分析的整体性能。本项目在以下几个方面取得重要进展和成果：（1）研究了哈希模型的增量式更新机制，建立了基于矩阵分解的增量式哈希模型更新规则，提出了能够适应流式数据动态变化的在线哈希学习模型，有效解决了流式大数据处理中哈希模型的动态更新问题；（2）研究了哈希编码的增量式更新机制，基于基向量及哈希码内积逼近数据特征的近似计算思想，建立了哈希编码的增量式更新规则，提出了在线哈希码更新方法，有效解决了流式大数据处理中哈希编码的动态更新问题；（3）针对现有哈希学习方法中存在的鲁棒性低、辨别力差、检索精度低等问题，研究了哈希方法的检索性能提升策略，有效提升了哈希方法的检索精度和学习效率，丰富和完善了哈希学习的基础理论及方法；（4）针对现有大规模视觉计算任务中存在的占用存储空间大、计算效率低等问题，基于哈希学习方法设计快速轻量级大规模视觉计算方法，有效提升了大规模视觉计算任务的计算效率，促进了哈希学习技术在人脸识别、安全监控和遥感影像处理等领域的应用。综上所述，项目取得的成果丰富和完善了哈希学习理论，提高了哈希方法的性能，促进了哈希技术在大规模数据处理与分析中的应用。