模拟视觉系统信息处理机制的生物启发式图像哈希研究

Robust hash function (RHF) is a one-way mapping from media data, such as digital image, to its content digest (i.e., hash), whose major properties are robust, discriminative and compact. As it can represent perceptual contents in a highly succinct manner, RHF has recently evolved as a powerful tool for media authentication, indexing and broadcast monitoring. In particular, it can tackle the challenges of copyright management posed by user-generated-content networks. The goal of RHF is to simulate the capabilities of human perceptual system in summarizing audiovisual contents. To attain this goal, we propose to develop RHFs by simulating the biological characteristics of the basic components in human visual system. The research issues in this project focus on feature extraction and mapping, which are two vital problems in RHF. In order to endow RHF with the capability of feature learning, we will devise computational models to simulate the sparse and selective properties of visual cortex, as well as the hierarchical structure of human visual system. In particular, all the models will follow the sparse coding strategy adopted by visual cortex in representing visual signals. The feature extraction mechanisms of visual cortex will be simulated by solving those computational models. Finally, we will develop feature mapping algorithms to compress the features learned by computational models to succinct hash, aiming to preserve the merits of features while achieving a high degree of compactness.

鲁棒哈希函数是一类从图像等媒体信息到其内容摘要的单向映射，具有鲁棒性、区分性和摘要性等特点。由于能高度简洁地描述媒体感知内容，鲁棒哈希函数近年已成为解决媒体内容认证、搜索和广播监控等问题的支撑技术，可破解由开放式媒体发布环境所引发的版权管理难题。鲁棒哈希函数的目标是模拟感知系统对视听信息的摘要能力。为此，本项目通过对视觉系统中基本感知单元的生物学特性进行计算模拟来研究图像鲁棒哈希函数的构造问题，研究内容围绕特征提取和特征映射两个核心问题展开。为使鲁棒哈希函数具备类似于视觉系统的自主特征学习能力，项目以视神经元所采取的稀疏编码策略为主线，分别构建模拟其稀疏性、选择性、互异性和层次化结构的计算模型，通过求解模型模拟视神经元从外界刺激信号中抽取视觉特征的机制。项目同时研究适用于所建模型的特征映射算法，将模型生成的特征映射为简短哈希，在实现摘要化的同时保持特征原有的性能优势。

本项目以数据驱动方法为主要工具，从模拟视觉系统信息处理机制的角度研究鲁棒哈希函数，涵盖算法设计及理论分析。项目的主要研究内容如下：1）基于神经网络的图像哈希函数：利用网络权重模拟视皮层细胞的感受野特性，提出基于哈希统计特性的内容识别性能优化算法。针对版权保护的安全性要求，提出基于神经网络结构随机化的密钥依赖哈希算法。同时，我们推导了随机哈希熵的上下限，证明了神经网络的层次化结构可以降低哈希内容泄露风险。2）基于层次化稀疏编码和抗失真字典学习的图像哈希函数：利用多层稀疏编码模拟视神经的层次化信息处理方式，利用邻近优先和互相关约束模拟视神经细胞的选择性机制。针对各种约束项设计了相应的字典学习和稀疏编码算法。为适应图像的强局部相关性，设计了基于组稀疏编码的图像哈希函数。3）基于时空神经网络的视频哈希函数：利用条件受限玻尔兹曼机实现视频时空特征联合提取，设计了针对时空特征的编码网络及哈希性能优化算法。4）模拟联想记忆机制的图像哈希函数：以Hopfield网络作为联想记忆的计算模型，借助网络的异步更新过程恢复在内容失真中受损的图像局部结构。5）基于概率生成模型的图像哈希函数及内容分析算法：利用专家乘积模型对像素块的概率密度函数进行建模，以专家函数中的滤波器模拟视神经的感受野特性，通过对概率模型的参数估计实现图像局部结构特征的学习。6）基于主体结构和显著特征分解的图像哈希函数：分别利用低秩和稀疏约束提取图像的稳定几何结构和感兴趣区域，通过对两种分量的融合提高哈希函数的鲁棒性和区分性。综上所述，本项目研究的意义如下：在算法设计方面，我们面向鲁棒哈希函数的特定需求设计了多种可模拟视觉系统特性的计算模型，解决了传统手工设计算法在鲁棒性和描述能力方面的局限性，所设计的哈希函数可用于解决内容分享网络的版权管理问题；在理论分析方面，本项目揭示了神经网络等深层模型在哈希计算中的安全性优势。