移动云计算环境下面向视觉搜索的紧凑型语义特征抽取算法

Mobile Visual Search has become one of the hot topics in mobile internet research. Through deeply analysizing the multimodal information, we can extract effective semantic features, and realize semantic search for visual objects. To better improve the semantic level of features and adapt with big data problems, we do research on the compact semantic feature extraction issue. We build multilevel visual semantic relationship graph, and mining visual phrases that is the higer semantic level representation than visual words, based on multimodal context information fusion. We further study the strategies to formalize compact visual phrases representation problem as sparse hasing encoding problem, and extract more scalable and discriminative low bit rate features. To overcome the limited computing resources and battery power, we propose a feature extraction strategy under mobile cloud computing environment. By proper distributing the computing task, the system combine both merits of mobile terminal and cloud server. Our project aims at solving the foundamental problem in new application via forefront technology. It will benefit the breakthrough on the main technical bottlenecks in mobile visual search, and have important practical significance and scientific values.

移动视觉搜索已经成为国内外移动互联网的研究热点。对移动智能终端所获取的异构媒体进行深层次分析，提取有效的语义特征，可以实现对视觉对象的语义搜索。为了更好地提取高层次语义特征和适应大数据问题，本课题研究视觉特征的紧凑型语义表示；在三维点云空间构建多层次视觉语义关系图，融合多模态上下文信息挖掘比视觉单词更高阶的视觉短语统计量，进而将视觉短语层面的紧凑表示形式化为稀疏哈希编码问题，产生更具可伸缩性和区分力的低比特特征。为了克服移动终端的计算资源和电池电量不足，本课题研究基于移动云计算模式的特征抽取方案。利用新计算模式的特点，对语义特征抽取任务合理分配计算负荷，充分发挥移动终端的便捷性和云端强大计算能力的优势，提高移动视觉搜索的性能。本课题面向移动视觉搜索新应用，在移动云计算前沿计算模式下，研究视觉特征紧凑型语义表示基础性问题，对于突破移动视觉搜索主要技术瓶颈，具有良好的科学意义和创新价值。

本项目提出在移动云计算环境下对异构媒体进行深层次分析，融合多模态信息实现数据的紧凑型特征表示。项目从特征的紧凑型哈希编码表示、基于深度学习的多模态特征信息融合与建模、移动云计算的传感网络协议等三方面进行研究，正式发表学术论文总计10篇，其中中国计算机学会（CCF）推荐的SCI期刊4篇，中文权威核心期刊1篇，学报级中文核心期刊3篇，EI检索国际学术会议2篇。在单模态特征的紧凑哈希编码方面，项目组主要提出了基于Markov网络的有效哈希编码算法。算法根据稀疏编码策略对特征进行重构，通过Markov随机游走的方式构建特征之间的相似性关系图，并在算法效率上实现了优化，能有效进行数据检索任务。在跨模态特征哈希算法方面，本项目采用深度学习策略实现不同模态数据的关联和特征映射，在实验数据集上达到目前先进性能水平，是国内外比较早进行跨模态深度哈希算法研究的工作。项目在基于深度学习的多模态特征信息融合与建模方面，围绕视觉图像和自然语言的综合理解，分别提出了一种新的空间离散余弦Hash 动态参数网络和一种多模态强化学习网络，能够在问题的引导下实现动态定位图像的不同局部信息综合。在移动云计算传感网络协议设计方面，针对多种类型数据同时采集的异构无线传感器网络，项目组提出了LEACH改进协议，并针对降低无线传感网能耗和保证数据精度之间的矛盾，利用压缩感知算法提出了自适应数据处理方式。项目组还在一些典型的应用场合，如场景图像文字检测上，利用多核学习的方式，提出自适应加权的紧凑式组合特征用于文字检测器；在多光谱图像分类领域，融合光谱物理信息和光谱图像的空间分布信息，提出图约束的谱-空间稀疏编码特征。综上所述，项目按照研究计划，在研究内容上瞄准学术前沿，持续资助、累计培养了硕士研究生8名，其中已毕业5名。项目较好地完成了硕士研究生人才培养任务，并取得了良好的科研成果，总体完成了立项目标。