基于稀疏表达的图像语义理解机制研究

本课题将结合统计分析、机器学习和计算机视觉等交叉领域最新进展和热点研究，建立基于稀疏表达的图像语义理解框架，主要内容包括：图像高维异构特征稀疏性组效应选择、关联共生图像语义的共享结构学习、非标记样本利用、结合特征选择一致性模型和复杂度平滑计算手段的算法实际性能分析方法。通过有机集成相关研究成果与技术，面向公共开放图像数据集和互联网图像研发图像语义理解原型系统，对相关算法进行对比、验证和完善。

从图像数据中所提取特征具有高维异构特性，若干特征组合在一起可用来构建具有关联共生关系图像语义之间的共享结构，如何针对图像语义理解过程中高维异构特征所具有的这一特点，利用压缩感知和变量选择等基本理论和方法，研究结构性正则化因子和多任务学习等机制，实现高维异构特征稀疏性结构选择和图像语义共享结构学习，是提高图像语义理解性能面临的重要挑战。.项目按照计划书所列内容顺利开展，重点围绕从图像高维异构特征中选择最具区别性特征，建立起解释性(interpretable)更强的模型来理解图像中丰富语义这一核心问题而展开。项目研究的重点是如何充分利用高维特征中存在的结构先验知识(structural priors)，实现结构稀疏正则化因子（Structured sparsity-inducing norms）来加强特征选择以及如何保证选择结果的一致性(consistency)。.基于这样的考虑，项目对如下内容进行了深入研究：高维特征稀疏性组效应选择、关联共生图像语义的共享结构学习、非标记样本利用以及特征选择中一致性模型。项目研究期间，提出了结构性输入/输出正则化因子、基于图的共享特征学习、基于稀疏组效应和多核学习的特征选择、结构稀疏谱哈希、基于最大间隔学习的张量分解、非凸组稀疏一致性选择模型等算法和具体方法。.研究期间，项目组一共发表论文20篇，其中包括本领域顶级和权威学术期刊IEEE Transactions on Image Processing(1篇)、IEEE Transactions on Circuits and Systems for Video Technology (1篇)、IEEE Transactions on Multimedia (1篇)、ACM Multimedia(4篇，其中Full Paper 3篇)、AAAI(oral paper 2篇)、SIGIR (Full Paper 1篇)。项目研究期间获得第六届和谐人机环境联合学术会议最佳论文（2012年度）。 .项目研究期间，参与研究的博士生韩亚洪获得2012年度中国计算机学会优秀博士论文（博士论文题目“基于图模型表达和稀疏特征选择的图像语义理解”， 导师为庄越挺教授）。项目负责人吴飞入选教育部新世纪优秀人才支持计划（2011年度）。