深度学习框架下基于情境线索的视觉注意研究

Visual attention serves as a gatekeeper of the human visual system. Building computational models of the visual attention system is a challenging but important problem in interdisciplinary research including computer science, psychology, cognitive neuroscience, and many other related areas. In order to accurately and efficiently capture the properties of the human visual attention system, our research group started with predicting human eye-movement scanpaths, and then proposed a complete framework on computational models of visual attention. More importantly, we incorporated contextual cues into the pool of impacting factors, and built a model that successfully combined deep learning algorithm and contextual cue information. This model uses deep learning algorithm to generate a multi-layer semantic representation of the context cues, which then turns back to serve as a regularization factor to guide the deep learning process. On the long run, the model will be able to generate a computational visual attention algorithm that includes multi-layer semantic information. This project will contribute to the development of the theoretical framework of computational models on visual attention, and improve computer's ability to extract, represent, understand, and recognize important visual features. By exploring the algorithm and mechanism of human visual system, this project will provide support to brain science, especially visual cognitive science, at the algorithm level. It will have significant impact on the application of multimedia content analysis, virtual reality, robotics, pathology, financial science, and advertisement.

视觉注意是视觉系统的门户，对视觉注意系统进行建模是一个重要而具有挑战的跨学科课题，对于计算科学、心理学、认知神经科学和其他相关领域都有重要影响。为了实现准确、高效、完备的视觉注意建模，本项目组以眼动轨迹预测作为突破口，提出完善的视觉注意计算的任务框架，并将情境线索加入影响因素体系，提出深度学习框架下基于情境线索的视觉注意模型。该模型能够对深度学习与情境线索深度融合，通过深度学习得到情境线索的多语义层次表征，并且将情境线索作为深度学习的规则化因子并指导深度学习，最终建立包含多语义层次的视觉注意计算方法。本项目将丰富和发展视觉注意计算的理论体系，提高计算机的特征提取、表征、理解与鉴别能力。本项目探索视觉系统注意机制的模式与成因，将为脑科学、特别是视觉科学基础理论的研究提供算法支持，在多媒体内容分析、虚拟现实、机器人、病理检测、金融、广告等领域都有着重要的应用价值。

视觉注意是视觉系统的门户，对视觉注意系统进行建模是一个重要而具有挑战的跨学科课题。为了实现准确、高效、完备的视觉注意建模，本项目组提出完善的视觉注意计算的任务框架，提出以深度学习为基本架构的视觉注意计算模型。通过深度学习得到情境线索的多层次语义表征，并且将情境线索作为深度学习的规则化因子指导深度学习，最终建立包含多语义层次的视觉注意计算方法。本项目丰富和发展了视觉注意计算的理论体系，提高了计算机的特征提取、表征、理解与鉴别能力。. 本项目的主要研究结果体现在以下几个方面：. （1）在充分研究视觉注意计算模型、深度学习以及情境线索的基础上，提出高准确性、高效率的视觉注意研究框架；. （2）提出基于深度学习的多层次语义提取算法，并将不同层次的类别信息与语义信息嵌入到视觉注意计算中；. （3）结合时空域上的视觉特点，提出基于视觉特点时空动态一致的视觉注意算法，实现从图像到视频的视觉注意建模，并将其用来预测复杂的视频中人的视觉关注帧。. 本项目提出的模型，可以成功的应用在视频的视觉注意预测的复杂任务上。在三个标准视频数据库中，展现出了比原有的方法更好的结果，训练时间也显示出一定的优势。另外，我们还将提出的模型应用在视频总结等视觉注意的扩展任务中，也显示出了很好的结果，我们期待提出的模型将成功应用在更多的领域中。. 总结来说，本项目方案的提出与方法的设计结合了多个学科的理论基础与研究手段。不但能够构建一种有效且完备的视觉注意计算新方法，而且通过模拟人的注意行为，探索视觉系统注意机制的模式与成因，为脑科学特别是视觉科学基础理论的研究提供算法支持，为多媒体内容的检测、分类、识别、理解等应用领域提供解决方案，为我国心理学、脑科学、计算科学等交叉学科的发展添砖加瓦。. 本项目的成果中，我们以第一标注共发表了16篇论文，其中5篇文章为SCI期刊论文，11篇为EI检索的会议论文。申请了2项发明专利，并培养了5名硕士研究生。