基于眼动追踪的个性化图像推荐研究

Personalized image recommendation aims to provide an user with better image retrieval results according to the user's intention and preference. Personalized image recommendation is a hot topic of image retrieval. It can offer more comfortable experience of image searching service for the Internet users. In contrast to the traditional methods that collect users' feedback using a keyboard and/or a mouse, this proposal explores non-invasive eye tracking for performing personalized image recommendation. The purpose is to indentify an user's intention and preference by analying the user's eye tracking data generated when he or she is browsing images, such that better image retrieval results could be generated to the user. First of all, an user-friendly image retrieval interface is designed. The eye movement data of an user generated when he or she is browsing images are recorded by an eye tracker with little interference to the user's viewing process. In light of that the features of eye tracking data are difficult to extract, we propose to exploit deep neural networks which are powerful for feature learning to extract eye movement features from eye tracking data. After that, the eye movement features and the visual features of images are combined for performing relevance image identification and obtaining the user's implicit feedback. At last, personalized image recommendation is conducted.This study will also comprehensively evaluate the performance of our proposed personalized image recommendation system.

个性化图像推荐旨在根据用户的意图和偏好给用户提供更感兴趣的图像检索结果。个性化图像推荐目前是图像检索的一个热点，它能为互联网用户带来更舒适的图像搜索体验。与传统的通过鼠标键盘获取用户反馈的方法不同，本研究提出通过对用户基本无干扰的眼动追踪来实现个性化图像推荐，目的是通过眼动数据分析用户观看图像时的隐性反馈信息，从而推测用户的意图和偏好，为用户提供更好的图像检索结果。首先，拟设计人性化的图像检索界面，并且利用眼动仪记录用户在自由和受控两种不同模式下观看图像的眼动数据；然后，针对眼动数据特征提取困难，拟利用特征学习性能优异的深度神经网络从眼动数据中提取有用的特征；接着，结合图像的眼动特征和视觉特征，对图像进行相关性分类和获取用户隐性反馈；最后，向用户作出个性化图像推荐。本研究还将对所建系统进行全面的性能评估。

个性化图像推荐旨在根据用户的意图和偏好给用户提供更感兴趣的图像检索结果。个性化图像推荐目前是图像检索的一个热点，它能为互联网用户带来更舒适的图像搜索体验。与传统的通过鼠标键盘获取用户反馈的方法不同，本研究提出通过对用户基本无干扰的眼动追踪来实现个性化图像推荐，目的是通过眼动数据分析用户观看图像时的隐性反馈信息，从而推测用户的意图和偏好，为用户提供更好的图像检索结果。图像检索的难点是获取用户的意图和偏好，以及图像的机器匹配和分类。本研究项目的重点工作在于构造一个基于眼动技术的图像推荐系统的基本算法研究和技术准备，以便将来硬件设备成熟时（配置于电脑的经济型眼动仪及精确眼动数据的获取），我们有足够的算法和软件技术储备来构造实用的个性化图像推荐系统以及其他应用系统。本项目主要研究内容及重要成果包括：.（1）.基于眼动技术的图像检索界面设计和眼动数据收集及处理.（2）.基于眼动数据进行相关反馈的图像检索方法.（3）.基于用户意图的图像检索算法.（4）.闭环人脸图像检索系统.（5）.眼动数据指导下的图像特征选取..这个技术不但可用于图像推荐和图像分类，还是认知人类图像理解的非常重要一步。..（6）.用CNN深度模型进行图像显著图及眼动热点图预测..把机器学习显著图和显著区域方面的工作向前推进了一步，为改进人类读图时的注意力模型及其在图像理解方面的应用提供了另外一种可能的解决方案。..（7）.深度学习网络的优化..该技术除了能够用于我们的图像推荐系统，也是一种通用方法，可以用于各类图像分类、图像分割及基于视频的动作识别。..（8）.基于深度学习神经网络的表情识别..基于本项目的研究成果及已有的软硬件投入，我们可以延伸我们的研究工作至利用脑电图和眼动融合的方法进行图像理解和图像检索。