基于fMRI的个性化图像情感标注及其本体库研究

鉴于个性化图像情感识别研究的需求和日益成熟的fMRI数据分析技术，本项目拟采集不同类型的人在观看已标注情感语义样本图像时的fMRI数据，通过机器学习建立脑激活模式与图像情感语义之间的映射关系，并利用这种映射关系标注未知图像的情感，以此建立个性化情感图像库。研究内容主要包括：（1）利用机器学习方法分析fMRI数据，对认知状态进行分类。这种分析方法可以很容易地推广到其他领域。改变任务和分类的目标，就可以尝试预测和分类不同认知状态，从而推动人机交互、BCI（脑机接口）等领域的发展。（2）建立本体表示的符合MPEG-7标准的个性化情感图像库。每一幅图像都包含低阶特征和对象、场景等高级语义，特别是使用传统手工标注结合先进fMRI分析方法标注的个性化情感语义。个性化图像情感库既可以为图像检索、图像理解、图像情感识别研究领域提供标准数据集，也可为广告、装潢等设计领域提供素材，也可做为心理学情绪刺激材料。

针对当前图像库存在的图像语义内容不完整、缺乏统一描述标准、图像存储独立于数据库管理系统而无法保证数据安全等问题，课题组提出了受限域（狗类）多层次图像语义描述技术，确立了以图像、图像低层特征、图像对象、图像公共情感及个性化情感为核心的内容体系，提出了包含原始图像库、特征库、对象库及情感库和个性化库的图像知识库整体框架及其各特征子库相应的描述内容和方法，并对Mpeg-7描述框架进行了扩展。同时，课题组提出了基于自然语言的图像情感检索技术，并实现了以自然语言为检索入口的多层次图像语义检索系统的开发及发布。.脑网络作为复杂网络理论在神经科学中的重要应用，极大程度上表现了不同尺度的脑结构或功能连接模型，提供了解释人脑这一复杂系统在结构组织及信息加工模式等问题的重要工具。课题组以脑网络的研究目标，重点研究了静息态功能脑网络的构建、度量、模块化、比较、临床应用等内容。.此外，随着fMRI数据分析技术的日渐成熟，课题组将该方法应用于情感识别研究中。提出基于fMRI的情感类型分类技术，利用fMRI技术观察人脑对图像情感的反应，分析不同人群（健康人、抑郁症患者）在不同情感类型刺激下所产生的脑激活模式差异，利用机器学习的方式建立脑激活模式与情感之间的映射关系，通过训练得到的分类器对未知图像情感进行自动标注。.最后，课题组提出抑郁症情感刺激模式分类技术，针对抑郁症患者与正常人在不同情感类型下，特别是负性情感刺激下的激活模式差异，进行特征计算、提取、筛选、组间差异分析及分类模型构建，以实现对抑郁症患者的自动识别，辅助临床诊断。.课题组共出版专著1部，获得计算机软件著作权1项，发表论文27篇，其中SCI检索1篇，EI检索16篇，培养研究生15名。