面向多元空间融合的视觉计算与图像质量评价

Image quality assessment (IQA) aims to provide a computational model of vision to simulate the subjective IQA process of human, where the ultimate goal is to obtain the objective evaluation results correlating well with the subjective perception of human beings. IQA has been widely applied to the fields of satellite remote sensing, video surveillance, consumer electronics, etc. By modeling the human perception-cognition mechanism and fusing the physical space, cyber space and cognitive space，this project aims at designing advanced IQA methods for evaluating the fidelity, intelligibility, and aesthetics of images by building the computational model of vision with sparse coding and the free energy theory. The main research contents include: 1) the fidelity assessment of images, including the deep architecture of image feature, the extraction of optimal sparse feature, the acquisition of quality-aware labeled data, and the prediction of perceptual quality; 2) the intelligibility assessment of images, including the model of distortions in the physical space and imaging path, and the blind separation and deep analysis of the mixed distortions; 3) the aesthetics assessment of images, including the model of the common characteristics and the individualized cognition based on aesthetics for evaluating image quality. In summary, combining the advance machine learning methods, such as deep learning and Bayesian Ying-Yang machine, the project will develop the novel IQA framework by fusing multiple spaces based on visual computing and visual perception, so that it can provide some new ideas for the traditional computation theory of vision.

图像质量评价是指通过构建视觉计算模型模拟人类观察和评判图像质量以获得与主观感受相吻合的客观评价结果，目前已广泛应用于卫星遥感、视频监控和消费电子等领域。本项目旨在通过融合物理空间、信息空间和认知空间，对人类感知-认知机制进行建模，利用稀疏编码和自由能量理论，构建最优图像质量评价的视觉计算模型，设计针对视觉信息保真度、可懂度和美观度的评价准则，提出相应的图像质量评价方法。主要研究内容包括：面向保真度的图像质量评价，研究图像特征深度构架和最优稀疏特征提取、图像质量标记数据的快速可靠获取和感知质量预测；面向可懂度的图像质量评价，研究物理空间和成像路径的失真建模，混合失真的模型分析与盲分离；面向美观度的图像质量评价，研究美学共性特征和个性化认知的建模与质量评价。本项目基于视觉计算和感知模型，结合深度学习和阴阳机等先进机器学习方法，构建多元空间融合的图像质量评价新框架，从而丰富与完善视觉计算理论。

图像质量评价是指通过构建视觉计算模型模拟人类观察和评判图像质量以获得与主观感受相吻合的客观评价结果，目前已广泛应用于卫星遥感、视频监控和消费电子等领域。本项目建立了融合物理空间、信息空间和认知空间视觉计算与质量评价框架，提出了低层视觉保真度、中层感受可懂度、高层认知美观度的多层次和立体式的可视媒体质量评价新理论。研究了视觉质量感知特性，为视觉计算和质量评价提供生理心理学基础；然后研究了多层次、立体式的可视媒体质量评价方法，提供感知-认知评测结果；以此为基础，利用视觉计算方法提升视觉信息质量，同时构建视觉内容认知应用。结合了物理空间中的先验、信息空间中的约束和认知空间中的特性，提出质量评价新框架，丰富与完善视觉计算理论。依托本项目，荣获国家自然科学奖二等奖2项（2016年，2019年），荣获陕西省科学技术一等奖2项（2015年，2019年）；发表与课题相关并标注本基金资助的学术论文共计170篇，其中国际知名期刊（IEEE T-PAMI, T-NNLS, T-IP和Pattern Recognition等）论文127篇，SCI检索124篇，主流国际会议论文43篇，其中CCF推荐的A类国际会议（CVPR、ICCV、IJCAI、AAAI和ACM MM）论文19篇；获得国家发明专利授权32项。培养博士生16人，硕士生25人。此外，获科技部重点领域创新团队和中国自动化学会（CAA）自动化与人工智能创新团队。