融合语义和人类审美认知机理的艺术图案分析与合成

Currently, it is a big challenge to combine semantics and cognitive science to build creative models in computer graphics, at the same time it also opens a new door for computer graphics research. To the best of our knowledge, most of existing state-of-the-art approaches of pattern synthesis are based on low-level visual features, and few integrated factors of semantics and cognitive science. So in this project, our goal is to develop new approaches for pattern synthesis from the viewpoint of semantic computing and aesthetic cognition. To meet this goal, we will build or improve some advanced methods from machine learning, optimization theory, and cognitive science. Also, we will develop a system for art pattern generation to validate our proposed methods and framework. Specifically, the project includes the following aspects: a) design a semantic-visual similarity metric to decide suitable graphic elements; b) visual attention and whole perception driven pattern synthesis; and c) aesthetic evaluation and its computational model for pattern synthesis. Our project will provide new sight into pattern synthesis and develop novel approaches which devote to create human-level of artistic works by computer. Also, the findings and results of our research may have potential applications in the development of art design, culture and media.

在计算机辅助设计与图形学领域，强调“机器创意”的建模研究正成为发展的新趋势，要体现创意，一个理想的途径是探索符合人类语义理解和认知机理的图形建模新方法。针对现有艺术图案建模方法还主要基于底层视觉特征，很少融入高阶语义和视觉认知机理的现状，课题研究目标是：围绕图案建模涉及的“语义视觉多特征融合、视觉认知驱动的建模、审美认知评价反馈”等三个关键问题，同时结合机器学习、优化理论和认知实验等先进工具，探索融合语义和人类审美认知机理的艺术图案分析与合成新方法，并设计原型系统予以验证和实现。课题主要研究内容包括：首先建立基于语义视觉多特征融合的图案素材筛选机制；在此基础上，分别构建视觉注意和整体感知驱动的图案合成方法；最后针对上述图案建模方法，构建审美认知评价及反馈优化模型。开展本课题的研究，对于丰富计算机辅助艺术创作理论和方法，推动计算机图形学与脑认知科学的交叉研究都有重要的科学意义和潜在应用价值。

针对现有艺术图案建模方法还主要基于底层视觉特征，很少融入高阶语义和视觉认知机理的现状，课题研究结合机器学习、优化理论和认知实验等先进工具，探索了融合语义和人类审美认知机理的艺术图案分析与合成新方法，并设计了原型系统进行了验证和实现。课题完成的主要研究内容包括：融合主题和视觉特征的拼帖图案合成方法、视觉认知驱动的图案合成方法、计算神经美学相关理论和方法等。受本课题的资助，已发表期刊论文14篇，其中SCI检索论文7篇，包括Nature子刊论文1篇，JCR1区论文2篇，中国计算机学会推荐的A类中文期刊论文5篇，国内会议最佳论文1篇，在国内国际会议论文分组报告4次，受邀在全国性学术会议和论坛作特邀报告5次，申请者作为负责人组织国内国际会议/研讨会3次，培养毕业硕士生8名，博士生1名。发表在Nature Communications的论文，被国家自然科学基金委主办的《中国科学基金》作为研究亮点（Research Highlights）报道（2019年第2期），同时被评为厦门大学研究亮点（2019-2020年度），研究成果受到学术界一定程度的关注。已授权国家发明专利1项。总的来说，课题实现了预期目标。本课题的研究，对于丰富计算机辅助艺术创作理论和方法，有一定科学意义和潜在应用价值。