面向散乱图片集可交互场景生成与编辑研究

This project is focusing on presenting theory and method for interactive context editing and generation of wind image photo collections. This project will use the vast amounts of photo collections collected from the Internet, build sophisticated theory and method, incorporate user interactivity, recombine，synthesize the photo collections, and finally generate complex scenes with storylines. The generated scene will behave in according with human cognition, and shows a specific story topic. We also work on the interactive editing for the generated scene. More specially, this project will work on the four topics: (1) Context-ware sensing object refinement extraction, extracting and refining the required objects using in the scene generation. (2) Large scale scene generation based on Internet sensing materials synthesis, and the synthesized scenes should carry storyline， shows a specific theme which accords to the semantic structure, and (3) The illumination and appearance editing and processing of the generated scene, the generated scene should be physically and visually natural. The project presets detailed research planning and techniques for above three topics, and provides unified research scheme for following algorithms such as extraction, filtering, synthesis, recombination, editing of the sensing materials. This project will carry out systematic and sophistical study on the theories, mythologies and critical techniques for the interactive context generation and editing of the photo collections, try to achieve important and creative results, and present efficient and sophisticated scene generating algorithms.

本项目主要研究面向散乱图片集的可交互场景生成与编辑。拟利用网络上的海量图片集，结合交互构建相应的理论与方法，对散乱图片集中的对象进行检索、合成，生成能展示特定主题、符合人类认知的一张画面或场景图。具体地，本项目将研究如下三个内容：（1）面向场景生成的对象精细提取与生成，在图片集中提取面向特定主题的对象，为场景生成提供可靠素材；（2）大尺度复杂场景的生成模型构建，基于对象合成，生成符合语义、展示特定主题同时符合视觉美感的场景图；（3）生成场景的外观及光照一致性检测、处理与编辑，获得符合物理属性的光照、外观编辑效果。本项目为上述研究内容提供了详细的研究方案，将散乱图片集中的对象提取、合成、编辑、多视角呈现等相关核心算法作为一个整体来思考，解决关键科学问题。拟在散乱图片集可交互场景生成与编辑的理论、方法、关键技术等方面取得重要创新成果，提供高效的、符合视觉美感需求的场景内容生成算法。

本项目主要研究面向散乱图片集的可交互场景生成与编辑。拟利用网络上的海量图片集，结合交互构建相应的理论与方法，对散乱图片集中的对象进行检索、合成，生成能展示特定主题、符合人类认知的一张画面或场景图。主要取得如下三个方面的成果： ..（1）在面向场景生成的对象精细提取与生成、提取图片集中的面向特定主题的对象、可靠素材等领域取得重要进展；.（2）在大尺度复杂场景的生成模型构建领域展开深入研究，提出有效算法，基于对象合成，生成符合语义、展示特定主题同时符合视觉美感的场景图；.（3）在生成场景的外观及光照一致性检测、处理与编辑，获得符合物理属性的光照、外观编辑效果。..本项目将散乱图片集中的对象提取、合成、编辑、多视角呈现等相关核心算法作为一个整体来思考，解决关键科学问题。在散乱图片集可交互场景生成与编辑的理论、方法、关键技术等方面取得重要创新成果，提供高效的、符合视觉美感需求的场景内容生成算法。..在本项目资助下，发表论文38篇，其中在CCF A 类期刊IEEE Transactions ON Image Processing，EEE Transactions on Visualization and Computer Graphics上发表论文4篇，在 CVPR，ICCV，AAAI，ACM Multimedia 等CCF A 类会议上发表论文6篇，在 ECCV， Computer Graphics Forum 等 CCF B 类期刊和会议上发表论文10篇。申请专利8项，获批专利3项。..论文《Semantic-aware adaptation scheme for soccer video over MPEG-DASH》获IEEE ICME2017 “优秀论文提名奖”。论文《Illumination Animating and Editing in a Single Picture Using Scene Structure Estimation》获IEEE CAD/Graphics 2019（CCF C类会议）最佳论文奖。指导博士生获得ACM-Wuhan&HBCS优秀博士论文奖。