功能驱动的人体服装自动建模

Based on the state-of-the-art, this project focus on the ‘personalized’ function & ‘try-on’ function of apparel industry, and plan to propose some algorithm or methods about function driven 3D human & garment modeling automatically. The main challenges of this project are components-level modelling and physically-level modeling for 3D human & garment with single-view image(s) or video. This project plan to deal with the challenges from four aspects: components-level human & garment image parsing, components-level 3D human & garment modeling, and physically-level 3D human & garment editing & simulation. This project plan to propose some novel algorithms or methods in the following topics: image/video based human extraction and components-level 3D pose estimation, image/video based garment extraction and components-level structure parsing, garment components and their structure learning form labeled image dataset, components-level deformable 3D garment and components, automatically modeling of components-level 3D garment from single-view image(s) and video, simulation parameters measurement and estimation from single-view image(s) and video, video based 3D human and garment animation. Besides, this project construct three datasets: components-level garment image dataset, components-level 3D garment dataset, and simulation parameters dataset for human garment. Also, this project plan to develop some tools about function driven 3D human & garment modeling automatically. These tools can be used to demonstrate the effectiveness of the proposed algorithms and methods, and can be applied on some typical applications, such as personalized custom manufacturing of human garment and online 3D garment try-on. The achievements of this project can be useful for many industries, such as design & manufacturing, e-commerce, video production, interactive entertainment and so on.

本项目面向人体服装在个性化、可试穿方面的功能需求，立足相关方向的国际前沿研究热点，针对“单相机条件”、“部件级建模”、“物理级建模”等难点，围绕“功能驱动的人体服装自动建模”，重点开展支持自动建模的人体服装图像视频解析、人体服装部件级三维几何模型自动构建、功能驱动的人体及服装三维编辑与模拟等方面的基础研究，力争取得图像视频服装对象提取及其部件解析、服装对象部件结构学习与表达、服装部件三维变形统计先验学习、图像服装部件级三维几何模型自动构建、图像视频服装三维模拟参数估计、视频人体三维模型约束的服装三维模拟等方面的算法与方法创新。在此基础上，构建部件级图像服装对象样本、部件级服装三维几何模型样本、服装三维模拟参数样本等数据集，并研究开发相应的软件工具。本项目的研究工作在设计制造、电子商务、影视制作、互动娱乐等行业领域具有较广阔的应用前景，例如：个性化服装私人定制打印制造、在线三维虚拟试衣。

人体服装是人们日常工作和生活中不可或缺的必备元素之一，也是国民经济和社会发展的重要支柱之一。三维内容正影响着人体服装行业的作业方式，三维人体服装已渗透到了人体服装行业的设计和销售等产业链环节。. 本项目面向人体服装在个性化、可试穿方面的功能需求，立足于相关方向的国际前沿研究热点，针对单相机图像视频引导、部件级建模、物理级建模等难点，开展了“功能驱动的人体服装自动建模”研究，重点研究了单幅图像人体的三维模型及动作估计、单幅图像人体及服装的三维建模、基于单个深度相机的服装三维模型组合式构建、服装和缝合线的三维模型融合及绘制、服装布料形变约束模型构建及动画生成、支持多材质的服装布料仿真等方面的技术，构建了部件级图像服装对象样本、部件级服装三维几何模型样本、服装三维模拟参数样本等数据集。在此基础上，研究开发相应的软件工具。. 本项目在基于单幅图像的人体三维姿势与三维模型估计、单幅图像人体服装的三维模型构建、服装结构及部件属性表达，基于深度图像的服装结构及部件属性解析，基于部件解析的服装三维模型组合式构建、基于单幅图像的服装缝合线建模、服装和缝合线的三维模型融合、单视频内容驱动的服装动画生成、基于材质属性映射的服装布料仿真等方面取得了算法与方法的创新。. 本项目在国内外重要学术期刊或学术会议上发表高水平学术论文12篇（含3篇录用学术论文，全部标注了本项目的批准号）；申请美国、中国发明专利9项（其中，2项美国发明专利授权，1项中国发明专利授权，6项中国发明专利申请受理）；培养研究生16名（其中，博士研究生6名，硕士研究生10名）。