基于集成学习的个性化人体和服装建模及试衣仿真

3D virtual try-on with high real sense and personality is a pioneering topic leading the development of 3D content generation technology of Virtual Reality, and it’s also the bottleneck hindering the development of clothing e-commence. With automatic semantic feature extraction as the starting point, this project aims to solve the following key problems such as semantic feature extraction from personalized 3D body point cloud, automatic personalized 3D body and garment building based on data driven technology and real time interactive simulation based on position-based dynamic. This project is to build a 3D virtual try-on prototype system with 3D body and garment model database (not less than 500 3D models) which would identify different gender, body type and popular cloth materials to support for real time personalized body building within 30s and interactive dynamic simulation of virtual dressing with 30 fps or above. This project is expected to provide technology support for the development of e-commerce and information consumption industry.

高真实感、个性化的三维虚拟试衣是虚拟现实三维内容生成的技术前沿，也是制约服装类电子商务发展的瓶颈问题。项目以数据驱动的个性化对象建模与仿真为切入点，致力突破基于集成学习的个性化人体三维点云语义特征点自动提取、数据驱动的个性化三维人体和服装几何模型自动生成、基于位置动力学的虚拟三维试衣过程实时交互仿真等关键问题，建立个性化三维虚拟试衣场景高效建模与实时仿真的技术框架。预期可形成涵盖不同性别、体型、常见服装材质类型的人体与衣物三维模型数据库(模型数量不少于500个)，实现可支持个性化三维人体即时构建(不超过30秒)与真实感实时动态试衣仿真(30帧每秒以上)的在线式三维虚拟试衣原型系统。本项目将为电子商务和信息消费产业的发展提供技术支撑。

随着电子商务的发展和新零售概念的提出，使得市场对虚拟试衣这类应用有着广泛且迫切的需求。服装个性化定制以及虚拟试衣亟待解决的关键问题是如何高效生成三维人体个性化模型以及如何高效实时模拟着装动态效果。针对高物理真实感的个性化三维虚拟试衣中个性化人体模型重建、服装语义特征点识别跟踪以及动态试衣仿真的难点问题，本项目的研究从以下三个方面开展并取得相应的学术成果：(1)基于集成学习的个性化三维人体服装语义特征点自动提取。提出基于随机森林集成学习的个性化人体三维点云语义特征点自动提取方法，突破基于热扩散测地距离场分布的三维采样点多尺度结构特征描述、填补底层几何特征到高层语义的“语义鸿沟”。 (2)着装条件下个性化三维人体模型重建。提出了一种基于单目深度摄像头着装下三维人体模型重建方法。通过对裸露的皮肤区域向衣服的边缘区域进行双边滤波处理，达到去除衣服点对三维人体模型的影响的效果。采用有约束非线性优化算法及非刚性形变将模板模型与人体模型进行拟合，实现着装下三维人体模型的重建。(3) 服装语义的特征点识别追踪及衣物物理模拟。根据源模型上语义特征点的位置，通过分析动作序列中每一帧人体模型的几何属性，使用函数映射方法，计算和分析几何对象间的映射关系，获取目标模型上特征点的位置，从而实现追踪整个动作序列中特征点的运动轨迹。通过人体模型特征点追踪结果，用以模拟服装变形，从而进行虚拟试衣的应用。