基于图像生成的虚拟试衣方法研究

Virtual fitting can greatly improve the efficiency of shopping clothing products online and reduce the return rate. Due to the great commercial value, virtual fitting has been a hot topic in both academic and industrial communities in recent years. The virtual fitting methods based on image generation synthesize the try-on image according to the user photo and the clothing image, which have the advantages of high efficiency, convenience and automation. However, currently the generated try-on image lacks realism and is limited in display poses and views. In order to enhance the reality, this project intends to first enrich the shape variety of dressed-human photos using a semantic body model and a conditional generative adversarial network, which will enhance the shape variety of existing try-on image datasets. Secondly, we will focus on pose-guided clothing image parsing and warping, to better deform the clothing image. Finally, an image-based virtual fitting network will be studied to more effectively integrate human information and warped clothing information. In terms of the limited display views and poses, this project intends to further use human pose to guide the dressed-human image generation with the synthesized try-on image, which generates more try-on images under different poses and views. This project will not only further promote the research of image-based virtual fitting, accelerate the application and popularization of virtual fitting system, but also provide a reference for human-centered image generation methods.

虚拟试衣可大幅提高服装类商品的网购效率，降低退货率，商业价值巨大，近年来一直是学术界和工业界的研究热点。基于图像生成的虚拟试衣方法根据用户照片及衣服图像生成新的试衣图像，具有高效、方便、可自动化的优点，其缺点在于生成的试衣图像真实感不足以及无法展示多视角、多姿势下的试衣效果。为了增强真实感，本项目拟首先基于语义身材模型与条件生成对抗网络，研究针对着装人体图像的身材多样性增强方法，以增强已有试衣图像数据集。其次，研究人体姿势引导的服装图像解析及变形方法，以更好地对衣服图像变形。最后，研究虚拟试衣网络，以更有效地融合人体信息及变形后的衣服信息。为了能够多视角、多姿势展示，生成试衣图像之后，本项目拟进一步利用姿势引导着装人体图像生成，以生成多视角、多姿势下的试衣图像。本项目的研究将不仅能推进基于图像的虚拟试衣方法研究，促进虚拟试衣系统的应用与普及，而且对以人为中心的图像生成问题具有重要借鉴意义。

虚拟试衣技术可大幅提高网购服饰的效率，提升顾客的购物体验，有效减少退货率，对时尚产业智能化发展具有重要作用。本项目聚焦基于图像生成的虚拟试衣方法，重点解决该类方法在人体表达、衣服变形与姿态变换方面存在的问题。主要创新成果如下：1）针对现有试衣数据集模特身材单一、人体表达受原始衣服类型影响的问题，增强了数据集身材多样性，提出了保留人体身材的虚拟试衣网络，有效地消除了原有衣服对试衣造成的干扰。2）针对原有衣服变形方法无法应对较大姿势变化的问题，提出了一种基于标志点引导形状匹配的虚拟试衣方法，增强了试衣图像的真实性。3）针对当前姿势引导的人体图像生成方法丢失衣服细节的问题，提出了基于特征流变换的图像生成方法，除姿势引导的人体图像生成外，还可完成多种时尚编辑任务。.研究成果：1）在国内外重要期刊与学术会议上已正式发表论文26篇，其中SCI期刊论文17篇（含IEEE汇刊4篇），CCF-A类会议论文6篇，中文核心期刊2篇；授权中国发明专利1项，受理中国发明专利2项。2）国际交流：参与组织欧洲图形学三维形状检索比赛；担任Pattern Recognition Letters期刊客座编辑；7次参加国际会议，并做报告。3）人才培养：项目负责人在青年项目的支持下，晋升副教授。同时，依托本资助，培养毕业研究生7名，在读博士生1名，在读研究生10名，毕业本科生1名。