基于多模态表征学习的时尚数据检索与推荐算法研究

As traditional fashion industry is facing grand challenges from big data, technology innovation is a crucial step to improve the industrial competitiveness. Understanding and analyzing the semantics of large-scale fashion data through machine learning and computer vision techniques is one of the essential business analytics and technology tools, which is significantly important to support fashion trend analysis, fashion information retrieval and fashion recommendation. Based on the characteristics of fashion data, this project aims to study multiple representation learning approaches for fashion data, including deep learning based semi-supervised fashion image understanding algorithm, cross-media retrieval algorithm for multi-modal and multi-domain fashion data and deep metric learning based fashion outfit composition algorithm. Eventually, it enables to develop a big data analytics platform for fashion industry. This study would help people from fashion industry to understand, manage, search and analyze fashion data very effectively, which boosts fashion industry towards the intellectualized era.

传统的时尚行业面临着大数据冲击，通过大数据技术创新是提高时尚行业整体竞争力的关键步骤。运用机器学习和计算机视觉等技术对海量的时尚数据进行语义分析与理解，用以时尚流行趋势分析、支持多种信息检索方式和时尚搭配推荐，是时尚行业的大数据分析的核心技术之一，具有重大的研究意义。本项目拟针对时尚数据的特点，对时尚数据展开多个维度的表征学习，包括基于深度学习的半监督时尚图片理解算法、面向多模态多领域时尚数据的跨媒体检索算法和基于深度度量学习模型的时尚搭配算法，并最终形成一个完整的面向时尚行业的大数据分析平台。本项目的研究能帮助时尚行业相关人员有效地理解、管理、搜索和分析时尚数据，探索了时尚行业的智能化转型。

社交媒体的日益普及和电子商务的繁荣发展催生了海量的跨媒体时尚数据，如用户分享的街拍数据、时尚品牌发布的T台秀数据以及电商网站提供的产品数据，这些跨媒体时尚数据呈现了丰富而复杂的多媒体内容。因此，通过机器学习和计算机视觉技术来理解和分析大规模跨媒体时尚数据的语义是变革时尚行业和重塑时尚机制的重要分析和技术工具之一。由于对社会和经济重大的影响，使用大数据新技术来处理跨媒体时尚数据已经成为计算机科学家面临的巨大挑战之一，具有重大的研究意义。本项目对时尚数据进行多种表征学习方法，包括基于深度学习的时尚图像理解算法、多模态多领域时尚数据的跨媒体检索算法和基于深度度量学习的时尚推荐算法。关于基于深度学习的时尚图像理解算法，我们提出了一种结合视觉识别和空间识别的新颖框架，用于从智能手机照片中识别具有地理特征的时尚图像。针对面向多模态多领域时尚数据的跨媒体检索算法，我们设计了多模态多领域嵌入学习框架对时尚数据进行分析和检索。对于基于深度度量学习的时尚推荐算法，我们提出了一种新颖的基于生成对抗网络端到端网络架构，能够在多种条件下自动合成时尚产品的逼真图像，为时装设计师提供时尚推荐功能。目前本项目已在国际权威期刊和会议上发表论文6篇，其中SCI一区期刊一作论文2篇，公开了相关专利3项，并已与部分企业合作开展了产学研合作。