面向移动电子商务的可视体验计算

This proposal will investigate the theory, methods and algorithms of visual experiential computing and its application in mobile e-Commerce. The detailed research includes: 3D depth reconstruction and understanding using mobile device, 3D visual experiential and interactive computing, multimodal data analytics and mining with integrated visual experiential and interactive information, and visual experiential computing engine and system. The objective is to reconstruct with high fidelity the spatial and color mapping relationship between products and their applicable scenes or objects through computer vision and visual computing in mobile platform; to integrate visual experiential information and traditional log text data; and to build a multimodal big data visual computing system for mobile e-Commerce. This research initiative will not only develop a unique theoretical foundation and methods for visual experiential computing, but also propel the integration of computer vision and computer graphics and its application in mobile e-Commerce. This will support the accelerative development of e-Commerce, which produces significant and long-lasting scientific and practical merits.

项目研究面向下一代移动电子商务的可视体验计算理论、方法及算法实现，具体研究内容包括：基于个人移动设备的目标对象实时三维深度恢复与理解，三维深度可视体验交互技术，融合可视体验互动信息的多模态数据分析与挖掘，以及基于可视体验计算支撑引擎的系统研发等。其目标是基于个人移动计算设备，通过视觉感知与可视计算，高保真地建立起商品与其应用场景/对象的空间结构关系，以及色彩匹配关系，模糊虚拟世界与现实世界的界线，使用户得以实现甚至超越真实世界的可视体验，并融合视觉体验信息与传统日志文本数据，构建基于多模态大数据的移动电子商务可视体验计算系统。研究不仅将形成移动可视体验计算理论模型，发展其自身理论与方法，而且将进一步促进计算机视觉与计算机图形学的学科交叉融合，以及在移动电子商务领域的崭新应用，必将为电子商务的未来发展提供新的理论和技术支持，具有重要的科学理论意义与实际应用价值。

项目研究面向下一代移动电子商务的可视体验计算理论、方法及算法实现，具体研究了在商务环境及其场景中目标对象的三维深度恢复、理解与搜索技术，基于移动增强现实的可视体验交互技术，可视体验交互信息的提取与智能分析，3D 移动电子商务中可视体验计算支撑引擎等关键技术，并建立了面向移动电子商务的可视体验原型系统。项目研究目标是基于个人移动计算设备，通过视觉感知与可视计算，高保真地建立起商品与其应用场景/对象的空间结构关系，以及色彩匹配关系，模糊虚拟世界与现实世界的界线，使用户得以实现甚至超越真实世界的可视体验。研究促进了计算机视觉与计算机图形学的学科交叉融合，以及在移动电子商务领域的崭新应用，为电子商务的智慧化发展提供了新的理论和技术支持，具有重要的科学理论意义与实际应用价值。.项目研究共计发表论文41篇，包括CCF A类论文17篇；申请发明专利27项，其中授权9项，申请国际PCT专利2项；研发完成了可视化智能家居APP系统，基于草图的深度3D头发建模工具，基于视频内容相关性的视频点击预测等4个原型系统。项目负责人在研究期限内入选国家“百千万人才工程”人选，牵头获批“可视媒体大数据技术浙江省工程实验室”；通过合作研究，促成了1名海外助理教授申请获得浙江省高层次人才计划加盟团队回国工作；2位研究骨干晋升正高职称；培养毕业博士生4名，硕士生15名。.项目研究成果中的高精度三维物体扫描技术和人脸、发型建模技术在精密质检和移动互联网获得应用。与科创板上市公司天准科技合作，解决了高分屏检测中相机空间采样率不足的难题，面板亮度平均标准差从12%降低到3%，已检测和分选手机面板超10万片；人脸化身建模应用于移动平台上的实时虚拟形象生成，为超过210万用户创建三维形象，创造直接经济效益5000万元。