多模态材质属性的视觉表征与关联计算

With the rapid development of vision computing, computers are expected to understand and produce visual scenes more accurately and comprehensively. As a result, besides the traditional geometry modeling, the key is to make breakthroughs in visual analysis and computing for material properties, such as light reflectance, haptics, and heat sensation, in order to meet the requirements from aerospace, intelligent manufacturing, and public safety. This project focuses on “visual representation and joint computing for multimodal material properties”, and its technical challenges related to capture, analysis and correlation. The proposed researches include capture and analysis for material reflectance, visual representation for non-optical properties, and joint computing for multimodal material properties. Expected achievements include monocular capture of HDR reflectance, reflectance-symmetry-based photometric stereo, haptic property from surface micro-structure, heat property from IR image analysis, and semantic-learning-guided joint computing for material properties. The proposed methods and techniques will lead to more accurate and effective visual scene analysis and computing, and promote the development and application of visual computing.

随着视觉计算技术的快速发展，人们期望计算机能够更精准、全面地理解日益复杂的视觉场景和生成新场景。这就要求在传统的几何形状建模之外，进一步突破材质属性（光、触、热等多模态属性）的视觉解析计算，从而满足航空航天、智能制造、公共安全等领域的重要需求。本项目围绕“多模态材质属性的视觉表征与关联计算”，针对多模态材质属性在获取、解析和关联等方面的难点，重点开展光反射属性的获取解析、非光反射属性的视觉表征、多模态材质属性的关联计算等方面的基础研究，力争取得高动态范围光反射数据单相机获取、光反射对称性约束的光度立体求解、基于微观几何解析的触感属性表征、基于光度演化解析的热感属性表征、语义学习引导的材质属性关联计算等方面的算法与方法创新，为支持更加精准高效的视觉场景解析计算提供理论创新和关键技术，推动视觉计算技术的发展和应用。

随着计算机视觉相关技术的快速发展，人们期望计算机能够更高效全面地理解和构建复杂场景。这一目标的达到不但需要更好的几何计算能力，还包括场景的其它类型属性的处理能力，例如材质、表面反射、环境光照、红外属性、偏振属性等等。本项目围绕“多模态材质属性的视觉表征与关联计算”，经过3年项目周期的研究，获得了一系列创新研究成果，在上述问题的解决上做出了显著贡献。首先，在基于可见光的材质属性获取与解析方面，重点开展和完成了基于单幅光场图像的物体表面材质类型自动识别、基于变光照图像的物体材质分析和三维形状重构、基于多光照图像的三维对象形状与环境光源重建、基于多分支卷积神经网络的低光图像增强等方面的研究；其次，在基于非可见光的视觉属性获取与解析方面，重点开展和完成了基于普通硅相机和深度网络的短波红外成像与分析、24小时可见光结合红外的彩色成像解决方案、面向色度和偏振联合成像的神经网络插值算法等方面的研究；最后，在基于多属性解析的图像处理应用方面，重点开展和完成了基于双向属性解析网络的人脸化妆移除、注意力引导的富细节场景深度属性获取、基于多视觉属性融合的视网膜血管分割融合、视网膜图像中病变区域检测和可解释性研究、基于多模态三维视觉解析的对象理解和交互操作等方面的研究。上述研究从可见光、非可见光、不同场景应用三个层次，形成了本项目研究成果。在学术水平方面，本项目成果达到国际前沿水平，在验收指标方面，本项目成果显著超出了任务书规定水平，同时体现出良好的应用前景。