基于视觉认知的三维模型重建研究

It is strenuous and time-consuming to construct virtual scene and 3D model of objects in the field of virtual reality when we dynamically generate scene with huge computational and complexity of the algorithm. On the contrary, human is very easy to analysize and process the information which they percept from 3D objects. According to human visual perceptive principle, we will build bionic perception model by analysizing cognitive principle of human brain's temporal cortex. Human percepts object from whole to local, at the same time, human extract essential characteristic from the same kind of objects quickly. The objective law enlightens us to establish a topological invariance knowledge base that describe essential characteristic of the same kind of objects. The knowledge base includes topology invariable geometry structure and template of local detail of objects. By bionic perception model we extract geometric feature of topology invariance and local details from camera's images. We choose the structure of topological invariance from knowledge base which is identical with geometric structure of object. Based the topology invariable geometry structure we assemble 3D object using templates of knowledge base that can be transform to fit feature of logical detail such as texture, material and small geometric structure. The research results will have a good theoretical and applied value at rapid presentation of scene, real-time interaction, machine vision, computer psychological testing and so on.

虚拟现实领域中虚拟场景和物体的三维模型构建费时费力，视景动态生成计算量庞大、算法复杂，而人类在感知三维物体时对三维信息的分析和处理却十分轻松。为此，本项目从人类视觉的认知原理出发，分析人脑颞叶皮层的认知原理，构建视觉仿生感知模型；根据人类认知过程具有从整体到局部、并能快速抽取物体拓扑不变性特征的特点，建立物体拓扑不变性知识库，知识库描述了同类物体的共性特征，包含物体的整体几何结构和局部细节特征的模板；将深度相机采集的图像输入仿生感知模型，抽取物体的拓扑不变性特征和局部细节特征，并与知识库匹配；利用知识库中的拓扑不变几何结构，将局部细节特征的模板依据实际物体的特征进行简单几何变形、纹理和材质变换等，最后进行积木式组装，构建三维模型。 本项目的研究成果对于虚拟场景的快速再现和实时交互、机器视觉、计算机心理测试等方面都有很好的理论和应用价值。

本项目针对目前计算机视觉领域中三维模型重建技术通用性差、计算量大、成本昂贵等问题，研究了基于人的视觉认知特点的三维模型重建方法。人的视觉认知综合了视觉感知信息和人脑中的先验知识，能从几何拓扑不变性质分析出多层次的几何拓扑结构，感知抽象出整体到局部的几何拓扑结构。流形是整体结构无法在欧氏空间中描述，而局部具有欧几里得性质的空间，它是局部同胚于欧氏空间的开子集。微分流形在流形上引入局部结构，可在欧氏空间描述，通过过渡转换函数将流形形成一个整体。因此，将能在欧氏空间描述的局部结构通过过渡转换函数光滑连接起来，构建无法在欧氏空间描述的整体结构，符合了人的认知特点。在该理论基础之上，本项目主要研究成果如下：在三维物体的整体拓扑结构方面，（1）研究了三维物体的不变性拓扑特征的抽取方法，给出了轮廓特征抽取方法和射影不变量特征的抽取方法；（2）提出一种多分辨率Reeb图方法，提取出三维模型的骨架拓扑结构；（3）给出了关键点的多尺度的协方差矩阵描述子，提高了关键点匹配精度和效率；（4）提出了一种基于协方差矩阵和投影映射的特征线提取方法，提取出精确的特征线。在三维物体局部结构方面，（1）研究了基于微分流形重建方法，提出了基于微分流形的隐式曲面重建方法；（2）研究了隐式函数曲面重建的方法，提出了椭球约束的径向基函数隐式曲面建模方法；（3）研究了曲面拟合方法，提出了基函数和微分流形相结合的任意拓扑结构的曲面重建方法和基于整体最小二乘法的曲面拟合方法。最后，研究了点云精简方法，并以人手的虚拟重建为应用背景，研究了基于Kinect的人手的采集、处理、精简、配准与基于微分流形的虚拟手重建，建立了虚拟手的三维模型。. 本项目共发表文章23 篇，其中，SCI 国际期刊3 篇，EI国际期刊2篇，EI会议论文1篇，国内核心刊物17 篇。申请专利5 项，获批2项，受理3项；软件著作权登记3项。.