基于多尺度可变形分层图模型的复杂环境3D感知研究

3D perception technology for visual navigation of intelligent vehicles in complex, unstructured environment is always an important research topic.Vision navigations of intelligent vehicles are affected by the illumination, weather, scene variations and geometric distortion, So intelligent vehicles have few real-time abilities to obtain accurate 3D datas in dynamic and complex environments. The deformable Spatial Pyramid graph model is an effective way to solve the problem. We considers the key problems,such as the feature extraction method robust to image variations,the construction of the deformable hierarchical graph model and the design of the multi-scale MRF energy function as the tackling problem of the project, and does a foundation research on 3d perception in complex environment.The innovations of the project are designing a new multi-scale gradient MRF Objective energy function, extracting the multi-scale features using M-SIFT description to different Pyramid layers and adopting the deformable hierarchical graph model to speed up dense matching.The expected achievements are submitted by softwares and dissertations, and we will publish seven academic papers in authentic international academic journals and conferences...

复杂的、无结构的环境下的3D感知研究一直是面向智能车辆视觉导航一个重要研究问题。由于智能车辆视觉导航受光照、天气、场景变化、几何形变等因素的影响，限制了动态复杂环境下智能车辆实时获取准确3D数据的能力。基于可变形的分层图模型是解决该问题的有效途径，本项目将鲁棒于图像变化的匹配特征提取、可变形的分层图匹配模型的构建以及基于多尺度MRF目标能量函数的设计等关键问题为攻关内容，对复杂环境3D感知问题进行基础性的研究探讨。本项目的创新之处是设计了一种新的基于多尺度梯度MRF的匹配目标能量函数、提出利用M-SIFT算子提取多尺度匹配特征，并将它应用到不同的金字塔层，并引用可变形的空间分层图模型来加快稠密匹配的计算速度。本项目预期成果通过以软件和论文的形式提交，预期在国际核心学术期刊和国际学术会议上发表学术论文七篇。

复杂的、无结构的环境下的3D环境感知研究一直是影响智能车辆视觉导航性能的一个核心研究问题。面对视觉信息易受光照、天气、场景视角和几何形变等因素的影响，动态复杂环境下获取准确环境数据的目标日渐苛刻，因此，复杂环境下的3D感知系统的设计、测试和稠密匹配问题的优化等基础性研究问题具有重要意义。.为此，本项目1）首先，研究了一种可用于大倍率远距离自动变焦的视觉算法。设计开发了变置信区间约束电动变焦跟踪算法传感器系统，并在此基础上，提出一种基于离焦量差异定性分析的自动对焦方法，改善在某些场景中由于聚焦评价函数非单峰性而造成爬山搜索方法正确率降低、误差增大的问题。2）其次，提出了一种利用球体基于双切线和利用四椎体基于共线模型对立体视觉系统实现标定的新方法，给出相机内外参数求解的另一种解决方案。3）最后，在分层空间金字塔模型的基础上，提出了针对图像几何变化处理的一种更广义的模型——加强多尺度和旋转可变形的空间分层图模型，通过改进的模型构造了相应的目标能量函数，能量函数的搜索空间中除了考虑光流平移向量外，另考虑了旋转和尺度变化，并引入尺度不变性的多SIFT特征提取方法计算目标能量函数的数据项，改进了原有的LBP方法，将其扩展到四维空间，在金字塔结构上利用分层对四维空间进行搜索，加强了目标能量函数的不连续保护项保护了输入图像中目标的内部几何信息。所研究的基于多尺度和旋转可变形分层图模型的稠密匹配算法实现了对图像变化（光照变换、天气变换、场景变化、几何形变等因素）的鲁棒性，提高稠密匹配算法的性能，为进一步开展视觉辅助导航研究奠定了基础。项目搭建了立体视觉系统实验平台的同时，搭建了无人机的视觉系统用于同步辅助智能车辆视觉导航中的道路分类和检测，为我国研发地面智能车视觉导航系统提供了一种新的可选择方案。