矿井无人智能开采工作面增强现实关键技术研究

The problems of dynamic high-definition 3D perspective for unmanned intelligent mining working surface have not been effectively resolved in the unmanned intelligent coal mining and the prevention of mining disaster. Based on the major national technical requirements, the purpose of this project is to reconstruct a high resolution and low time delay mining scene and provide real-time images for remote control and machine vision by researching the key technology and theory system used in the unmanned intelligent mining working surface. The research contents include the fast video super-resolution reconstruction methods based on key frames in mine environment, multi view stereo 3D reconstruction method for long and narrow roadway and real-time target tracking and registering method in mining augmented reality of unmanned working surface, with which to establish the theory of augmented reality of dynamic high definition 3D multi view mining surface for the intelligent mining. The expected results are of great significance for the construction of high definition 3D visualization of remote controlled unmanned mining surface as well as the perspective of "Internet + mines" and realizing intelligent unmanned safe and precision mining.

矿井智能开采工作面动态场景的高清三维多视角可视，在煤炭无人智能精准开采与灾害防控中还未有效解决。本项目以国家和行业重大技术需求为导向，对矿井无人智能开采工作面增强现实关键技术和理论体系展开科学研究，旨在实现高清晰度和低延时的开采场景真实再现，为人的远程干预和机器视觉提供实时现场图像。研究内容包括，矿井环境下基于关键帧的快速视频超分辨率重建方法、面向狭长巷道的基于多视图立体三维重建方法和工作面矿井增强现实实时跟踪注册方法，最终形成开采工作面高清三维多视角增强现实理论。预期成果对于远程可控无人开采工作面的高清三维多视角可视化，打造具有透视功能的“互联网+矿山”，实现智能、无人、安全开采为核心的煤炭精准开采具有重大意义。

本项目针对矿井恶劣工矿环境下高清晰度和低延时开采场景的真实重现，研究工作面增强现实关键技术，相关内容对于实现远程智能化、自动化控制工作面的动态高清三维多视角开采场景透视具有重要的意义。通过项目实施，提出了矿井环境下快速视频图像超分辨率重建方法，包括低光照（弱光）环境下基于结构保持和色彩恢复上采样图像超分辨率重建方法、具有双向约束的轻量级图像超分辨率重建网络、面向图像超分辨率重建的多通道递归残差机制和边缘融合的多字典超分辨率图像重建方法等；面向矿井巷道视频监控多角度、多视点的特点，提出了三维图像重建过程中的立体匹配算法和质量评价方法，包括融合边缘保持与改进代价聚合的立体匹配算法、基于边缘加权的跨尺度局部立体匹配算法、基于分层区域的自适应图像配准方法、基于时域GOP加权的视频质量评价算法和基于显著性的无参考模糊图像质量评价方法等；提出了面向矿井工作面增强现实的目标分类和实时运动目标跟踪方法，包括用于纹理分类的灰度和连续旋转不变的特征描述子、基于颜色信息和纹理信息相融合的图像检索算法、结合颜色信息与纹理信息的多特征行人检测算法、基于CLBC和HOG特征融合的行人检测算法和目标与背景颜色相似下的运动目标自动跟踪方法等。研究成果发表科研论文32篇，其中第一标注27篇，第二标注5篇；关键技术申请发明专利53件，其中授权17件中国发明专利、2件美国发明专利。项目成果丰富了智能化开采可视化理论体系，对我国矿井智能工作面中无人开采模式的实现具有重要作用项目。项目团队开展了广泛的国内外交流，与中煤科工集团重庆研究院有限公司、中煤科工集团常州研究院有限公司、北京大学、重庆大学、电子科技大学等国内17家科研单位、高校和企业开展了深入的技术合作，相关成果已经在企业现场进行了转化应用，获得省部级科研奖励3项。培养研究生16人，其中博士2人、硕士14人。