面向搜救机器人的高效3D视频编码技术研究

3D video camera is one of the development directions for the new generation of search and rescue robot equipment. The efficient coding, processing and transmission of the captured videos is an important precondition to increase high searching efficiency. On account of the depth coding quality affecting the accuracy of SLAM, texture coding precision affecting the reconstruction quality of search and rescue target and network adaptation of video coding affecting the smoothness of video transmission, this project carries out research on high efficiency three dimensional video coding technology for search and rescue robots. Firstly, a rate distortion model of depth maps for search and rescue application is built by associating the SLAM distortion caused by depth map coding distortion and the depth map rate distortion to guarantee the reliability of depth map coding. Secondly, a hierarchical coding strategy based on visual attention area of texture video is proposed. Through hierarchical annotation strategy for visual attention area and adaptive control strategy for transform coefficient, the quality priority coding for key areas is realized. Thirdly, a new dynamic level based rate control associated feedback adjustment mechanism is built by designing a video quality distortion model blended with network and video features. A new rate distortion model is reconstructed to guarantee the video transmission smoothness and to further improve the video quality at the receiving end. The research is proposed to provide theoretical and technical supports for guaranteeing the reliability, accuracy and fluency for 3D search and rescue video coding and transmission.

3D视频摄像设备是新一代搜救机器人装备的发展方向之一，对其采集视频的高效编码、处理与传输是提高机器人搜索效率的重要前提。本项目针对深度图编码质量影响SLAM准确性、纹理图编码精度影响搜救目标重建质量和视频编码网络适应性影响视频传输流畅性的问题，开展面向搜救机器人的高效3D视频编码技术研究。首先，构建面向搜救应用的深度图率失真模型，将因深度图编码失真造成的SLAM失真与深度图编码率失真相关联，保证深度图编码的可靠性；其次，提出基于视觉关注区域的纹理图分级编码策略，通过视觉关注区域分级标注和变换系数自适应调控，实现重点区域质量优先的分级编码；最后，建立新的分级动态码率控制联合反馈调节机制，设计融合网络和视频特征的接收端视频质量失真模型，并重构率失真模型，实现视频传输的流畅性和接收端视频质量的进一步提升。本项目的研究成果旨在为保证3D搜救视频编码传输的可靠性、准确性和流畅性提供理论和技术支撑。

面对地震、矿难、火灾等灾害，及时的应急措施和先进的搜救技术能够在很大程度上减少人员伤亡、降低经济损失，因此，目前许多国家都非常重视对灾后救援技术的科学研究。由于灾后废墟结构极不稳定，容易对废墟中的救援人员造成安全威胁、影响救援工作效率，搜救机器人已逐渐成为灾害救援过程中的重要营救力量之一。3D视频摄像设备是新一代搜救机器人装备的发展方向之一，对其采集视频的高效编码、处理与传输是提高机器人搜索效率的重要前提。本项目针对深度图编码质量影响SLAM准确性、纹理图编码精度影响搜救目标重建质量和视频编码网络适应性影响视频传输流畅性的问题，开展面向搜救机器人的高效3D视频编码技术研究。首先，研究了基于SLAM的深度图编码率失真模型，此部分的主要研究内容包含：SLAM与深度图的相关性机理、基于SLAM的深度图失真预测以及深度图编码率失真模型；其次，研究了基于视觉关注区域的纹理图分级编码策略，此部分的主要研究内容包含：基于运动-纹理特征的视觉关注度标注、基于深度图信息的视觉关注度标注以及基于视觉关注度优先级的高质量编码优化；最后，研究了基于网络特征和视频特征的分级动态码率控制方案，此部分的主要研究内容包含：网络特征和视频特征与接收端视频质量的关联性、纹理图码率控制率失真模型以及融合编码反馈信息的编码参数动态偏置范围预测方法。取得的重要结果包括：1.面向搜救机器人的3D视频编码研究形成了一套高效的视频编码方法，为进一步提高视频编码与传输的可靠性、准确性和流畅性提供了理论和技术支撑。2.在国内外重要学术期刊及主流国际会议上发表了50篇左右的学术论文。3.取得了8项左右的具有自主知识产权的成果。4.出版了1部学术专著。5.为相关企业培养了一批高级应用人才。此外，本项目的研究对提高搜救机器人搜救效率和准确率，具有重要的理论意义和实用价值。