基于网络遥观测机器人的野外生态观测技术研究

Networked PTZ cameras are utilized to capture video data, which is used by scientists to keep monitoring the wildlife non-invasively. The PTZ Camera can be regarded as a special robot because it has three degrees of freedom: pan, tilt and zoom. From the perspective of tele-observation,there are three factors that affect the effects of observing the environment: three dimensional space subdivision of the scene, the monitor of dynamic objects and biodiversity analysis. And tele-observation is challenged by the above-mentioned factors: The viewpoint motion planning of camera aimed at dynamic coverage, real-time foreground-background segmentation and visual servo, pattern recognition based on ecological features. To meet the challenges, the project is to study the science and technology to monitor the wildlife by ecological observatory networked system. The studies are listed below: 1) The robotic motion planning to improve the update rating of the three-dimensional scene space; 2) The foreground-background segmentation based on robot visual servo and the technology to track dynamic objects; 3) Detection, recognition and behavior analysis of key species based on the ecological characteristics such as wings, gait and motion features; 4) The integrated non-invasive ecological observatory networked system is developed.

借助于云台摄像机进行视频数据采集成为科学家们进行非介入式持续野外生态观测的主要手段之一。云台摄像机具有Pan、Tilt、Zoom三个自由度的操作能力，可看作一种特殊形式的机器人化相机，与网络相结合便是网络遥观测机器人系统。从遥观测的角度看，影响生态观测效果主要有三个因素：景物三维空间剖分、动态目标智能观测及生物特征分析。这三个因素对网络遥观测的挑战分别是：机器人视野动态覆盖运动规划优化、动静景有效分离与视觉伺服、基于生态特征的模式识别。本项目定位于基于网络机器人视觉的野外生态观测方法研究，对应提高生态观测效果的三个挑战，研究内容为：1）基于机器人运动规划方法提升三维景物空间的更新效率的方法研究；2）基于机器人视觉伺服的触发式动静景分离及动态跟踪技术研究；3）根据动植物生态特征及展翅、步态等运动特征对重点观测物种特征提取、种类识别及运动行为分析研究；4）非介入式生态观测网络遥观测机器人系统集

当前，我们面临资源约束趋紧、环境污染严重、生态系统退化的严峻形势，将新一代信息、智能技术应用于生态环境及生物多样性监测，对于建设生态文明、保护生态环境具有重要的意义。目前自然与生态保护工作模式基本处于依靠人工巡查与治理的方式，人类的大范围活动能力、恶劣环境的耐受能力、对目标准确识别的能力等均难以满足对野生动植物进行广域动态环境下持续性地、实时地、无介入式地监测的需要，因此构建智能化远程生态观测网络是十分重要，也是非常必要的。..本项目将网络遥操作机器人技术与智能化远程生态观测需求相结合，首先定义了“网络遥观测机器人(Tele-Observation Robotic Systems，TORS)”的概念，然后基于TROS技术建立起“云+端”模式的广域动态环境下分布式远程生态观测网络，并对其中的建模、控制、规划、感知与认知问题进行了一系列的探索探究，主要研究内容包括：① 遥观测机器人三维视野空间建模、覆盖及更新的方法；② 基于视觉伺服的动态场景目标检测与跟踪技术；③ 基于深度学习的重点观测物种分类与识别技术。进而，在本项目研究内容基础上，对将遥观测机器人系统搭载于多旋翼无人机、全地形无人车系统上进行智能监测进行了更为深入的研究与探索。. 本项目中所取得的理论与技术突破主要体现在：第一，建立了基于视点运动的遥观测机器人运动学模型，实现了在景物空间下的定位、规划、覆盖与更新，并基于自主设计的“满意度”最优化指标有效提升了监测效率；第二、针对杂乱繁杂自然环境（包含遮挡、光照、尺度、形变、运动、相似等因素）下的运动目标实时检测与跟踪技术进行了深入研究，有效提升了视觉观测的实时性、准确率与成功率；第三、建立了我国珍稀野生动物影像分类数据集，基于卷积神经网络模型进行了分类训练与方法改进，实现了较好的动物物种实时识别效果；第四、将多旋翼无人机、全地形无人车等运动平台与遥观测机器人系统相结合，进行了全自主空地一体化区域监测技术的初步研究，为后续在“广域动态环境下多机器人协同巡测技术”方向上申请新的课题奠定了基础。. 本项目共发表科研论文共30篇，申请技术发明专利7项，期间毕业研究生13名，完成了预期的研究成果任务指标。