基于非刚性点云数据的家畜(奶牛)体尺测量关键技术研究

Research work based point cloud capturing from rigid objects is a hot topic in the recent decades, while non-rigid objects are not well explored due to the difficulty of data acquisition. With the quick development and the wide use of Kinect, data acquisition on non-rigid objects in human activities becomes more and more practical. Based on our non-rigid data acquisition system for surface of animal body and our proposed point cloud segmentation approach, we aim to solve the body measurement problems for the livestock and propose to take further research on surface point could from the alive Holstein cow from 4 aspects. (1) We will design an accurate real-time point cloud segmentation method using temporal and spatial information for multiple livestock in the farming environment. (2) Resorting to the super voxel segmentation theory and graph match method, we will present a corresponding point matching algorithm which is the key technique for reconstruction of non-rigid objects for non-rigid point cloud data. (3) Based on corresponding point matching, we will propose an automatic detection method of gauge points using template deformation driving technology to obtain key points for automatic measurements..The novelty of this work reflects on the new data processing method and theory for point cloud from non-rigid objects. And the significance of this work lies on its application values of automatic measurement for livestock during their growth.

目前刚性点云数据处理相关研究较多，但随着消费级类Kinect等三维数据获取技术快速发展，非刚性点云数据在人类生产活动中已大量涌现。本项目在前期已获得的动物体表非刚性点云数据获取系统以及点云分割等算法研究工作基础上，拟结合家畜体尺测量的实际需求，针对活体奶牛体表点云数据序列:（1）研究一种结合时空域分析的实时非刚性点云数据序列的精确运动分割方法，尝试解决多只运动家畜在复杂养殖环境下的体表点云实时分割问题；（2）研究一种结合超体素分割和图匹配技术的非刚性点云数据的对应点匹配方法，该方法是非刚体对象三维重建的关键；（3）在对应点匹配方法基础上，研究基于模板变形驱动的非刚性点云数据标记点自动检测方法，以解决家畜体尺测点自动检测问题。.本项目如能实施，不仅在非刚性点云数据处理和非刚体对象测量方面有理论技术创新，而且对自动化家畜生长监测具有重要应用价值。

项目背景：随着消费级类Kinect等三维数据获取技术快速发展，非刚性点云数据在人类生产活动中已大量涌现。因此，本项目在前期已获得的家畜动物体表非刚性点云数据等工作基础上，结合家畜体尺测量的实际需求，进一步针对家畜体表点云数据展开非刚性点云数据处理方法研究。.主要研究内容及重要结果：（1）研究了一种结合时空域分析的非刚性点云数据序列的精确运动分割方法，解决了多只运动家畜在复杂养殖环境下的体表点云精准分割问题。以活体猪和狗为扫描对象，进行了不同场景下的运动分割实验，表明该方法能够有效借助提出的时空矩阵来完成前景的精准分割，由于其依赖测地距离计算所以尚未达到实时；（2）研究了一种结合图匹配技术的非刚性点云数据的对应点匹配方法。以活体猪和人体的点云数据为对象进行试验，表明该方法对于分段刚性的骨架铰接结构对象，可以有效性降低求解空间，对于拓扑改变和噪声比较鲁棒；（3）在上述方法基础上，研究了基于全局外蕴对称检测的家畜姿势刚性归一化算法，并将该方法用于体尺测点自动检测，解决了家畜体尺测点自动检测问题。以活体猪和建模的奶牛、水牛、马和犀牛等四肢动物为对象进行试验，结果表明，该方法可以有效将四肢动物归一化到标准坐标系下，结合局部几何特征，可以进行体尺测点的自动化检测，但对于高噪声和数据缺失并不鲁棒。.科学意义：本项目的实施，在非刚性点云数据处理和非刚体对象测量方面有理论技术创新，同时为基于三维点云数据处理技术的自动化家畜生长监测奠定一定基础。