视频监控中生猪社会交互行为检测识别方法研究

Social interactions between pig individuals appear with increasing frequency in large-scaled swine production, such as aggression, ear-biting, tail-biting, mounting, etc., which results in negative impact on their health and productivity. It is crucial for avoiding their development and assisting the research of swine behaviors by detecting and recognizing them at the earliest possible time. This program of research tries to develop automated methods for detecting and recognizing social interactions between pigs based on the surveillance video, with which the observation can be contactless. Firstly, a database with large-scaled pig behavior video and data management system will be built. Secondly, based on the database, multiply pig detection and tracking method will be proposed to identify each of the pig in the video. Then, the strategy of social interaction spatio-temporal tubes generation will be designed to localize the spatio-temporal regions of interest. Finally, the essential feature of social interaction will be extracted for the behavior recognition. Taking the detection and recognition of social interaction between pigs as the breakthrough point, this program of research aims to explore and develop a practical framework of intelligent analysis of animal behavior, and analysis the existing, spatio-temporal regions, types and participants of the behavior. This research will provide some new insights and methods for the development of intelligent perception equipment of livestock behavior and the research of animal ethology.

规模化生猪养殖过程中，生猪间的攻击、咬耳、咬尾、爬跨等社会交互行为频繁发生，严重影响生猪的健康与生产性能。及早发现并识别多种不同的社会交互行为，是采取针对性措施预防其大规模爆发以及辅助生猪行为学研究的关键。本项目将通过视频传感器对生猪进行非接触式监控，研究面向监控视频的生猪社会交互行为自动检测与识别。首先，建立大规模生猪行为视频数据库，为本研究提供数据支撑；在此基础上，研究生猪多目标检测与跟踪算法，对生猪个体进行有效区分；进而设计交互行为时空管道提取策略，定位出交互行为可能发生的时空感兴趣区域；最终，通过挖掘交互行为本质特征对不同生猪社会交互行为进行识别。本项目的研究，旨在探索建立动物行为智能化分析框架，以生猪社会交互行为检测与识别为切入点，实现基于视频来自动分析行为发生的时间、地点和类型以及行为的参与个体，同时可为研发畜禽行为智能化感知装备以及研究动物行为学提供新的思路与方法。

随着我国生猪养殖朝着规模化、工厂化养殖模式转变，在劳动力结构与数量急剧变化的情况下，传统的生猪养殖生产与管理方式已无法满足现代化生猪养殖的实际需要。借助人工智能技术，实现生猪健康状态的智能化自动监测是养殖场降低养殖风险、实现节本增效、提升养殖水平的关键。本研究重点围绕视频监控场景中群养生猪社会交互行为开展自动检测与识别算法研究，以期为我国生猪智能化养殖构建有效的适于群养环境下的生猪行为智能分析与理解技术框架。本研究完成的主要工作包括：1）构建了大规模多类型的生猪行为视频及图像数据库，包括生猪多目标检测、脸部检测图像数据集以及生猪行为时序检测、时空检测以及行为识别视频数据集，其中生猪行为识别视频数据集已面向科研领域开源共享且将陆续开源其他数据集；2）提出了适于群养环境下的生猪多目标检测与跟踪方法，有效缓解了群养生猪存在的遮挡、拥挤以及扭曲等因素对生猪多检测与跟踪的影响，且为满足后续在生产现场端部署相关模型的需要，开展了模型轻量化的研究，实现在降低模型大小的同时保证模型的性能；3）提出了适于长时监控条件下的生猪交互行为时序与时空检测方法，创新性地在生猪行为检测领域引入时序行为定位与时空行为检测技术，通过采用不同特征融合策略及视觉注意力机制综合利用生猪社会交互行为表观与运动信息，实现从长时监控视频中直接对生猪社会交互行为发生时间与空间进行自动检测；4）提出了融合时空信息的群养生猪社会交互行为识别方法，通过设计并集成空间注意力机制与时序注意力机制，有效提升了生猪社会交互行为特征学习与识别性能，并在群养生猪行为视频数据集上对其有效性进行了验证。项目研究的整体情况符合预定研究计划，并完成了各项预期研究目标，取得了具有较好的理论意义与应用前景的研究成果，为促进我国智能化养殖技术自主创新，提升生猪养殖现代化、智能化水平提供了有效的数据与技术支撑以及科学的模型与理论依据。