基于运动上下文学习的老鼠社会行为检测与识别研究

A critical approach of neuroscience research is to understand how specific behavior is encoded in the brain by conducting mouse experiments. Observing mouse behaviors by a human is time-consuming, labor-intensive and vulnerable to the introduction of subjective errors, therefore is not good for conducting large-scale experiments. This project studies an automatic approach for mouse behavior observation by exploiting computer vision techniques.Existing methods rely on visual tracking to obtain position information of one mouse or two mice and then recognize some simple mouse behaviors. However, in a complex scene of multiple mice, the low contrast and severe occlusion between mice will cause some difficulties for visual tracking.To overcome these difficulties, we study mouse social behavior detection and recognition based on motion context learning: 1) By simulating early and intermediate levels of visual cortex, we propose a bottom-up motion feature learning method based on unsupervised deep sparse coding. The learned motion features are invariant to shape changes. 2) With auto-context and Adaboost, we automatically learn motion context models, which are capable of discriminating mouse social behaviors. 3) To achieve real-time processing, we study to exploit the accelerated proximal gradient method and the alternating direction method to solve spare coding coefficients and online dictionary learning.This project will provide a useful tool for neuroscience researchers to conduct large-scale mouse experiments and also provide a novel framework of motion feature learning and classification for high-level semantics understanding in videos.

神经科学研究的一个关键手段是通过老鼠实验理解特定行为在大脑中的编码机理。人为观察老鼠行为耗时耗力且极易引入主观误差，不利于进行大规模实验。本项目研究利用计算机视觉技术自动地观察老鼠行为。与现有方法依赖视觉跟踪得到单只或两只老鼠的位置信息，继而识别其简单行为不同，本项目针对复杂场景下多老鼠的低区分性和严重遮挡导致的跟踪困难，研究基于运动上下文学习的老鼠社会行为检测与识别：1）模拟大脑初/中级视皮层时序信号的认知机理，基于无监督深层稀疏编码自底向上学习不随形状变化的运动特征；2）结合自动上下文和AdaBoost思想，学习由运动特征判别老鼠社会行为的运动上下文模型；3）为达到实时性，进一步研究利用高效的加速逼近梯度法和交替方向法求解稀疏编码系数和在线学习字典。本项目的研究，为神经科学家进行大规模老鼠实验提供有利的辅助工具，也为视频高级语义行为理解提供一套新的运动特征学习和分类框架。

对动物行为的识别与理解，例如，实验用小白鼠，对神经科学研究和新药的药理特性研究具有重要意义。人为观察老鼠行为耗时耗力且极易引入主观误差，不利于进行大规模实验。本项目研究利用计算机视觉技术全天候自动地对老鼠的行为进行观察并对特定行为类别进行分类。为现实这一目的，本项目所完成的主要研究内容：1）低分辨率对比度图像感兴趣目标显著度检测方法研究。2）简单背景下老鼠目标轮廓跟踪方法研究。3）复杂背景下鲁棒的鼠目标跟踪方法研究；4）老鼠行为分类方法研究。在项目执行期内，取得的重要研究成果包括：1）提出基于空间色度上下文建模的感兴趣目标显著度检测方法；2）提出基于有监督水平集的老鼠目标轮廓跟踪方法；3）提出若干个针对复杂背景下鲁棒的目标跟踪方法，包括基于生物启发的目标跟踪方法、基于基匹配的目标跟踪方法、基于赋权最小二乘的目标跟踪方法等。4）提出两个老鼠行为分类方法，包括基于独立成份分析的行为分类方法、基于时空特征的行为分类方法、基于时空上下文的行为分类方法。在项目执行期内，共发表期刊论文11篇，其中第一作者或通讯作者期刊论文8篇。共发表会议论文6篇，其中第一作者或通讯作者论文3篇。Google学术引用140次。授权专利1项。获黑龙江省自然科学二等奖1项。所取得的研究成果对利用计算机视觉技术对老鼠的社会行为进行分析具有重大意义。