基于数据驱动和随机句法的视觉行为理解

行为理解是计算机视觉、模式识别领域的一个重要研究方向和研究热点。目前对于特定行为的识别工作（任务驱动的工作）数据依赖性强，数据库中的行为主体按一定要求对动作行为进行"表演"。而在自然真实场景中，即使对一些简单行为类别,当前工作的识别结果也很难令人满意。因此，本项目将研究一种数据驱动的视觉行为理解方法，以智能视觉监控为应用背景，无监督地学习自然真实场景中频繁发生的行为模式（并非某一特定行为），并基于得到的行为模式实现异常检测。由于句法方法对结构信息具有强大的表达能力，本项目将主要利用随机句法对场景中出现的频繁行为模式进行建模。本项目以国际上视觉行为理解的研究发展趋势为指导，以鲁棒的局部图像特征为基础，以构建视觉行为内在的时空结构为目标，以随机句法为桥梁，研究从底层图像特征到高层语义行为之间的跨越，具有很强的创新性和实用性。

围绕本课题两个主要研究内容，即行为感知基元抽取与行为结构模式学习与推理，我们开展了广泛的研究工作。在底层行为特征抽取与描述方面，我们提出基于慢特征分析的视觉行为感知特征的获取方法，从连续轨迹及其中心周围图像片段序列中自动抽取多种不变量作为行为识别的描述特征，并在暴力视频检测和基于人体骨架的行为识别方面取得不错的实验效果。同时，在高层行为结构模式表达、学习与推理方面，本课题利用视频分析中经常使用的两种底层时空特征，即运动轨迹和时空感兴趣点，采取了数据驱动的原型模型和层级式随机图模型扩展了传统随机句法对时空特征间的结构表达，实现了对视觉行为的高阶时序和共生关系的灵活高效表达，并提出基于动态规划和马尔科夫链蒙特卡罗的模型推理方法，在手语轨迹识别和视频行为识别方面取得优异性能。本课题相关工作在计算机视觉主流期刊或会议发表论文7篇，投稿期刊1篇，申请专利2项，共同培养博士研究生2名，并通过算法研发和数据积累为行为识别研究奠定了坚实基础。