面向公共安全的多源异构数据融合的群体行为分析与挖掘

面向公共场所异常突发事件检测与预警的重大需求，针对密集人群多遮挡难分割、运动目标多视角难关联、行为语义多歧异难理解等核心问题，拟通过多源信息融合的理论方法，利用可见光、无线、深度等多类感知手段，探索多源异构数据的信息对齐、时空数据的表示问题；突破传统的个体/群体行为分析方法与模式挖掘方法的局限，发展融合多源感知信息的语义计算理论及多模态关联挖掘理论，揭示事件因果关系与潜在异常模式的发生、演化规律；建立融合多源感知手段的行为分析与事件挖掘技术理论体系，解决传统监控手段所面临的难题，实现复杂公共场景下，群体行为分析、异常事件的检测及预警。旨在以少量的投入大幅度提高现有公共监控系统的监控能力和智能化水平，更好地在保障公共安全、维护社会和谐方面发挥作用。

本项目是针对公共场所异常突发事件检测与预警的重大需求，利用可见光、无线、深度等多源感知手段，从数据感知、行为分析、事件挖掘这三个层次，建立了多源异构数据融合的群体行为分析与挖掘的理论与方法。提出了目标多源时空数据流对齐与表达方法，创建了其形式化描述，建立了时空相关的稀疏表示模型，提出了数据关联分析方法和基于多层次语义表达的挖掘方法，有效去除了不确定性，增强了认知准确性，提升了多源感知信息尤其是公共场所异常事件的融合挖掘与预警能力。课题有下面三方面的贡献：1) 多源异构数据的融合感知理论与方法及相关数据集的构建。为研究高维多源异构数据的感知问题，搭建了多源数据采集系统，采集并建立可供领域研究的多源行为数据集，并在此基础上提出并完成了视频、深度和无线信号的运动目标时空对齐，数据流形式化描述及在其之上的融合感知方法。2) 群体行为分析方法的突破。针对多目标轨迹难获取、群体行为认知机理匮乏等问题，通过多目标跟踪、密集群体的多层次建模学习，建立鲁棒的群体行为表达和分析方法。3) 无监督学习的群体模式与事件挖掘理论与方法。挖掘群体行为中潜藏的群体情感与群体异常模式，并通过挖掘频繁子图挖掘事件的演化规律。课题研究成果已发表在相关的国际期刊和会议上，已发表(含接收)学术论文145篇，其中国际期刊文章69篇，影响因子大于2.0国际期刊36篇（IEEE/ACM Transactions17篇，PR等其他期刊文章19篇），国际会议文章76篇，其中发表在CCF A类会议论文20篇。申请发表专利18项，其中已授权7项。项目培养已毕业博士7人，已毕业硕士15人。获黑龙江省高校科学技术奖一等奖一项，黑龙江省自然科学技术二等奖一项。项目组老师和学生多次参加CVPR、AAAI、Multimedia等顶级国际会议，组织专题会议讨论，出版IEEE Transaction CSVT 专刊，扩大了对公共安全相关领域的群体行为分析与挖掘理论与方法的认同度和影响力。