基于选择性注意的交叉感知信息认知计算

With rapid development of network communication technology and wide availability of intelligent mobile devices, building human-centered sensoring and perception network (called crowd-sourcing cognitive computing) has emerged as a new model and trend of the Internet. The situation has lead to new possibilities in dealing with large-scale complex social events, and also caused many new problems and challenges. This research focuses on applying cognitive computing network technology to cross modality information fusion and perception of large-scale complex social events. We propose a three-layer cognitive computing framework based on selective attention and cross modality perception to serve general and common requirements in perceiving various large-scale complex social events. We will emphasize on several scientific problems associated with constructing such a cognitive computing framework. We will apply such framework to implement several high value-added services, including building platforms for following hot events, reconstructing scenes of major events, reproducing spatial-temporal evolution of complex events, etc. By enabling the users to visualize the perceived event and interact with it in a cross-time, cross-space, cross-view and cross-scale manner, the research project will lead to a useful tool that can help decision-makers to obtain correct, global and timely view of the hot event, and thus assisting their decision making process, and ultimately making contributions to the development of crowd-sourcing cognitive computing theories and systems.

随着网络通信技术的迅速发展以及移动智能终端的快速普及，构建以人为中心的感知与计算网络（简称“群智感知计算”）已成为互联网的一种崭新的应用模式和发展趋势。群智感知计算理论体系的出现在实现大规模复杂社会事件感知及认知计算方面不仅带来全新的思路和手段，同时也提出了许多新的技术问题和挑战。本课题的主要研究目标是应用群智感知网络实现对大规模复杂社会事件的交叉信息融合与认知。针对大规模复杂社会事件认知任务的共性需求和典型应用特征，本课题提出三个层次的基于选择性注意的交叉信息融合与认知计算体系架构，深入研究构建这个体系架构的关键科学技术问题。应用选择性注意交叉感知信息融合与认知计算体系架构，开发热点事件关注平台，实现重大事件现场场景重建，以及复杂事件过程拼接与重现等高附加价值应用，，由此取得对热点事件整体的正确认知及把握，为决策者做出科学的判断与决策奠定基础，为群智感知计算理论体系的发展及应用做出贡献。

群智感知网络通常具有低成本、覆盖广、多模态等重要特征，是克服大范围普及视频监控系统成本瓶颈的有效手段。针对大规模热点社会事件认知任务，本项目取得了如下成果：.1、提出了包含感知信息采集层、交叉关联层、融合认知层这三个层次的交叉信息融合与认知计算体系架构，围绕三层技术架构开发了系列关键技术。.2、研发了基于心理距离的数据相关度模型，基于情感分析计算信息筛选方法，以及受人脑视觉认知特性启发的高精度图像内容识别（分类）算法，实现了从海量感知信息中获取高质量、高价值、强关联的交叉感知信息。 .3、研发了基于多通道卷积神经网络的行人再识别，提出了具有若干几何不变性的局部图像特征描述子，以及基于半监督学习的新型三维人体姿态重建方法，构建了动态三维场景重建平台原型，实现了通过对多视角数据的多级处理，同时恢复出事件现场三维场景及场景中人物位置、动作和运动轨迹等，达到了对场景的高度还原。.4、研发了基于群智数据的城市安全风险检测、风险的传播建模核心技术，提出了能够将显性知识和隐性知识进行相互融合的服务点客流预测分析框架，设计了部分监督的跨域深度学习模型，实现了从碎片化数据向群智信息的转换。.5、建设了：（1）基于群智感知的公安情报分析系统，（2）基于多源数据融合的城市群智数据分析平台—城市天眼，分别在国家公安反恐，以及城市规划决策等方面发挥了重要作用。.项目组共发表论文73篇，其中SCI收录文章36篇，EI收录文章37篇， IEEE Trans.论文23篇，顶级期刊IJCV 1篇, TIP 7篇, TNNLS 3篇, TMM 5篇；顶级会议CVPR 2篇, ECCV 3篇, AAAI 5篇, SIGKDD 1篇。培养硕士研究生27名，博士研究生4名。申请发明专利24项，其中19项获得授权，授权软件著作权3项。“受人脑视觉认知特性启发的高精度图像内容识别（分类）技术”转让与海尔公司，获得上亿元经济效益。项目组负责人龚怡宏教授于2017年获得美国电气电子工程师学会会士（IEEE Fellow）称号，获得2017年中国产学研合作创新奖。主办国际会议1次。