面向跨相机跟踪的场景几何-语义联合理解与关联

The inter-camera pedestrian tracking and action detection has been one of the hot issues in computer vision, especially the tracking of camera without overlap region, since it is a difficult problem. The existing method generally setting the spatiotemporal association pattern between cameras through camera calibration, topological mapping or Manual classification secant, then redetecting the target through visual feature and space abstraction. It is defective in scene semantic. The project introduces a technology of fusion in visual computing, and propose the methods of the structure extraction according of the geometry and physical properties of objects in the scene: to calibrate the camera to three-dimensional structure of the scene, fuse every camera images and create a geometric-semantic model of joint understanding scene; On basis that learning dense trajectory in spatial and temporal extents, proposed a segmentation method of trajectory area to locate and identify the video object motion. The method don’t need the manual annotation bounding box and can unsupervised motion detection learning on video dataset. The geometric-semantic model of joint understanding scene is contribute to more accurately describe the spatial dimensions of each camera image blocks in scenes, walkable surface, depth and occlusion relationship. The project intends to explore the inter-camera tracking and associate of pedestrians on this basis, in order to verify the meaning and value of the geometric-semantic model of joint understanding scene.

跨相机的人员跟踪与动作探测一直是视觉相关领域的热点问题之一，特别是非重叠视域相机的跟踪是一个难题。现有方法大多通过相机标定、拓扑映射或手工划分割线等方式设定相机间的时空关联模式，通过视觉特征和空间抽象进行目标再识别，在充分挖掘利用场景语义方面存在不足。本课题在该问题中引入虚实融合思想，提出根据场景解析中的物体几何和语义属性进行结构提取，将相机标定到三维场景结构中，融合各相机图像，构建一种几何-语义联合理解的场景模型；在对稠密轨迹进行时空范围学习的基础上，提出一种轨迹区域分割方法来定位和识别视频对象的动作，可以不需要人工标注包围盒，无监督地对视频数据集进行动作学习。这种几何-语义联合理解的场景模型，有助于更精确地描述场景中各相机图像块的空间尺寸、可行走表面、深度以及遮挡关系等，拟在这个基础上探索非重叠视域相机网络中跨相机的行人跟踪与轨迹关联，验证这种几何-语义联合理解的场景模型的意义与价值。

多相机监控网络覆盖范围大，不同位置的相机在内容上很难关联分析，跨相机人员的动作识别及跟踪是长久以来没有充分解决并受到广泛关注的一个难题。本课题将虚实融合思想引入到多相机协作监控技术中，提出根据场景解析中的物体几何和语义属性进行结构提取，将相机标定到三维场景结构中，融合各相机图像构建一种几何-语义联合理解的场景模型，更精确地描述场景中各相机图像块的空间尺寸、可行走表面、深度以及遮挡关系等，在此基础上研究了非重叠视域相机网络中跨相机的行人跟踪与轨迹关联，对这种几何-语义联合理解的场景模型在多个典型场景中进行了有效验证，表现出重要的理论意义和实用价值，正在开展推广应用。.有关研究形成了具有自主知识产权的算法，在TMM、Science China Information Sciences、The Visual Computer等重要国际期刊和ACM MM、VR、ICASSP等重要学术会议上发表论文28篇。发表期刊论文8篇，其中SCI检索3篇，发表于CCF B类期刊的1篇论文在Google Scholar已引用23次；发表会议论文20篇，其中CCF A类会议论文2篇、B类1篇、C类7篇，2篇论文获国际学术会议论文奖。3篇学位论文获校级优秀硕士论文奖。申请国际发明专利2项、国家发明专利12项，其中2项国际专利已授权。课题组研究生积极参加相关科技竞赛，获全国研究生智慧城市大赛视频技术挑战赛1等奖1次、二等奖2次、三等奖3次，获虚拟现实国际竞赛三等奖1次。支持项目组研究骨干参加国内外学术交流和开展国际合作交流20余人次。