车辆行为理解中的目标特征抽取理论研究

Intelligent high-definition (HD) image and video analysis in the Intelligent Transportation Systems (ITS) is one of the important contents in the National '12th Five-Year Development' Plan of the Internet of Things (IOT). And it also has very important research value and broad application prospect. Object feature extraction in vehicle behavior understanding is the foundation and the key research in this field. There are many factors significantly affecting the ability of vehicle's feature extraction, including the complexity of the urban road environment, the affection of the varied illumination and weather, the special pose of the camera, the contradiction between the huge data in HD image and the limited computing power of embedded device, and so on. Because the existing methods do not consider all these factors at the same time, so they are difficult to meet the demand. Based on our previous work, we plan to develop new corner points and line detection method using such concepts as multi-scale, region of interest (ROI), and the relation stable-state. We also plan to develop the method of feature combination and measure based on the results of moving object region detection. These will result in the robust feature descriptor for vehicle and will overcome the shortcomings of existing methods. The whole work will be developed according to the sequence of modeling, algorithm design and implementation, theoretical and experimental analysis. In addition, this project can not only satisfy real-world application requirements, but also can explore new ideas in the theory of feature extraction, especially in such aspects of the features' scale, robustness and the features' combination and measurement.

智能交通系统中的高清图像视频智能分析技术是国家物联网"十二五"发展规划中的重要内容，具有十分重要的研究价值和应用前景。车辆行为理解中的目标特征抽取又是该领域研究的基础和关键。城市道路环境的复杂性、全天候光照和天气影响、摄像机的特殊视角、高清图像信息量巨大和嵌入式设备运算能力有限的矛盾等都显著影响车辆目标特征抽取的实时性和可靠性。现有方法未能同时考虑上述诸因素，故难以满足实际需求。本课题旨在已有工作基础上，发展出能够综合利用多尺度、兴趣区域、关系稳定性的角点、直线段等特征抽取方法和在运动区域检测基础上的目标特征组合和度量方法，形成车辆目标的显著特征描述子，以克服现有方法不足。整个工作围绕建模、算法设计和实现、理论分析和实验对比等方面展开。此外，本项目的研究不仅能解决现实应用需求，而且能为特征抽取理论中的特征尺度、鲁棒性、特征组合和度量等理论研究探索新思路。

车辆行为理解中的目标特征抽取是智能交通系统中高清视频智能分析技术的基础和关键。城市道路环境的复杂性、全天候光照和天气影响、摄像机的特殊视角、高清图像信息量巨大和嵌入式设备运算能力有限的矛盾等都显著影响车辆目标特征抽取的实时性和可靠性。本项目针对以上问题，主要研究工作如下。.（1）研究了基于局部区域信息的特征描述子构造与匹配方法，特别是二值描述子的构造与匹配问题。将二值描述子USB与颜色特征融合，用USB特征实现目标的粗匹配，再用颜色特征滤除错误的匹配，有效提升二值描述子的匹配性能；进一步采用基于最小哈希的二值特征匹配方法，替换传统的贪婪搜索算法，提升了特征匹配的准确率和召回率，并降低了时间复杂度。.（2）研究了基于几何空间信息的特征表示与匹配研究。将SIFT/SURF等特征描述子与目标的几何空间分布结合，在对称SURF描述子的基础上结合全局空间信息，既通过镜像变换增强了SURF检测特征的空间对称性的能力，又可以在图像有多个相似区域的情况下减少错误匹配；针对BP-SIFT，采用特征点相对距离约束和基于BOW模型的邻近特征点选择方法，有效提高特征匹配的准确率并降低时间复杂度。.（3）研究了基于特征表示的运动目标检测与跟踪研究。提出了基于差分边缘描述子的运动车辆目标检测与跟踪方法，采用基于关系稳定性的直线段提取，有效避免了运动目标检测中的背景干扰和单幅图像中目标特征提取计算量大的问题；在SIFT特征跟踪基础上引入GrabCut提取前景的跟踪方法，能有效解决车辆姿态及位置远近变化的问题；对TLD算法的改进，通过引入基于Meanshift 和Kalman预估方法，有效缩小检测模块的检测区域，引入颜色特征分类器替换灰度直方图提高目标识别能力，对综合模块的改进以提升目标跟踪的成功率；改进ViBe运动目标检测方法使之更适用于运动车辆目标检测与跟踪，通过帧差法加速预处理过程，通过结合目标的边缘特征消除车辆目标的阴影影响。.（4）研究了自然监控图像的质量分析与评价。给出了一种基于Contourlet变换和SSIM相结合的图像质量评价方法；针对NIQE图像质量评价方法，在MVG模型建立过程中加入兴趣区域选取，使得评价结果较NIQE方法更为合理；针对自然监控图像的噪声和污染特性，从灰度统计、平滑滤波、梯度信息、帧间差异等角度快速识别自然监控图像的质量退化原因。