自然场景中的图形符号识别

自然场景中的符号识别是图形识别领域的新方向，可用于自主驾驶车辆、环境感知、信息检索等，本项目拟研究自然场景图像中的符号检测和识别，并研制原型系统。在符号检测方面，采用特征选择结合分类的技术方案，为了解决自然场景图像在特征空间的类分布较为散乱的问题，从局部类分布出发定义优化指标，研究新的特征选择方法。有别于基于符号检测串联符号识别的传统技术路线，本项目拟探索基于符号检出（Symbol Spotting）的新技术路线，自然场景下的符号检出研究目前基本是空白，本项目引入高维形状分析的新方法，对于局部描述子在特征空间形成的点云进行特征提取，在此基础上的目标分类不但依赖单一的局部特征，同时利用了局部特征之间的相互约束关系形成的高层特征，因此有望获得更好的符号检出性能。

完成了两种技术路线的研究：（a）符号分割（检测）串联符号识别；（b）基于局部描述子和点集合匹配的自然场景下的形状识别与定位。发表论文16篇：Pattern Recognition 2篇，Neurocomputing 1篇，ICDAR、GREC、PSIVT、ICIG会议各1篇，其它论文9篇。主要成果：（a1）提出了一种称作最大稳定前景区域的目标分割方法，可以从自然场景图像中分割出图形目标；（a2）提出了一种基于图像关键点无监督机器学习（离群点检测和聚类）的车牌文字区域检测方法，可以从自然场景图像中检测出车牌文字区域所在；（a3）为了克服形状上下文和点约束直方图【S. Yang: Symbol recognition via statistical integration of pixel-level constraint histograms: A new descriptor. IEEE TPAMI 27 (2005) 278-281】的缺点，提出了形状上下文谱特征，证明了点约束直方图可以近似地看作是形状上下文的自相关，并推导出两个点约束直方图的相似度等价于对应的形状上下文的功率谱的内积，由于所有计算完全在频域基于FFT求解，形状上下文谱比点约束直方图的计算效率更高，同时由于形状上下文谱可以看作是点约束直方图的傅里叶变换或者形状上下文的功率谱，因此继承了点约束直方图的鲁棒性、旋转和伸缩不变性，在符号识别公开测试集上的综合性能优于点约束直方图和形状上下文。该文发表于Pattern Recognition；（a4）采用多阈值图像分割，将候选构件与模板部件进行形状匹配，再基于构件几何关系一致性识别出自然场景中的目标。完成了交通标志识别实验。（b1）提出了三角形链码，用于图像关键点的形状和结构描述，通过三角形链码匹配得到相似变换，再通过仿射变换完成模板和图像的匹配，以类似图像配准的方式得到目标识别和定位结果。完成了树叶形状模板与自然场景中的目标匹配的实验；（b2）提出了一种新的图像关键点检测方法，在图像梯度空间构造基于方向和幅度的局部描述子，具有旋转和尺度不变性，并进行了理论证明，图像配准实验表明该方法具有旋转、尺度不变性，不受焦距变化、遮挡、噪声、图像模糊和变形的影响，在仿射变换图像与多尺度图像上，性能优于SIFT算法。该文发表于Pattern Recognition。