移动终端视频目标快速识别技术研究

Video object recognition based on machine learning technologies has been developed rapidly in these years. However, due to the computational complexity of recognition algorithms, there is no successful video object recognition application for mobile devices so far. We try to solve this problem by improving efficiency of feature extraction and classifier training. In this project, research works focus on three topics. Firstly, design and implement new features to accelerate feature extraction. Secondly, integrate local features and region features so that these multi-level features cover larger area of target objects. Finally, we use scale factor to simplify feature calculation between two adjacent scale images. The key problem is to find an optimal tradeoff between accuracy and efficiency. The key technologies of this project have extensive application prospect and，they can be implement to realize huge market values by means of cooperation with business partners.

基于机器学习的视频物体识别算法在近些年得到了快速发展，但由于算法的计算复杂度较高，目前还没有在移动终端上实现视频物体快速识别的成功应用。我们立足于提高特征提取和分类器训练的效率来解决这个问题。本项目的研究重点是：（1）设计实现描述视频对象的新特征，提高特征计算的效率。（2）将局部特征和区域特征融合，在不同尺寸区域以及不同长方比区域中计算特征值，使组合特征可以更好地描述不同类型目标在较大区域内的特征分布情况。（3）引入缩放因子，简化相邻缩放尺度图像中的特征提取，找到算法效率和算法准确率之间的最佳平衡点，在保证识别准确率的同时提高系统的识别效率。本项目研究的关键技术拥有广泛的应用前景。通过与企业合作可以在智能安防、智能交通、电子商务等领域实现巨大的市场价值。

受到算法复杂度高的影响，当前基于机器学习算法的视频物体识别技术仍然存在运行效率低的问题。本项目中采用三个方法来解决这个问题： (1)实现了BPG(Binary Patterns of Gradients)特征。在保留像素梯度分布信息的同时，大幅度缩减了特征向量的维度，提高了特征提取的效率。(2) 将BPG特征与积分通道特征组合形成特征池。当特征池包含38970个特征时，系统达到20.34%的最低错误率。在台式电脑上的运行速度超过了30FPS。达到了实时目标检测的目的。(3) 通过对积分通道特征的实验，得到最优的上采样因子和下采样因子。当图像缩放尺度在0.5 - 2.0之间时，识别准确率的下降可以控制在3%以内。而运算速度比不采用这一方法时提高了大约1.8倍。并且在移动终端上完成了对不同物体的识别分类实验。. 上述三个预期目标在2016年底已经提前完成。由于近些年来基于深度神经网络的方法在计算机视觉领域的快速发展，从2017年开始，研究工作集中在利用卷积神经网络实现图像和视频物体识别分类。在提高目标识别准确率方面，通过结合VGGNet，Region Proposal Network和一个新型分类器（Fast Boosted Tree），在不同的物体识别数据集上都取得了很高的识别准确率。在提高深度神经网络运行效率方面，我们采用多个神经网络集成的方法。首先由多个不同深度层次的神经网络组成候选网络集。然后通过实验，确定了3个深层神经网络和1个浅层神经网络做为最终的网络组合。我们在数个人脸表情识别数据集上验证了这个方法的可行性。网络集成方法不仅降低了网络的复杂性，而且可以采用并行处理方式加快系统运行的效率。. 本项目资助发表期刊论文3篇，会议论文8篇。培养硕士研究生7名，联合培养博士研究生1名。