多源信息融合的宠物狗身份识别理论与算法

At present, lots of research works on human face and speech have been done in the field of pattern recognition. However, the research of animal recognition has not been widely studied. According to the information of speech and images provided by the pet dog video data, we use the idea of division and fusion in this project to study the pet dog identification method based on multi-source information fusion. The main contents are provided as follows. Firstly, we translate the speech signal decomposition into speech signal classification problem, study the subspace and collaborative representation theory and the characteristic of speech signal decomposition, and propose speech signal decomposition method based on subspace weighted collaborative representation method. Then, we use the image information from video and propose a tree structure deep neural network to do pet dog classification and key points of pet dog identification. At last, we extract the global and local features from the image and combine them with speech signal feature, adaptively calculate the weight of each feature, and build pet dog identification model based on multi-feature fusion. Beside this, the high performance algorithms are also studied to achieve the purpose of real-time and accurate pet dog identification. The research of the proposed project will not only establish the solid fundamentals for feature extraction, feature fusion, classification and identification of pet dog, but also has theoretical significance and application value for other pets identification, wildlife conservation and livestock management.

目前，在模式识别领域对人脸和人类语音的识别做了相当大量的研究工作，但是，对动物的相关识别研究尚未广泛开展。本项目基于相关宠物狗视频提供的语音和图像信息，利用先分治再融合的思想，研究多源信息融合的宠物狗识别方法。主要内容为：首先，将语音信号分解问题转化为分类问题，根据子空间和协同表示理论和语音信号分解的特殊性提出基于子空间加权协同表示的语音信号分解方法。其次，根据图像信息，利用分层思想提出树结构深度神经网络对宠物狗分类和确定特征点。最后，提取图像的全局和局部特征，结合语音信号，自适应计算各个特征在识别中的权重，建立多特征融合的宠物狗识别模型；设计相关高性能算法，以满足实时、准确识别宠物狗的目的。项目不仅为宠物狗特征提取、特征融合、分类识别等提供强有力的支撑，同时对其他动物的身份识别和管理、野生动物保护、家畜的饲养管理等方面具有重要的现实意义和作用。

本项目针对宠物狗识别的实际应用问题，构建了一套多源信息融合的宠物狗身份识别方法。提出了基于空洞金字塔模型的DC-SSD网络，该网络从SSD的浅特征层和中深特征层分别入手，引入空洞金字塔和特征空洞金字塔模型进行改进，有效的提升了网络检测被遮挡目标和小目标的能力，提出了基于注意力融合机制的DC-Attention-SSD网络，对提取的狗脸图像特征进行筛选，从空间和通道两个方面减少背景特征的影响并使用特征融合法增强狗脸特征的信息，有效的提高了复杂背景下目标检测的准确率。针对狗脸检测工程化所需的检测速度问题，提出了使用轻量化卷积代替传统卷积的方法来提升检测速度，有效的降低网络运算量，为本项目的实际工程应用创造了必要的理论和技术基础。.针对狗脸图像中小目标和被遮挡目标的问题以及SSD算法对于小目标检测不佳的问题，提出了基于空洞金字塔模型的DC-SSD算法。实验结果表明改进后的网络检测小目标精度提升了14.3%，被遮挡目标精度提升了3.4%。.针对狗脸图像中复杂背景下目标难检测的问题，项目提出了基于注意力融合机制的DC-attention-SSD算法。在分析了目前主流的用于复杂背景下目标检测的方法后，确定了以同时使用最大池化与平均池化的CBAM注意力机制来提高DC-SSD算法过滤背景特征的能力，并且通过特征融合原理将已过滤背景的特征图进行融合来提高目标的特征。实验结果表明加入注意力融合机制后网络检测复杂背景目标精度提高了11.6%。.针对DC-attention-SSD算法相对于SSD算法出现检测下降的问题，项目提出了使用轻量化卷积代替传统卷积的方法进行改进，在分析了数种用于轻量化神经网络的方法并进行实验后，决定使用异构卷积改进DC-attention-SSD算法中的VGG-16网络，使用非对称卷积改进额外网络部分，根据试验结果，改进后的网络在检测速度上提升了13帧每秒。.利用深度学习下YOLOv3目标检测算法，在原先使用Darknet-53网络结构提取特征的基础上，融合了残差网络，改进了其特征提取部分，从而实现对目标的检测。通过实验结果分析发现，此方法的平均准确率达到99.2%。相比于传统的机器学习，其准确率有了大大的提升。