基于深度强化学习的交互式人物再识别方法研究

People re-identification can be utilized for tracking and localizing the target person cross camera network, and it is crucial technique in video surveillance systems. Based on the deep reinforcement learning technique, we employ the feedback information of verification of people re-identification, to study feature representation based interactive people re-identification problem. We first introduce a convolutional neural network to learn feature representation in different abstraction layer, and perform feature fusion using a deep belief network. The resulting feature representations are supposed to be multi-view invariant for re-identification purpose. We then formulate the interactive people re-identification in the reinforcement learning framework. To learn the decision policy for similarity comparison, we create an action-value network and a policy network to adaptively adjust the weights of the feature representation for the target person. We further extend the proposed reinforcement learning model to the multi-task and multi-policy configuration, and simultaneously explore the optimal solution in the continuous action space to improve the generalization ability for the interactive re-identification. The essential goal of this project is expected to provide theoretical and technological solution for the interactive people re-identification problem, and the study of the applications of the deep reinforcement learning technique in the interactive people re-identification problem.

人物再识别能够实现摄像机网络中目标人物跟踪与定位，是视频监控系统中的关键技术。本项目基于深度强化学习技术，利用验证人物的反馈信息，对基于特征表示模型的交互式人物再识别问题进行研究。首先，利用卷积神经网络在不同抽象尺度上学习特征表示，通过深度置信网络进行特征融合，建立具有视域不变性的多尺度人物特征表示模型。其次，在强化学习框架下对交互式人物再识别问题形式化定义，构建动作值网络与策略网络，学习适合目标人物的特征表示选择策略，在交互过程中动态调整相似性比较模型。再次，利用多任务多策略机制对强化学习模型建模，实现多任务的并行训练，在连续动作空间中搜索解决交互式再识别问题策略的最优解，提高模型泛化能力。研究工作的实施为解决交互式人物再识别问题，以及深度强化学习在交互式人物再识别问题中的应用提供理论和技术基础。

人物再识别对相同人物在不同摄像机视域中拍摄到的图像进行关联匹配，实现对人物在摄像机监控网络中全局搜索。人物再识别是视频监控系统中关键技术，安防部门通过人物再识别，能够对特定目标人物进行跟踪与定位，为应对突发事件高效部署警力提供有力支持与帮助。本项目利用深度强化学习技术对基于验证反馈机制的人物再识别问题进行研究。..项目研究方法首先利用深度学习的特征学习能力，从原始图像上学习人物特征表示。根据人物再识别问题的特点，研究方法将分类任务与验证任务整合到一个网络模型框架中，构建具有双分支结构的深度卷积神经网络，学习不同抽象尺度上特征表示。进一步利用深度置信网络（Deep Belief Network）对不同抽象尺度的特征表示进行融合，最终形成多尺度的人物特征表示模型。项目研究方法其次以多尺度人物特征表示模型为基础，根据相似性比较模型，定义动作，环境、状态、回报（Reward）等强化学习系统基本要素，利用深度神经网络构造动作值网络（Action-Value Network）与策略网络（Policy Network），描述回报期望与状态动作映射关系，通过引入Actor-Critic及回放缓存等方法，在高维连续状态动作空间中对网络参数模型优化求解。研究方法最后利用多任务多策略对深度强化学习模型进行扩展。针对多任务训练形式，研究方法设置共享参数累积多个任务的梯度更新信息，实现对动作值网络与策略网络模型的异步更新；针对多策略探索形式，研究方法建立回放内存对多任务回放缓存经验采样，共享多个任务中有价值的训练数据。通过多任务多策略强化学习建模，提高网络模型的泛化能力。..项目研究工作在三个大规模行人再识别数据集上对设计算法进行验证。与当前人物再识别取得最好结果的IDE Baseline方法比较，提出算法在Market-1501和DukeMTMC-reID数据集上使Rank-1分别提升了2.9%和3.3%，mAP分别提升了4.8%和4.2%；在CUHK03-NP（Detected）和CUHK03-NP（Labeled）数据集上使Rank-1分别提升了4.6%和6.3%，mAP分别提升了5.5%和5.8%。