复杂场景的人机共融目标检测与跟踪技术研究

Computer vision has been well investigated in recent years. But a vision system still can not replace human beings since there are many sophisticated situations in real-world applications. Machine and human need cooperation when detecting unpredictable targets in various scenes. Not many traditional vision systems tried to combine human operations and vision algorithms which usually work independently. Therefore the human offered information was not well exploited for object detecting and tracking. In this research, we plan to collect and establish a new dataset containing realistic human-computer interactive operations. Based on the data, we plan to propose an automatic refinement algorithm for noisy hand inputs. Then research on object detection using deep learning technology will be conducted. The detection results can support the human-involved refinement process and also be an alternative initialization method on their own in some applications. Furthermore, we will explore new tracking methods using deep learning networks to improve tracking performance in complicated backgrounds with heavy occlusions. We also plan to transplant these vision algorithms to a FPGA-based system and finally build a human-machine coexisted vision system for fickle real-world tasks.

近年来计算机视觉技术有了长足的发展，但在实际应用里，视觉系统将面对许多复杂的场景，机器视觉系统无法完全代替人类完成所有工作，机器视觉系统往往需要与人共同工作从纷繁复杂的场景中捕捉跟踪各种预先无法确定的目标。传统视觉系统往往并未关注与如何将人的操作与机器视觉系统融合，实现检测与跟踪效果的优化，以最大限度的有效利用人所提供的信息进行目标的检测跟踪。在本项目中计划首先建立人机交互的数据集，在此基础上研究人机交互的输入建模以及交互输入信息的恢复与去噪，其次应用深度学习技术研究目标检测，一方面用于支持有人输入的目标区域的有效恢复，另一方面与人机交互方式互补结合完成对目标区域的确定与初始化。进一步我们研究面向复杂环境开展抗遮挡的跟踪技术研究，利用深度学习技术建立起有效的跟踪技术，以便最终在复杂场景中实现人机共融的目标检测与跟踪。最后研究研究算法的嵌入式FPGA实现，构建人机共融的目标检测与跟踪系统。

近年来计算机视觉技术有了长足的发展，但在实际应用里，视觉系统将面对许多复杂的场.景，机器视觉系统无法完全代替人类完成所有工作，机器视觉系统往往需要与人共同工作从纷.繁复杂的场景中捕捉跟踪各种预先无法确定的目标。传统视觉系统往往并未关注与如何将人的.操作与机器视觉系统融合，实现检测与跟踪效果的优化，以最大限度的有效利用人所提供的信.息进行目标的检测跟踪。在本项目中计划首先建立人机交互的数据集，在此基础上研究人机交.互的输入建模以及交互输入信息的恢复与去噪，其次应用深度学习技术研究目标检测，一方面.用于支持有人输入的目标区域的有效恢复，另一方面与人机交互方式互补结合完成对目标区域.的确定与初始化。进一步我们研究面向复杂环境开展抗遮挡的跟踪技术研究，利用深度学习技.术建立起有效的跟踪技术，以便最终在复杂场景中实现人机共融的目标检测与跟踪。最后研究.研究算法的嵌入式FPGA实现，构建人机共融的目标检测与跟踪系统。