面向工业环境中人机协作应用的人体检测与动作识别算法研究

In the Industry 4.0 plan's grand blueprint, "people" is still an important production element. One of the core features of Industry 4.0 is the Human-machine integration which making full use of human intelligence and robot repeatability and high-precision, but not the realization of the so-called "no man factory" which purely replaces the man with the robots.. To establish a Human-machine integration system, we must first realize the extraction of "human" information in industrial environment, including human position information and action behavior information. Although there are many research results on the detection of human body and action recognition, but the traditional algorithm can not be used in the industrial environment directly for some reasons, such as the installation method and mobility of the robot vision system, the uniformity of obscurity, occlusion, the relationship between the action and the handing object. Therefore, taking the applications of Human-machine integration in industrial environment as the starting point, this project will combine with the traditional algorithm and the latest depth learning algorithm, research on the human detection algorithm based on the cascade algorithm and dual-stream convolution neural network, and research on the action recognition based on multi-modal Depth Learning and Long-Short Term Memory Artificial Neural Network. The research results of this project are the important foundation of the research of Human-machine integration system, and it will be widely used in the future intelligent manufacturing.

在工业4.0的宏伟蓝图中，“人”依然是重要的生产元素，纯粹的用机器人代替人实现的所谓“无人工厂”并不是其主要目标，而能够充分利用人的智能性和机器人高精度可重复性的人机共融系统，才是工业4.0的核心特色之一。. 建立一个人机共融系统，首先要实现工业环境中“人”信息的提取，包括人体位置信息和动作行为信息。虽然在人体检测和动作识别问题上已有很多研究成果，但是由于在工业环境中，机器人视觉系统安装方式及移动性、统一衣着混淆、遮挡、动作与手持物相关联等复杂特点，传统算法并不能达到很好效果。因此，本文以工业环境人机共融应用为出发点，充分结合传统算法和最新的深度学习算法，提出基于级联算法和双流卷积神经网络的人体检测算法,以及基于多模态深度学习与长短期记忆人工神经网络相结合的动作识别算法。本文的研究成果是人机共融系统建设与研究的重要基础，在未来的智能制造中用途广泛。

现代化生产过程正不断向自动化、智能化发展，但是在很多场合如装配、包装、检测等却仍然需要大量的人工作业。而人工作业过程在一致性、稳定性、可靠性等方面均弱于自动化设备，此外还需要大量的培训时间。为解决人工流水线上的操作监管以及操作培训问题，本项目针对工业环境下人体动作检测开展研究，研发了两种算法。1)基于拓扑结构分析的2D手腕轨迹动作检测算法。针对2D手腕轨迹数据，提出了拓扑结构分析方法，包括改进自适应谱聚类算法、轨迹点簇椭球体拟合算法、拓扑结构优化算法、参数微调算法，还包括了利用拓扑结构参数的动作推理算法。经实验对比，该方法在识别准确度要高于CNN类算法，以及LSTM类算法，此外，该算法结构轻量化，运算资源需求低，可用于搭建低成本实时检测系统。2)基于改进HCN算法的2D人体骨架动作检测算法。针对2D骨架数据，提出了基于改进HCN的动作检测算法，包括2D骨架数据的后处理算法、基于关注机制的训练数据集选择算法、随机噪声优化法等。实验测试结果表明，本算法在大部分数据集中获得很好的识别结果，算法结构同样有轻量化特点，训练和推理均无需GPU。除了这两种算法外，本项目还研发了一款3D人体骨架采集系统，为将来的进一步研究，以及研究成果的产业化打下基础。