高精度非接触式体感数据采集仪研制

Natural human computer interaction (HCI) is an inevitable trend in the modern information society. Real-time somatosensory data acquisition is the fundamental prerequisite of natural HCI, and therefore, is the key point to promote the development of intelligent HCI technology. However, the accuracy, usability and speed of somatosensory data acquisition cannot satisfy the requirement of natural HCI and human body slight motion semantic perception, and therefore, have become the bottlenecks of the intelligent HCI technology. In this project, the adaptive dynamic structured light is generated based on human body motion skeleton model to form an initial depth image. Then integrated with color image sequence, the initial depth image will be enhanced by sparse coding to obtain a high-resolution, high-precision depth image. After that, the high-precision depth image, human body motion skeleton model and the multi-source heterogeneous data are combined together to form an accurate and robust somatosensory data-aware computing. At last, the special instruction processor (ASIP) is designed to construct a multi-granularity parallel processing structure, which can realize the real-time somatosensory outputting and make the perception of slight motion semantic possible. This research can greatly promote the development of research areas such as computer science, signal and information processing, robot vision, and sensing technology. It will also build a solid theatrical and technical background in the future development of international somatosensory industry.

和谐自然的人机交互是现代信息社会发展的必然趋势, 而实时体感数据是和谐自然人机交互的重要前提和基础, 获取人体运动数据成为推动和谐自然智能人机交互技术发展的关键。目前体感数据获取的精度、实时性还无法满足自然人机交互和感知人体微小动作语义的需求，这已成为制约智能人机交互技术发展的瓶颈。本项目首先结合人体运动骨架模型，通过产生自适应动态结构光获取初步深度图像，经稀疏编码修补，并融合彩色图像序列信息，形成高分辨率、高精度深度图；其次基于该深度图及运动骨架模型，融合多源异构数据，准确鲁棒地计算体感数据；最后结合专用指令处理器ASIP构造多粒度并行处理结构，实时输出高精度体感数据，并完成采集仪器的研制，使得感知人体微小动作语义成为可能。该研究可以推动计算机科学、信号信息处理、机器人视觉、信息感知等学科的发展，并为未来我国在国际体感技术和产业的发展中占据主导地位提供理论和技术基础以及设备保证。

和谐自然的人机交互是现代信息社会发展的必然趋势, 而实时体感数据获取是人机交互的重要前提和关键。目前体感数据获取的精度、实时性还无法满足自然人机交互和感知人体微小动作语义的需求，这已成为制约智能人机交互技术发展的瓶颈。本项目在高精度非接触式体感数据获取方面展开了深入的研究，重点突破体感深度数据获取中实时处理与精度的瓶颈，首先在模板设计、匹配方法、精度提高开展工作，先后提出了基于黑白条纹结构光、基于随机模板以及基于混频结构光等一系列创新性的深度获取方法，实现了亚像素级的毫米级体感深度数据获取。在体感数据计算方面，提出了基于测地距离像素聚类和稀疏回归模型的人体姿态估计方法、基于子空间聚类的人体部位分割方法以及拉普拉斯低秩表示的人体行为分析模型；提出了基于时空语义度量的手势相似度度量方法用于手部数据库检索；提出了多分辨率级联树结构模型的面部特征点定位检测方法。最终研制出高精度非接触式体感数据采集仪。研制了高精度非接触式体感数据采集仪，该采集仪的最优深度测量精度优于5mm，深度图像分辨率达到了2K*2K，最大流输出率可达30fps，测量距离能够兼顾0.3-6米，对人体骨架特征点数为16，脸部特征点数可达46点，手部特征点数为11×2。该研究推动计算机科学、信号信息处理、机器人视觉、信息感知等学科的发展，并为未来我国在国际体感技术和产业的发展中占据主导地位提供理论和技术基础以及设备保证。