便携式人机交互系统中关键问题研究

The ideal way of human-computer interface (HCI) must allow comfortable, convenient user experience at anytime and from anywhere. The conventional HCI mechanisms, however, either require a large size to guarantee comfortable user access (e.g., laptop), or sacrifice amenity to enable portability (e.g., cell phone). To address the above problem, this research proposes a new HCI mechanism by taking advantage of the latest advancement of microelectronics. The miniaturized, low-power HCI system consists of image sensors, projector module, and a system-on-chip (SoC) for processing capabilities. User input is captured through gesture recognition and projection techniques. The HCI can be integrated into any mobile devices for anytime, anywhere operations. The proposed technology has wide applications such as pervasive computing, remote interaction and control (e.g., applications under harsh environment), and smart office. The proposed work is aimed to solve 3 key problems: 1) highly accurate and reliable HCI theory and methodology for comfortable and real-time user experience, 2) projection theory and methods under complex environments with a wide range of illumination, roughness, texture, and non-fixed projection plane; and 3) system-level low-power strategy and method as well as low-power SoC architecture.

随时随地可进行舒适的、方便的操作是人机交互的理想状态。传统的人机界面系统，或者为了保证操作舒适性而体积较大，如笔记本电脑，或者为保证便携性而牺牲操作舒适性，如手机。为了解决这一问题，本课题将一种新的人机交互理念结合微电子技术，提出一种由图像传感单元、投影单元以及控制与处理SoC单元构成的微型化、低功耗、嵌入式的人机界面系统，基于投影和手势识别以实现舒适的人机交互。该人机界面系统可嵌入移动终端平台实现随时随地的人机操作。这种人机交互方式的新概念具有广阔的应用前景，如无所不在的计算，远程人机交互与控制（恶劣环境应用、便携式应用），现代化的办公环境等。本课题研究内容重点解决三方面问题：1）兼顾低功耗，具有高准确性、高稳定性的，实时、舒适的人机输入理论与方法；2）不同粗糙度、纹理色彩、非固定平面等复杂环境下的投影理论与方法；3）系统级低功耗策略与方法，及低功耗SoC构架设计。

随着物联网技术、可穿戴式技术、AR/VR等技术的迅速发展，以及人们对生活品质的要求不断提高，“无处不在”的舒适人机交互需求显得越来越迫切，而传统的人机交互方式已成为了“无处不在”人机交互发展的瓶颈。为了突破这一瓶颈问题，本项目将一种新的人机交互理念结合微电子技术，提出了一种采用微型投影单元+图像传感单元构成的便携式人机交互系统。重点研究了一种兼顾低功耗，具有高准确性、高稳定性的，实时、舒适的人机输入理论与方法；不同粗糙度、纹理色彩、非固定平面等复杂环境下的投影理论与方法；系统级低功耗策略与方法，及低功耗SoC构架设计。通过上述研究，课题组针对具有明显特征点、线等人机交互界面(比如键盘等)，实现了一种基于结构光方法的低复杂度，且高准确度和稳定性的手指触碰方法，触碰精度小于1mm；针对无明显特征点线的人机交互界面，课题组提出并实现了一种基于隐含结构光方法的高精度且低复杂度的手指触碰判断方法，触碰精度小于1mm，上述方法均避开了常规的手势分割与手势识别，因此节省了巨大的计算量，实现低复杂度；在上述基础上，考虑无处不在的人机交互系统特点，课题组还提出并设计了一种适合于硬件实现的高准确度裸手静态手势分割（F1>96.3%,精度>92.6%）与高精度识别(97.1%-99.9%)方法，使得系统能支持裸手的快捷键操作方式。