基于视觉和惯性传感器融合的用户意图感知问题研究

It is the necessary prerequisite to accurately acquire the user’s intention for high-quality human-computer interaction. Most of the existing systems use voice, hand gesture to sense the user’s intention. Human’s gaze has great advantage of expressing user’s intention expressively and intuitively. The existing eye trackers, or Google Glass similar systems partially achieve this function, however, their high cost and the proprietary design forbid their wide adoption. Targeting on the low accuracy of inertial sensors in the Commercial Off-The-Shelf (COTS) smart devices, we propose a vision-based inertial sensors calibration system based on spatial attitude estimation. Obtaining the accurate spatial pose, we then propose a lightweight face and gaze tracking system by cooperating with the front and rear cameras. The privacy and security are also critical for human-human interaction. We propose a secure authentication protocol for ad-hoc communication based on mutual information in visual communication. The last but not the least, we will implement a prototype on user’s intention acquisition and secure communication using COTS smart devices.

准确探知用户意图是人机交互系统提供优质服务的必要前提。现有系统多利用语音、手势等方法实现意图感知，而人眼注视点能够极强的表现用户意图，有着快速、直观等优势。现有的眼动仪、谷歌眼镜部分实现了眼球追踪功能，但其昂贵的售价导致并未被广泛使用。课题组拟利用已被广泛使用的智能手机自带的摄像头与惯性传感器，实现一个视觉与惯性传感结合的人机交互系统。课题组首先针对智能手机的惯性传感器精确度差，拟实现基于视觉的空间姿态检测的惯性传感器校准方法。利用校准的惯性传感器获取手机姿态，再通过轻量级前置摄像头眼球追踪算法，结合后置摄像头便能实现基于视觉的人与关注物体的交互。同时，人与人的交互过程中，安全与隐私是极其关键的问题，课题组拟利用交互双方视觉互信息的相关性，为人与人交互的安全与隐私问题提供有效的解决方案。最终，课题组拟搭建一个基于智能移动终端的利用视觉与惯性传感融合的用户意图识别与安全通信原型系统。

智能感知技术促进了物理世界和数字世界的无缝融合，成为新一代信息技术发展的基础。对用户意图的准确感知和实时预测为实现智能人机交互奠定基础，然而，现有的意图感知方法大都需要用户绑定专用设备，且对应用环境有着严格的要求，极大地限制了其应用场景和应用范围，课题组注意到视觉注视点检测是最直观的用户意图感知途径，有效地捕捉注视点可以有效地丰富人机交互手段。课题组将物联网技术和人工智能技术进行深度融合，提出了一种基于智能手机的人眼注视点估计方法，该方法允许用户以自然的方式注视目标物体，实现了人物之间的友好交互。同时，为了解决手机内置传感器误差较大的问题，提出了基于视频与射频信号融合位姿估计与校正方法，并进一步提出了基于随机光投影的用户配对与认证方法，提高了用户交互的安全性和可靠性。..课题总体执行情况良好，研究内容均已完成，各项指标均已实现，并取得较为丰富的成果，共发表国际高水平学术论文15篇，其中，CCF A类期刊和会议论文6篇，申请专利7项，授权1项。项目组多项成果已进行了产业化转化，和行业优势单位合作，产生55.8万台销售量，转化6项相关技术发明专利。培养青年教师3人，博士5人，10人，邀请多位国内外专家学者进行学术合作和访问，产生了较大的影响力。