基于手持移动设备的三维用户界面研究

本课题以智能手持移动设备(如智能手机、PDA等)作为三维交互输入设备，研究面向虚实混合环境的三维用户界面问题。具体内容包括：从认知心理学的注意多资源理论着手，深入分析手持移动设备执行三维交互任务的特点和用户的认知行为，构建手持移动三维交互模型；研究以手持相机视觉信息为核心的多传感信息融合方法，提出面向手持交互的设备的多通道交互信息感知方法；面向人体感知和环境感知，研究基于手持移动设备的三维交互隐喻，探索基于手持移动设备的混合用户界面的设计方法及关键交互技术；基于上述研究，开发面向增强现实和普适计算应用的原型系统，对所提方法、技术进行验证和评估，并开发交互工具箱。研究的开展将为虚拟现实、增强现实和普适计算等虚实融合环境提供高可用交互技术，具有重要的理论价值与应用意义。

本课题主要研究了基于智能手持移动设备的三维用户界面，构建了多通道融合方法和基于手持设备的远程交互框架；研究了人脸、手势等基于摄像机交互的关键识别算法；构建了基于手持移动设备的视觉跟踪框架，提出一种基于惯性传感器的手持设备的三维交互技术；在多分辨率和在基于摄像机交互的关键技术等方面取得突破性进展。发表相关研究论文14篇，其中顶级国际会议ACM Siggraph Asia论文1篇,顶级期刊ACM TOG论文1篇，IEEE CVPR论文2篇，ECCV 1篇，ACM IUI论文1篇，11篇EI收录，2篇SCI收录；申请发明专利5项；培养博士研究生1人，硕士研究生毕业8人，在读1人；获北京科技一等奖1项，河北医学科技二等奖1项。参与国际和国内学术交流活动共5人次，并报告有关论文。研究的开展将为虚拟现实、增强现实和普适计算等虚实融合环境提供高可用交互技术，具有重要的理论价值与应用意义。