面向概念设计的虚实融合环境交互技术研究

利用笔在虚实融合环境中进行三维概念设计,设计师能将抽象的、复杂的设计构思变为形象直观、自然的虚拟设计对象,同时，也能更好的利用自身的多种感觉通道对产品进行直观的评估,最终能够迅速地设计出有创造性的产品。项目主要研究面向概念设计的虚实融合环境交互方法与相关理论。首先，探讨了虚实融合场景中的深度感知问题，研究了平面图像显示环境中的深度感知与反馈问题，提出了基于多视觉线索融合的深度感知方法，其成果对于虚拟现实及增强现实环境中的三维直接操作技术的发展具有重要的意义。然后，探讨了虚实融合环境中基于笔的直接操纵技术，研究了三维环境中的笔手势技术，提出了具有在线主动学习能力的三维笔手势识别方法；最后，探讨了虚实融合环境中的三维笔式交互界面模型，提出了虚实融合环境中的三维笔式交互范式。本项目的研究将为基于虚拟现实的计算机辅助概念设计技术的发展提供强有力的指导与技术基础。

利用笔在虚实融合环境中进行三维概念设计,设计师能将抽象的、复杂的设计构思变为形象直观、自然的虚拟设计对象,同时，也能更好的利用自身的多种感觉通道对产品进行直观的评估,最终能够迅速地设计出有创造性的产品。本项目着重探讨了面向概念设计的虚实融合环境中的自然交互技术，提出了一种适合三维草图绘制的交互技术框架。在此框架中，底层的特征抽取层完成对原始输入信号的特征检测与提取，中间三维信息获取层完成原始信号特征到结构化的三维信息转换，上层交互任务层实现了三维信息到三维交互指令的生成。通过这样一个三层结构，底层输入的异质性与上层的三维交互任务设计相互独立。同时，基于此框架，研究并设计了几个典型的三维交互技术。首先，提出了一种基于立体视觉及光笔的三维草图绘制技术，实现了三维手绘信息的输入与三维曲线的生成；其次，提出了两种简单、高效的三维笔手势识别方法,即基于多类支持向量机的笔手势识别算法及基于HMM的三维笔手势识别方法。接下来，通过对三维环境下的交互任务分析，设计并实现了基于头部姿势的三维交互技术, 其通过对设计人员头部运动的检测，实现三维绘制模型的多视角观察。然后,针对传统的键盘鼠标命令无法适应虚实融合环境中的虚拟物体控制需求，提出了一种基于飞行器隐喻的虚拟物体控制方法。最后，基于上述框架和交互技术设计并实现了一个面向概念设计的三维绘制系统原型。