红外电视法视线跟踪人机交互自适应工作机制研究

视线跟踪是一种自然、直接的人机交互通道，建立模型研究系统各构成要素与视线分辨参数间的关系，从而提高系统工作的可靠性等是该领域近期研究的关键问题。不同于以往基于统计回归、样本训练的实验建模和基于眼睛结构进行参数估计的几何模型等研究方法，本申请提出基于状态空间分析法建立视线跟踪人机交互模型，全面客观的揭示红外电视法视线跟踪人机交互系统内外状态变化引起视线分辨参数改变的机理；基于建立的模型，本申请提出通过贝叶斯聚类决策分析交互历史信息进行系统状态辨识，并以不同的系统状态为神经元建立触发器模式的神经网络工作机制，为实现不中断人机会话的情况下，提高系统工作的自适应性和减少或消除频繁进行系统标定等问题从理论上提供新方法，面向语言和行动障碍的ALS患者护理建立原型系统进行实验研究。本项研究提出的理论和方法为视线跟踪在人-机-环境、助老助残系统、服务机器人、多通道人机交互等领域的应用打下一定基础。

视线跟踪人机交互通道具有直接、自然等很多优点，受到人机交互领域广泛的关注和研究，但视线通道具有连续性的特点，其可靠性容易受到环境因素、人机参数及工作模式的影响，使用过程经常需要频繁的标定。为了解决这些问题，国内外的学者提出了许多图像处理算法提取眼部特征信息，基于统计回归、样本训练的实验方法和基于眼睛结构的几何模型估计视线分辨参数和注视方向。这些方法在特定条件下取得较好的效果，但未能全面揭示系统中各部分间相互影响的规律。本项目以提高系统工作的可靠性和自适应性为目的，主要从系统的结构设计及分析、头眼行为检测算法、提高交互自然性和可靠性的信息处理方法和自适应工作机制等方面开展了相关工作，并将视线跟踪人机交互技术集成到服务机器人系统中进行人机协作方面的探索。. 基于状态空间理论建立了摄像机、辅助光源、交互界面、眼睛等子系统构成的状态空间模型，以各子系统间的相对变化作为系统外部状态向量，交互界面大小、界面上功能区域大小及布局等作为系统内部状态向量，通过状态空间模型全面揭示了红外电视法视线跟踪人机交互系统内外状态改变引起视线分辨参数变化的规律。在理论分析的基础上，针对视线跟踪人机交互应用过程中，设备调节标定和用户姿态多变的特点，提出适应多种姿态和可调节的视线跟踪人机交互装置和系统。为了准确提取眼部特征信息进行注视方向的辨识，提出了基于卡尔曼滤波、光流跟踪等相结合的特征提取算法。分析了交互过程中扫视、注视、眨眼及眼睛运动趋势间的关系，提出了一种综合的眼动行为检测方法，该方法为设计合理的人机界面减少随机性眼动对交互系统可靠性的影响提供了依据。. 在系统自适应工作机制方面重点开展了基于贝叶斯理论进行系统标定和状态辨识的研究，并结合建立的状态空间模型，根据交互历史和概率信息研究实时进行人机交互参数修正的机制，初始标定完成后在交互过程中无需重复标定。基于神经认知语义网络设计了自适应人机交互界面，降低非自愿交互意识触发的人机会话进程，提高了系统的稳定性。以上研究方法和成果为视线跟踪人机交互技术的研究提供了新理论，同时，为视线跟踪通道在人-机器人自然交互应用方面从理论上进行了一些有益的探索。