动作传感数据模型和识别方法研究

Recognizing user actions based on action sensing data is an important research topic in HCI (Human-Computer Interaction) field. The basic idea is to extract relevant information from action sensing data, and then classify users’ action intentions. However, when designing classification algorithms, existing researches on action recognition tend to treat action sensing data as general random sequence, without studying the rules governing human’s movement implied in the action sensing data. Consequently, the recognition accuracy is compromised. In this proposal, we focus on the scientific problem of computational representation of human movement control capability. We intend to establish computational methods to describe the structural and random patterns of the action sensing data. Specifically, there are three sub researches in this proposal: 1) studying the stochastic model of atomic actions, 2) researching quantitative measurements discriminating actions, and 3) researching the temporal structure model of actions and recognition methods. The outputs of this project are expected to unveil the characteristics of human movement control capability, and provide theoretical guidance for building action recognition system with even higher performance.

动作识别是人机交互领域中的重要研究论题，其基本思路是从动作传感数据中提取有效信息，对用户的动作意图进行分类。现有动作识别研究在设计分类算法时，往往将动作传感数据作为普通的随机序列来处理，缺少对传感数据中所蕴含的人体运动规律的研究，影响了识别效果。本项目围绕着人体动作控制能力的计算表示这一关键科学问题开展研究，探寻通过计算方法描述动作传感数据中结构性和随机性的模式特征。具体地，本项目采用时序概率模型描述内部结构，采用基本运动模型描述随机性特点，并在此基础之上研究识别方法。研究内容包括：1）基本运动单元的随机模型；2）动作可区分度度量；3）动作时序结构模型和识别方法。本项目将研究揭示人体运动控制能力的特点和规律,为构建更为高效的动作识别系统提供理论基础。

基于动作的自然输入是人机交互的关键技术，而动作识别是人机交互领域中的重要课题。现有动作识别研究在设计分类算法时，往往将动作传感数据作为普通的随机序列来处理，缺少对动作传感数据本身的理解和分析，即这其中包含着的人体运动规律。本项目围绕着人体动作控制能力的计算表示这一关键科学问题开展研究，探寻通过计算方法描述动作传感数据中结构性和随机性的模式特征。具体地，本项目采用时序概率模型描述内部结构，采用基本运动模型描述随机性特点，并在此基础之上研究识别方法。本项目包含三项研究内容包括：（1）基本运动单元的随机模型，针对手指触摸、空中抓取、头部动作三个重要的输入方式，研究了视觉反馈，目标大小，肌肉记忆和眼手分离等条件对运动控制；（2）动作可区分度度量，建立了仅基于动作数据时序特征的基本动作的识别和结合任务先验知识的贝叶斯推理方法；（3）动作时序结构模型和识别方法，针对单个传感器和多个传感器研究了典型传感器类型的动作识别方法。本项目研究揭示人体运动控制能力的特点和规律,包括触摸点击位置的高斯噪声模型，绝对和相对运动控制模型等，为构建高效的动作识别系统提供理论基础。本项目的研究成果产生了实际应用价值，包括：基于握姿识别的全面屏防误触算法应用到数千万台华为智能手机旗舰机型上，侧边误触率相比于三星和苹果最新款手机降低12倍以上；基于手指精细运动能力建模的文本输入解码算法应用在搜狗和华为的智能键盘输入法上，日活用户超过4亿。课题组共发表论文22篇，其中CCF A类论文19篇，2篇论文获得ACM CHI的最佳论文提名奖；申请专利5项，软著2项，达到了项目预期指标。