基于移动设备的高效行为感知识别技术研究

As a typical small and smart device, mobile devices are often integrated of a lot of sensing modules. Besides, the mobile devices often have some capabilities of computing, storing and communicating. Consequently, more and more smart services based on mobile devices are emerging, e.g., target tracking, motion detection, human-computer interaction, etc. To provide personalized services for users, it is necessary to sense and recognize human activities. Therefore, activity sensing and recognition based on mobile devices has aroused people's wide concern. However, existing research works on activity recognition often focus on specific scenarios and classify human activities into several categories. Then, they recognize which category the activity belongs to by training the sensing data. The research works are lack of the analysis of mechanisms of human activities, and lack of the research on the construction of recognition model and the resource overhead of recognition algorithms. As a result, our project will study the efficient technology for activity sensing and recognition based on mobile devices. From the view of activity relevance and algorithm efficiency, we will make the research on sensing and recognition of discrete activities, serial activities, continuous activities, and complex activities. We will introduce activity mechanism analysis, recognition model design, recognition algorithm optimization and prototype system implementation, to conduct the research on efficient technology for activity sensing and recognition with high accuracy, low time latency and low energy consumption based on mobile devices.

作为一种典型的微型化与智能化设备，移动设备往往集成了丰富的感知模块，并且具有一定的计算、存储和通信能力，因而出现了许多基于移动设备的智能服务，如目标追踪、运动检测、人机交互等。为了给用户提供个性化的智能服务，通常需要感知识别用户的行为，因而基于移动设备的行为感知识别技术引起了人们的广泛关注。然而，现有的行为识别工作往往针对特定的应用场景，将用户行为划分为不同的类别，并通过训练感知数据识别用户行为所属的类别。这些研究工作对用户行为的机理缺乏分析，对识别模型的构建、识别算法的资源开销等问题也缺乏研究。因而，本项目围绕基于移动设备的高效行为感知识别技术展开研究，从行为关联性和算法高效性角度出发，分别研究离散动作、系列动作、连续行为、复杂行为感知识别技术这四个方面的内容。我们将通过行为机理分析、识别模型设计、识别算法优化和原型系统实现，研究基于移动设备的高精度、低时延、低能耗的行为感知识别技术。

作为智能化服务的重要支撑技术，基于移动设备的行为感知识别技术引起了人们的广泛关注，它基于移动设备内置的感知模块获得感知数据，并基于感知数据识别用户行为，从而为用户提供个性化的智能服务。本项目围绕基于移动设备的高效行为感知识别技术展开，从行为关联性角度出发，分别研究离散动作、系列动作、连续行为、复杂行为的感知识别技术。通过行为机理分析、识别模型设计、识别算法优化和原型系统实现，在移动设备上实现高精度、低时延、低能耗的行为感知识别技术。针对离散动作识别问题，提出基于目标匹配的感知识别技术，并具体研究了基于动态坐标追踪的按键感知识别技术、基于概率分析的指尖动作感知识别与隔空输入技术。针对系列动作感知识别问题，提出基于状态转移的感知识别技术，并具体研究了基于骨骼状态分析的手语感知识别技术、基于空间手势模型的触屏手势感知识别与身份认证技术。针对连续行为感知识别问题，提出基于空间轮廓的感知识别技术，并具体研究了基于空间轮廓的空中手写字符识别技术、基于轨迹追踪的书面手写字符识别技术。针对复杂行为感知识别问题，提出基于过程分解的感知识别技术，并具体研究了基于运动追踪的手部抖动感知与视频防抖技术、基于距离测量和手部抖动感知的速度测量技术。在上述研究工作中，行为识别的准确率通常高于90%，时延通常满足实时性要求，设备能耗情况与同类型应用相当。此外，根据应用需求在资源受限的移动设备上设计并实现了相应的原型系统，包括可穿戴设备上的新型文本输入原型系统、移动设备上的新型身份认证原型系统、移动设备上的视频防抖原型系统、移动设备上的速度估算原型系统，推动基于移动设备的行为感知识别技术走向应用。基于上述研究，项目执行期间共发表论文10篇，其中CCF-A类论文5篇；申请发明专利5项，其中授权专利1项。