基于EOG的人体行为识别算法及其应用研究

Human Activity Recognition (HAR) technologies, which based on multi-sensor information fusion and perception, have become a hot topic in pattern recognition, Internet of Things, etc. However, the main methods of HAR implementation still rely on universal sensors. Recently, numerous studies have revealed that different EOG signals, caused by different specific visual activities, will present corresponding pattern characteristics. Thus, EOG signals could be used as a new method for HAR research. . In this project, “a research on EOG-based human activity recognition algorithm and its application” will be carried out. The main work can be summarized as three aspects, namely: 1) research on new EOG signal processing methods aimed to HAR, including EOG acquire experiments design, activity related EOG components identification, automatic recognition and segmentation of typical EOG unit; 2) establishment of activity relationship model between EOG and visual behaviors and its robustness studies; 3) implementation of an EOG-based HAR simulation platform. During the research, we hope to further enrich and improve EOG signals processing methods and effectively expand its applications field..

基于多传感器信息融合和感知的人体行为识别（HAR）技术已成为模式识别和物联网等领域的研究热点。现阶段，HAR的主要实现方法还停留在一些通用传感器层面上，而越来越多的研究表明，在不同的视觉行为状态下所引发的眼电信号（EOG）将会呈现出相应的特征模式。因此，EOG可以作为一种新的手段进行HAR研究。本项目以“基于EOG的人体行为识别算法及其应用研究”为课题，开展相关的理论、算法和应用研究，具体内容可概括为三个主要方面，即：1) 针对HAR的EOG信号处理新方法研究，主要包括：EOG采集范式的设计、行为相关EOG成分的获取和典型EOG单元的自动识别和分割等；2) EOG与视觉行为的关系模型建立及其鲁棒性研究；3) 基于EOG的HAR仿真实验平台的构建。通过本项目的研究，我们希望能够进一步丰富和完善EOG信号处理方法，有效拓展其应用范围。

人体行为识别（Human Activity Recognition, HAR）是指对被观测个体的动作类型、行为模式等信息进行综合地分析与识别，并将识别结果通过自然语言等方式进行描述。由于HAR系统能够主动感知用户意图，因此在智能视频监控、医疗诊断、运动分析及人-机交互等领域具有广泛的应用前景，并且已经成为了人工智能与模式识别领域中一个新兴的研究热点。课题的具体研究内容和成果包括：1）对比研究了线性与卷积两种混合条件下眼动信号生成模型，实验结果表明，相比较线性模型，卷积模型能够更精确地描述眼动生成过程；2）研究了基于独立分量分析（ICA）的眼动信号空域特征提取方法，并与基于共同空间模式（CSP）空域滤波算法进行了比较，实验结果表明，基于ICA的空域滤波方法可以对不同任务背景下的眼动信号进行区分；同时，ICA方法在不同被试者间的模型迁移性方面优于CSP方法；3）开展了连续眼动信号的在线检测算法研究，针对EOG信号特点，提出了一种基于高阶累积量的在线端点检测方法，该方法利用滑动窗技术动态估计分离后的EOG信号的高阶累积量值，并在此基础上结合能量特征进行信号端点检测，实验结果验证了所提算法的有效性；4）建立了“单元眼动信号识别模型”与“行为关系模型”，分别用于进行单元眼动信号识别与上下文关系的构建，并实现了办公室场景下阅读、写作与休息3种行为状态的识别，识别正确率达到89.2%；5）为使HAR系统不仅能够“看懂”人，而且还能“理解”人，结合课题研究成果，我们扩展地进行了结合眼动与头皮脑电（EEG）情感识别相关的研究工作，以期进一步扩展HAR系统的应用范围。在MAHNOB-HCI情感数据库上进行正、中、负3种情感状态的识别，所提方法的平均正确率达到了88.05%。