基于属性学习和运动语义模型的人体新行为推理

Human daily behavior recognition and analysis has a wide range of applications in the fields of Natural Human-Computer Interaction, Intelligent Monitoring and Robots. But methods based on traditional machine learning technique haven't been widely used in practical applications.The main reason is that the number of human behaviors is numerous, and especially there are some behaviors without training data. In this research, we will put our effort on the problem of inferring and recognizing new behaviors with zero training samples by studying the combination of motion features and semantic attributes of hunman behaviors, based on attribute learning theory and techniques, and solving some common difficult problems, such as perspective changes, partial occlusion and incomplete data, simultaneously. First of all, we adopt the idea of local and global combined reasoning for the mutli-factor large number motion data, and subdivide motion data according to the human structure, and add semantic attributes into the building process of low dimensional embedding spaces of behaviors of relative human parts, and then put forward a constraint human behavior semantic motion model and its incremental updating method. On the second, based on a shared latent variable model, a mutli-class behaviors shared motion semantic web model is proposed for the description of new behaviors. Finally, reasonable semantic descriptions of the new behaviors can be achieved by using probability inference method from two models. Moreover, the efficient online learning algorithms in motion and semantic models, can also be applied to other pattern recognition problems with complex high dimensional data.

日常环境中准确的人体行为识别在自然人机交互、智能监控和机器人等领域有非常广泛的应用前景。由于人体行为类别数量较多，尤其还可能存在未具训练样本的行为，使得基于传统机器学习类行为识别方法难以在实际中得到广泛应用。本课题拟深入研究属性学习的理论和方法，从行为的运动与其语义属性相融合的角度展开零训练样本的新行为推理和描述的研究，并同时解决视角变化、遮挡、观测不全等问题。对于人体海量多因素的运动数据，采用层次化分解思想进行人体部件级行为剖分，并在行为的低维嵌入空间拓扑构造时考虑运动语义信息，提出基于人体约束的行为语义运动模型及其增量更新算法；对于行为的描述，基于共享隐变量模型，提出多类别行为共享运动语义网模型。最后利用高效的概率采样推理方法，联合两种模型给出新行为的合理语义描述。同时，本课题对运动和语义模型与概率估计研究中所提出的高效的在线学习算法，也可以推广到其他复杂高维数据的模式识别问题。

本项目主要利用机器学习理论方法，以无标记人体行为识别与推理为研究对象，对异常检测、零样本类推理与流式数据的增量学习，进行了系统的理论研究。首先提出了基于流形学习的空中手写汉字行为识别方法和人机交互系统。主要通过局部保形映射挖掘空中手写汉字时人体肢体动作内部蕴含的几何和统计特性，得到高低维特征空间的显式的映射矩阵，从而建立空中手写汉字的高效识别模型，以此为基础的应用系统是一种新型人机交互界面。提出基于无线信号CSI值的人体行为识别方法和系统，可以解决基于计算机视觉类的识别方法在遮挡、光线变化情况下效果差的问题，同时还具有私密性，尤其在老年人、病人监护，室内监控、安全保障等领域有较强实际应用性。提出了一种基于间接属性预测模型的增量零样本类学习框架IIAP/QR，首先提出一种基于零空间线性判别分析快速增量分类算法NLDA/QR，可以解决小样本和采样不均衡样本问题，然后利用高效的概率推理算法，IIAP/QR模型可以有效地进行零样本类的推理与更新。研究复杂流式数据的在线快速增量学习问题，提出基于QR分解的快速批量算法FLDA/QR和增量学习算法IFLDA/QR，可实时学习已知类别新样本、新的类别样本、以及前两者混合数据流，该算法在保持现有算法的识别率基础上，速度提高了2-10倍，该算法在在线学习、图像视频分类等领域具有较大应用前景。最后提出基于核零空间的快速异常检测增量算法IKNDA，该方法在大数据集上比现有算法的检测率有显著提高。总之，本项目对当前机器学习领域的流形学习、属性学习、增量学习、零样本学习、小样本学习等国际前沿、热点问题进行了有益的探索，研究成果具有较强通用性，不但可以应用到人体行为的推理，也可推广到一般物体的识别与分类问题中。