基于语音分析的心理生理计算若干关键问题研究

Psychophysiological computation, an up to date and multidisciplinary area, is not only theoretical significance to cognitive science, but also has extensive application foreground in military affairs, security and medical science, etc. Different from the method based on physiological measuring signal, speech analysis is proposed here to study several key problems with some shared characteristics by investigating two typical questions - lie detection and fatigue measuring. To begin with, calculability of psychophysiology must be considered, including character representation of psychoacoustics, mapping relation from speech to mentation, the reliability of the computation and so on. Second, the theory with the modeling method for data fusion and identification, suit for psychophysiological computation while apart from normal speech signal processing, is under consideration. Finally, as to the variability of psychological activity, the dynamic time variable modeling will also be investigated. Differing from the preliminary study abroad, this project is going to research on the key problems involved in speech analysis, based on the uniform framework for psychophysiological computation with some typical applications. The software system for lie detection and fatigue measuring from speech signal will be accomplished with the comparison test.

心理生理计算是一个涉及多学科的新兴研究领域，这方面的研究不仅对认知科学的深入探索有理论意义，而且在军事、安全、医学等方面有广泛的应用前景。与现有的以生理体征测量信号为基础的研究方法不同，本项目以语音分析为手段，结合心理生理计算的两个典型问题：语音测谎和人的疲劳度检测，研究心理生理计算中具有共性的若干关键问题：一是心理生理问题的可计算性，包括研究可计算模型、适于反映心理生理特点的心理声学特征表示、语音特征与心理状态的映射关系、计算可信度等；二是研究适于心理生理计算、有别于一般语音处理方法的数据融合、分析识别的理论和建模方法；三是基于心理活动本身的可变性，研究心理生理计算中特有的动态时变问题及其建模方法。与国外目前相关的初步研究不同，本项目拟在心理生理计算的统一框架下结合典型应用，研究语音分析方法所涉及的共性关键问题。本研究拟建立语音测谎和语音分析疲劳度检测的软件系统，并进行测试比较。

本课题围绕着以语音信号为载体的心理生理计算问题开展研究，重点研究了语音测谎和语音疲劳度检测相关的心理生理计算问题。为保障研究工作的持续深入的开展，建立了一个谎言语音数据库和一个疲劳语音数据库。课题组开展的研究工作主要包含以下几点。（一）研究了语音信号的心理生理活动机理，统计各类特征参数在正常语音和谎言中的分布，提出分布差异度函数，证明了谎言信息在语音信号中的存在性。通过特征对比分析，证明了基于语音测谎和基于语音疲劳度检测的可行性。（二）提出多种有效特征改善语音测谎性能。包括多维组合疲劳语音特征、听觉频带瞬时频率特征、分数阶Mel倒谱系数特征、基于稀疏分解的特征、基于深度学习分析的说谎语音特征、由浅及深挖掘语音的心理生理特征参数，从而提高检测正确率。（三）构建语音特征参数空间与心理生理状态维度空间之间的映射关系，实现心理生理状态的可量化计算。（四）建立基于多尺度条件随机场的谎言检测多尺度抽象网络时序模型，拓展了语音信号的全局上下文相关信息，弥补了语音信号中谎言信息量较为微弱的缺点，实现了谎言语音信号的时序建模工作，最终的平均识别正确率达到75%以上。（五）构建了基于动态稀疏贝叶斯网络(DSBN)的说谎语音时序模型。利用DSBN的拓扑结构反映说谎心理状态变量的概率依存关系及各变量随时间变化的情况，由此计算各变量对应的特征之间的关联关系及时序关系，平均正确识别率达到了76%。.对比项目申请书所设定的指标，课题组在技术指标、发表论文、申请专利、国际交流和培养人才等方面均达到或超过了指标要求。基于语音信号载体的心理生理信息检测具有非接触、非主观强迫、简便易被接受等优点，未来，它在人工智能领域有较强的应用价值。我们在这方面的研究尚属起步阶段，还有许多问题尚待进一步深入和拓展。