言语听障评估与沟通训练关键技术的研究

This project combines speech engineering, acoustical linguistics, otology, and clinical medicine, focuses on developing new methods and key technologies for speech audiometry and speech communication training. Research on invariances in speech signals in different environments and context, optimize the design method and evaluation strategy for Chinese speech audiometry material; analyze the relation between the “miss-hearing” and “miss-pronunciation” in language learning and the perception, memory, judgment in speech cognition, propose a pronunciation correction prompt method with different priorities for computer aided pronunciation training systems; combine multi-media information such as speech, facial image, image, and text, propose a multi-modal computation model for speech communication, construct a personalized hearing compensation and speech rehabilitation training platform. The research results would help the combined research on hearing cognition, acoustic parameter, language understanding and cognition mechanism, provide theory foundation and key technology for speech audiometry, speech communication training, perception and understanding of speech information in human-computer communication. The research has a broad prospect of application.

本项目将言语工程、语音语言学、耳科学、临床医学相结合，重点探讨言语听障评估与沟通训练的新方法及其关键技术。研究言语音位及其变体的知觉恒常性，建立汉语声韵母听感等价类，优化汉语听障评估词表的设计方法和评估策略；分析言语习得中的“误听”和“误说”与言语认知过程中的感知、记忆、决策的关联，提出面向计算机辅助语言学习系统的发音纠正分级提示方法；融合语音、脸像、图像、文字等跨媒体信息，建立言语沟通的多模态计算模型与交互行为模式。通过相关研究成果，进一步推进听觉感知、声学参数、语言理解与认知机制相结合的研究，构建并推广“言语听障评估与沟通训练平台”，为听障言语测听、言语沟通训练、以及人机交互中语音信息的感知和理解，提供必要的理论基础和关键技术，具有广泛的应用前景。

该项目执行以，严格按照任务书的要求，研究工作实现重要进展。围绕研究内容一，研究了基于多重判定的纯音听阈评估方法,提出了基于感知距离矢量的音节感知分布计算方法, 实现了基于音节感知分布的闭合式言语测听词表设计及其测听方法。围绕研究内容二，通过计算感知距离，把汉语为母语说英语的语料库进行计算，将不同音素间的感知距离量化。配合读音误发的统计，研究了误发统计与感知距离之间的相关性，并进一步利用感知距离把第二语言学习者的错误发音进行分级。围绕研究内容三，构建了言语沟通训练系统，实现了言语听力评估系统和跨平台的言语测听系统，并且融合文本图像语音等跨媒体信息，构建用户情感分析和意图理解的计算模型和交互行为模式。项目自主研发的《计算机辅助汉语普通话言语测听系统》已由博世（上海）智能科技有限公司产品化，在多家医院和科研院所获得实际使用，填补了我国临床言语听力评估系统的空白，在获得社会效益的同时，取得很高的经济效益。项目执行以来，项目组成员积极参加国内外的学术活动、联合发表文章，共发表标注本基金项目资助的论文48篇，其中CCF A类论文16篇，SCI检索论文6篇。在项目支持下，相关研究工作获得2016年教育部科技进步二等奖，项目负责人为该成果第一完成人。培养毕业博士研究生4名，毕业硕士研究生4名。项目的实施为听障言语测听、言语沟通训练、以及人机交互中语音信息的感知和理解，提供必要的理论基础和关键技术，具有广泛的应用前景。