基于结构建模的语音理解及应用研究

Speech Understanding (SU) is a young and under-exploited research field based on Automatic Speech Recognition (ASR) and Natural Language Understanding (NLU). In the proposal, our research work focuses on how to apply structural modeling technology for speech understanding and summarization, which can help users understand speech documents faster and more exactly by hidden structure information extracted from speech documents. More and more researchers take their interests in this topic. Considering that speech recognition result is not reliable, traditional structural modeling algorithms only using transcribed text do not perform well due to recognition errors by speech recognition system. To handle this challenge, we investigate sorts of features extracted from speech signal and transcribed documents and select the best ones to extract the hidden structure information from speech documents. We then propose novel algorithms based on traditional machine learning algorithms for structure extraction process and further using structure information to improve the performance of speech understanding and summariztion task. We will evaluate the proposed algorithms on the lecture conference speech corpus. On one hand, using our proposed algorithms can extract structure information hidden in speech documents more effectively and then help us more conveniently understand and summarization speech documents. On the other hand, our proposed speech understanding system using structural modeling can offer better theoretical support and a practical approach for huge multimedia documents management and security.

近年来发展的语音理解是建立在语音识别和自然语言理解之上的新兴研究领域。本项目主要研究基于结构建模的语音理解与摘要技术，以能够帮助人们从语音文档中抽取出隐含的结构信息，更快速准确地理解语音文档，已成为本领域研究热点和前沿。由于语音识别技术的不完善，所生成文本含有不准确之处，对传统的基于文本结构建模是极大的挑战。针对此问题，本项目将在特征提取、模型算法及应用方面，在现有工作基础上进行深入研究：分析深层次语音文档结构，寻找对抽取语音文档结构帮助更大的新特征；应用不同的机器学习算法，提高抽取语音文档结构的性能，并运用抽取的结构信息，改善语音理解与摘要抽取的性能；将新算法应用于演讲语音领域。通过本项目的研究，一方面能够建立更有效的针对深层次语音文档结构建模的新算法，提高抽取语音摘要的性能与效率；另一方面基于结构建模的语音理解为海量语音文档管理与安全提供更好的理论支持与实用途径。

本项目主要研究了基于结构建模的语音理解与摘要技术，用于帮助人们从语音文档中抽取出隐含的结构信息，更快速准确地理解语音，该研究问题已成为本领域的研究热点和前沿。.本项目从特征提取、模型算法及应用等方面进行了深入的研究。主要研究成果如下：（1）对有关语音理解及摘要提取的最新研究文献进行了广泛的调研与深入考察；（2）研究了在不同文体的语音数据库上的语音理解与摘要算法的性能，并比较了各类特征的作用。在不同形式的两类语音文档:中文广播语音文档和粤语会议语音文档，进行了评测实验。结果显示:在进行中文广播语音文档摘要提取实验中，结构信息特征要优于文法信息特征。这是由于广播新闻语音文档潜在的结构信息相对稳定；（3）比较了不同机器学习算法基于不同特征所构建摘要模型的性能表现。所得到性能最优的摘要模型其性能于中文广播新闻文档实验中，达到0.682 ROUGE-L F-measure，而于粤语会议文档实验中，达到了0.737 ROUGE-L F-measure，均属国际水平。此外，在粤语会议文档摘要抽取实验中，基于自动语音识别率仅为73%的语音抄本，所构建的摘要模型仍然能达到0.729 ROUGE-L F-measure的高水平；（4）对文本信息特征中所使用的词条权重算法进行了全面性能比较，并将生成的不同的文本信息特征用于自动语音摘要实验中进行评测。比较了多种不同的无监督和有监督学习的词条权重算法，并将不同算法所生成文本特征，通过最大票数策略进行了综合应用，以构建最有效的摘要模型。实验结果表明该策略有效。同时发现Term Relevance Ratio方法所生成的文本信息特征，能构建出最优的摘要模型。 .通过本项目的研究，一方面建立了更有效的针对深层次语音文档结构建模的新算法，提高了抽取语音摘要的性能与效率；另一方面对于将该算法应用于海量语音文档的理解以及组织管理方面，提供了更好的理论支持与实用途径，并做了实验验证。