复杂环境下的服务机器人听觉系统与语音信号处理关键技术

Service robot has been widely adopted in the areas of security monitoring, medical care, smart home and so on. As the key technologies of service robot, auditory localization and speech recognition have received much attention in the literature. Nevertheless, in order to guarantee accurate auditory localization and speech recognition for service robot under complicated interference environments, the microphone array is required to be able to provide sufficient accuracy in location and robustness in interference and jamming suppression. On one hand, the physical size of service robot is usually limited, thereby only being capable of offering small degrees-of-freedom (DOFs) for interference mitigation and localization. On the other hand, the non-stationary property of wide-band speech signal aggregates the difficulty of interference suppression and localization. Furthermore, the mobility of speech sources and robots, multipath propagation of speech signals and complicated working environment of service robots pose a big challenge on the traditional microphone array signal processing. This project will systematically investigate the relevant methodologies for sparse microphone array processing and speech recognition, by means of utilizing the wide-band, sparse and non-stationary properties of speech signals, as well as their application requirements. This in turn enables us to achieve the high-resolution localization, robust interference suppression and accurate speech recognition. By carrying out systematical and thorough investigations on the relevant technologies, the grant will provide theoretical and technical supports for service robot in terms of auditory localization and speech recognition under complicated interference environments.

服务机器人已经在保安监护、医疗保健、智能家居等领域获得了广泛应用。作为服务机器人的关键技术，听觉定位和语音识别近年来受到人们的高度关注。但是，要保证服务机器人在复杂应用背景下进行准确的听觉定位和语音识别，麦克风阵列需要具有足够高的定位精度和干扰抑制能力。一方面，服务机器人的尺寸受到限制，只能提供较少的空间自由度对付干扰和实现定位；另一方面，语音信号的宽带非平稳特性使得高性能的干扰抑制和定位变得更加困难。更重要的是，声源和机器人的移动特点、语音传播的多径效应、服务机器人工作环境的复杂性等对传统麦克风阵列的理论和方法提出了严峻挑战。本项目将充分利用语音信号的宽带稀疏非平稳特性，以及服务机器人的应用特点，深入研究麦克风定位方法和语音识别技术，实现智能机器人的高精度定位、稳健干扰抑制、准确语音识别。开展该项目的深入探讨，为服务机器人在复杂应用背景下实现听觉定位和语音识别提供了理论支撑和技术积累。

服务机器人是当前学术界与工业界的研究热点之一。对复杂环境下服务机器人的听觉系统与语音信号处理技术开展研究，可大幅增强服务机器人的实际应用能力，对促进机器人落地具有重要意义。..针对复杂环境中服务机器人听觉与语音信号处理方法存在的问题，结合其实际应用需求，系统性地开展了服务机器人听觉与信源定位、空间滤波、鲁棒信源分离与重构和轻量化语音识别等方面的研究。通过研究基于感知运动协调的主动听觉定位技术，实现了服务机器人主动听觉定位和协调导航。针对欠定和受损麦克风阵列的声源定位问题，融合优化方法和运动感知思想，实现了基于稀疏阵列的鲁棒定位。特别地，针对性能受限的小型机器人系统提出基于单比特信号的定位方法，实现了低成本高可靠性的信源定位。针对服务机器人麦克风阵列声场图像分辨率受限问题，融合非同步测量技术、张量分析方法、优化思想和深度学习模型，实现了超分辨空间滤波和声场成像，并基于相似原理对信号进行鲁棒分离与重构。同时，对服务机器人复杂环境感知开展研究，实现了场景的全面感知。针对噪声和干扰环境下语音难以正确识别的问题，融合相似网络、孪生网络和参数共享思想，提出了噪声精确分类与语音鲁棒识别模型，并进一步利用优化算法、张量分解和进化计算等方法实现了适用于算力受限服务机器人的识别网络。最后，搭建了一个包含服务机器人原型系统、声源模块和测量模块在内的实验验证平台，实现了定向定位误差测试、语音识别和感知运动协调算法测试等多方面功能。..项目共发表重要期刊和会议论文80篇，其中含SCI期刊论文43篇，EI论文35篇，中文核心论文2篇；申请专利25项；攻克了包括服务机器人听觉定位技术在内的6项关键技术；培养了博士后7名，博士生10名，硕士生31名。依托项目，4人获得国家自然科学基金项目支持；举办国际学术会议1次，以组委会成员组织并参加国际学术会议1次，参加国内外学术会议多次，有力地推动了服务机器人的研究与产业化进程。