可学习的脉冲耦合神经网络与基于视-听觉融合的人机交互方法研究

人机自然交互对于智能服务机器人而言至关重要。机器人与人和谐共存于同一环境中，需要通过视-听觉主动获取信息并做出反应，所以识别说话人、识别环境对于服务机器人是一个首要任务。.本研究提出一个可学习的脉冲耦合神经网络模型LPCNN，可解决脉冲耦合神经网络存在的参数设置困难且缺乏学习机制的不足。引入人类认知心理的模糊性和非线性，结合机器学习理论的核方法，提出一种多模态的核模糊联想记忆模型MMKAM。.提出以LPCNN作为底层信息处理单元，以MMKAM作为高层智能单元，二者有机集成，形成一个具有封闭反馈回路的仿生视听觉认知系统BIAVCS。高层智能单元对底层信息处理单元的网络参数进行优化，并且指导底层单元的信息处理过程。视觉与听觉信息在高层智能单元进行融合。.服务机器人利用提出的仿生视听觉认知系统进行非结构化环境建模与人机自然交互，对于服务机器人对于环境的自适应性和智能化有重大意义。