具有模仿与强化学习机制的智能机器人

创立一种充分强调学习的发育型智能机器人体系,它利用新型神经网络处理底层的感知信息与运动控制，采用并完善本课题组已有的OpenCogPrime智能引擎来处理高层推理；各个组件协同合作，知识在神经网络与智能引擎之间的相互传递中得到提升。.将这种智能体系应用到机器人上，采用模仿与强化组合学习方法训练机器人：机器人通过模仿人类老师，根据接收到的强化信号、过去的学习经验和观察进行分析，学会全新的具有人类智能的复杂的物理与社会行为。. 智能体系中的新型神经网络可以接收大量输入神经元，在模式识别时不需要进行特征提取；并以其为单元构造可自组织的神经网络群，其中的神经网络相互联系、包含，进化为功能更强大的神经网络。这将在充分、综合、增量式地利用机器人多种传感器信息的技术方面取得重大突破。.本课题的研究将使我国科研人员在神经网络设计、模式识别、机器学习，特别是智能机器人技术方面的研究处于国际领先水平。

采用新型传感器，获取场景的深度与RGB视频；利用创新的行为分割与识别算法获取视频中人类教师示教过程的基本动作高层语义信息；在智能引擎的支持下，让物理机器人通过模仿与强化学习，学会复杂的物理行为与简单的社会行为。.主要的研究成果如下：.采用Kinect传感器获取场景的深度与RGB两种视频信息，选择合理的特征，实现了一种基于本征维数与置信度二次判断的无监督人体行为序列分割算法，把包含多个连续人体行为的视频高质量地划分为一个个相对独立的基本人体行为；在分割基础上，利用简单有效的混合特征来表征人体行为，然后通过学习泛化能力较好的随机森林模型训练人体行为识别器。进一步提出了一种基于多类协同训练行为识别方法，利用少量有标记样本和大量无标记样本来提升人体行为的识别效果。.抽取视频中人体骨架的特征点集的空间直角坐标序列，采用逆运动学方法将它转换为仿人机器人的全身关节电机旋转角度集合序列，实现仿人机器人对人体基本运动的模仿；模仿先在仿真环境进行。设计合理的状态空间与奖励函数，利用强化学习改善由于直角坐标与旋转角度的差异造成的运动不稳定性。优化后的旋转角度序列应用到物理的仿人NAO机器人上，实现了物理机器人对人体基本动作的模仿与强化学习，同时避免了强化学习的试错搜索造成物理机器人的损坏。.在完成人体基本行为学习的基础上，建立有语义标注的机器人基本行为库。人体识别模块先识别出人类教师行为中的基本行为语义序列，然后，仿真机器人逐个调用库中相应的基本行为进行模仿。在两个基本动作衔接的地方仍然采用强化学习来保证动作过渡的稳定性。最后把优化的行为序列应用到物理的NAO机器人，完成了包含多个基本行为的物理行为的学习。.将原来基于虚拟环境的OpenGog改造为一个通用的实体机器人智能引擎ROS，实现了推理、语言，感知，行为的综合。在此基础上将ROS应用到仿人NAO机器人上，实现了一个社交机器人物理原型，该机器人可以识别非特定人的语音，可以与观众进行对话，听懂语音命令执行相应的动作，在第三届国家级的“厦门文博会”上获得最佳创意铜奖。.在环境感知研究方面，实现了一种新型的部分连接神经网络，它在进行模式识别时不用进行特征提取；以这种神经网络为单元，构造了更大规模的神经网络群。实验表明，神经网络群设计方法可行，适用于离线训练、在线识别的多模式的分类问题。