自主成长型机器人动态复杂环境认知视觉感知

In the wide-range, dynamic and complex environments, robots may face the multi-modality, uncertainty and dynamic changes of environmental information. Traditional visual perception methods lack the generalization and adaptivity for various tasks and environments. Therefore, this project will study how to endow robots the abilities of autonomous information selection and autonomous development in order to set up a cognitive visual perception mechanism. This project includes the following research topics: (1) Pre-attentive feature network and its unsupervised learning algorithm to extract task-independent low-level features; (2) Bottom-up visual attention network and its online adaptive weight learning algorithm in order to detect information which is not predicted by current task but is worth to be attended, resulting the non-specificity of environments and tasks; (3) Task representation network and its learning algorithm in order to set up the relationship between environmental perception and behaviors; (4) Mid-and-high level feature network and its unsupervised and supervised learning algorithm in order to realize the recognition of objects and scenes with large number of classes; (5) Top-down visual attention network and the learning algorithm of backward weights so as to detect task-specified information from complex environments; (6) Autonomous development algorithms for all aforementioned knowledge representations in order to adapt to dynamic or new environments. The achievements in this project will be used in the fields of service robots and industrial robots.

在广域动态复杂环境中，机器人会面临环境信息的复杂多样性、不可预测性和动态变化。传统视觉感知方法缺乏针对不同任务和环境的普遍性和自适应性。因此，本项目根据神经生理学理论、研究如何赋予机器人自主信息选择能力和自主成长能力，实现认知视觉感知机制。具体研究内容包含：(1)预注意力特征网络及其无监督式学习算法，提取不依赖于任务的底层特征；(2)自底而上注意力计算网络及其权重在线自适应算法，检测任务未预知、却值得关注的环境信息，实现环境任务非特定性；(3)任务表达网络及其学习，建立环境感知与行为动作的交互关系；(4)中高层特征网络及其无监督式和监督式学习算法，实现大体量的目标和场景识别；(5)自顶而下注意力计算网络及其反向连接权重的学习算法，从复杂多样的环境中检测任务预知信息；(6)知识表达模块的自主成长算法，实现动态环境或新环境的自适应感知。本项目研究成果可以应用于服务机器人、工业机器人等领域。

本项目研究了机器人认知视觉感知机制中的如下六项关键技术：（1）具有环境任务非特定性的预注意力特征表达与学习算法，实现机器人认知视觉感知系统中的预注意力特征提取过程；（2）针对机器人感知的视觉数据实现自底而上视觉注意力计算方法，用于检测时空环境中显著的、异常的或新奇的感兴趣目标；（3）对复杂多样环境模态具有辨别能力的中高层特征神经网络学习算法，用于训练场景识别或多类感兴趣目标识别；（4）结合任务表达的自顶而下视觉注意力选择算法，用于任务相关感兴趣目标的检测与识别；（5）感知机制的自主成长算法，用于机器人应对广域时空范围内动态变化的环境；（6）结合上述技术的机器人认知视觉感知体系，从而形成一套完整的、具有环境任务非特定性、可以自主成长的认知视觉感知机制。基于上述研究成果的机器人可以应对环境信息的复杂多样性、不可预测性和动态变化特性。与传统的视觉感知方法相比较，本视觉感知机制具有如下优点：第一、在感知环境出现新模态时不需要离线人工参与修改程序；第二、对感知环境中的异常或新奇目标信息鲁棒，即感知系统不会失效；第三、能够通过不断的学习新知识实现自主成长，从而适应环境和任务的动态变化。课题组按照研究计划，完成了本项目所列的所有研究内容。在本项目执行期间，课题组共发表SCI检索论文7篇，EI检索论文16篇。国内发明专利授权3项、受理1项。获得福建省科技进步奖2项。