生物认知机制和特性启发的视觉计算模型与方法研究

Visual information plays a central role in human perception. Today, visual information, such as images and videos, increases dramatically and exponentially. Traditional computer vision technologies encounter a grand challenge. Borrowing ideas from human cognitive mechanisms and characteristics provides a way to deal with the challenge. This project explores biologically cognitive mechanisms and cognitive characteristics inspired vision computing models and algorithms. On the biologically cognitive mechanisms inspired methods, we will focus on the forward and backward models of brain visual processing, including the recurrent model of cells in the V1 area, the Hierarchical model of the ventral visual pathway, the forward and backward models of attention. On the biologically cognitive characteristics inspired methods, we will focus on visual saliency models, the local feature representation models and robust classification methods, by virtue of the tools such as sparse representation and deep learning. Finally, we will apply the developed methods to solve the two very challenging problems in autonomous driving in the wild circumstance: terrain classification and outdoor water and negative obstacle hazard detection and aim to improve the classification and detection performance significantly.

视觉是人类感知外部世界信息的主渠道。当前，图像、视频等视觉数据呈现指数级增长，传统的计算机视觉理论与方法面临着前所未有、日益严峻的挑战。借鉴人类处理复杂信息的认知机制和认知特性去面对挑战是一种必然趋势。本项目将研究生物认知机制和认知特性启发的视觉计算模型与方法。在生物认知机制启发的方法方面，重点研究大脑视觉信息处理的前馈和反馈模型，包括视觉腹侧通路的前馈模型，V1区细胞的递归模型，视觉腹侧通路的层次化递归模型，注意力的前馈与反馈模型。在生物认知特性启发的方法方面，借助于稀疏表示、深层学习等工具，重点研究视觉显著性计算模型、视觉信息的局部表示模型、视觉信息的稳健分类方法。以上两个方面的研究将相互补充和借鉴。最后，将以上研究成果应用于越野环境下无人驾驶车辆环境感知中的两个极具挑战性的问题：地表纹理分类和水面及凹障碍的检测，为大幅度提升无人驾驶车辆的环境感知能力提供关键技术支撑。

本课题针对计算机视觉理论与方法面临的挑战，借鉴人类处理复杂信息的认知机制和认知特性，重点研究了生物认知机制和认知特性启发的视觉计算模型与方法。在生物认知机制启发方面，提出了一些有效的计算模型，包括基于反馈连接的图像分类、场景标注模型和语音识别模型，基于层次化特征的图像显著性检测模型，基于纹理高阶统计特性的图像分类模型，基于多通路深度融合的人脸分割模型等等，基于分支的相机6自由度参数估计得模型，取得了良好的效果。同时，为了更深入的理解脑的信息处理的机制，研发更有效地深度学习模型，我们以神经网络模型和功能性核磁共振成像（fMRI）为工具，分别研究了脑的记忆/决策机制和语言表示机制。这些工作表明脑科学与深度学习的结合能有效推动各自领域的发展。.在生物认知特性启发方面，针对视觉显著性计算，提出了一种双低秩矩阵修复模型来完成多种显著性方法的融合；该方法重在研究如何用两个低秩矩阵来分别刻画显著性目标和背景。针对视觉信息的稳健表示，提出了基于核范数的矩阵回归方法并给出了快速的ADMM算法求解该模型，该方法旨在解决图像识别中存在的复杂结构噪声问题。在此基础上，提出了一种稳健的矩阵回归表示方法，该方法使用核范数来刻画残差图像并引入对残差矩阵奇异值的权重，进而更好的刻画了图像矩阵的结构属性。传统范数描述视觉数据内部结构的能力有限，为了结合结构化稀疏和核范数各自的优势，提出了一个树形结构的核范数近似估计（TSNA）模型,并应用扩展的交替方向乘子算法（EADMM）求该模型。此外，也证明了一些主流算法是所提出模型的特殊形式。借助核范数的刻画矩阵空间结构的优势，提出了一种结构化的基于核范数的二维主分量分析图像特征抽取方法。针对神经网络模型，提出了一种存储和计算高效的递归神经网络方法，该方法利用基于二维表示的参数共享思想，建立了一种新的LightRNN结构及其迭代算法。所提出的LightRNN相比于以前的模型参数量减少了上百倍，同时得到了更好的精度。除此之外，面向视觉计算问题我们也提出了一系列表示学习方法。