面向三维目标识别的视觉皮层信息处理机理研究

How the visual information is encoded, transmitted and perceived between the retina and the visual cortex is one of the most important basic problems in the field of neurobiology and brain-intelligence. In this project, research on visual cortex information processing mechanism for 3D object recognition, we will address three key challenging issues from the perspectives of basic theory and implementation. Firstly, we will study the three-dimensional retina descriptor problem based on the key point description, and propose retinal stereoscopic descriptors based on scale-invariant textures, in order to improve the effective expression of key information for retinal stereoscopic features. Secondly, we study the stereoscopic features retinal coding method, propose the retinal co-coding based on information entropy, moreover, we study the encoding method of minimization the uncertainty stereoscopic features through the inhibition mechanism of visual neurons to noise, which will provide a basic basis for neurons spiking sequences studying the transmission and processing. Lastly, we study the visual cortex computation model based on spiking neural network(SNN), and the SNN-based hierarchical connection computation model is proposed , by using the spike-timing-dependent plasticity (STDP) learning rule to construct the supervised SNN-based STDP feature learning model for synapses in visual cortex neurons, and then, we study the application of 3D object recognition, which will be feasible not only theoretically but practically.

视觉信息在视网膜与视觉皮层之间如何实现编码、传递与感知，是神经生物学与类脑智能研究领域最重要的基础问题之一。本项目从基本理论和实现方法两个角度研究面向三维目标识别的视觉皮层信息处理机理三个基础科学问题：研究基于关键点描述的视网膜立体特征描述子问题，为网膜感知的立体特征，提出基于尺度不变纹理关键点描述的视网膜立体特征描述子，提高视网膜立体特征关键信息的有效表达；研究立体特征视网膜编码方式，提出基于信息熵的视网膜协同编码，通过视神经元对噪声的抑制机理研究不确定性立体特征最小化编码方式，为研究神经元以脉冲序列进行信息传输和处理提供基本依据；研究基于脉冲神经网络的视觉皮层计算模型问题，提出基于脉冲神经网络的分层连接计算模型，采用脉冲时间依赖可塑性学习规则，构建基于监督脉冲神经网络的视觉皮层神经元突触的可塑性特征学习计算模型，实现三维目标识别的应用研究，使其不仅在理论上而且在实际上具备可行性。

伴随脑科学与类脑科学研究的飞速发展，及我们对人类视觉机理的深刻认知，借鉴人类视觉系统信息处理机制，将生物神经科学和计算机信息学相互结合，构建基于视觉皮层的类脑计算模型，寻求适应不同场景不同需求的统一解决方法，是面向三维目标识别的有益探索与尝试。.本项目利用脉冲神经网络模拟视觉皮层并将其计算模型应用于三维目标识别的研究，主要研究了以下三个内容：（1）视网膜特征描述问题的研究。借助于人类视网膜对物体感知机理，基于视网膜关键特征点的有效表达来研究视觉特征如何在视网膜上进行描述；基于人类颜色视觉神经感知机理，结合视觉感知图像的相似性原理，研究了视觉颜色感知与视觉特征之间的关联关系，通过模拟视网膜中的神经节感知机制并结合人类视觉系统信息处理机理实现特征提取过程；（2）视网膜特征信息编码问题的研究。基于视网膜感知外界视觉刺激的生理机制设计了一种视网膜神经元信息编码机制，基于视觉感受野的生理机制采用多尺度高斯差分滤波器模拟视网膜神经节细胞的中心环绕特性，构建基于视网膜编码机制的卷积脉冲神经网络模型；并构建视网膜颜色编码模型，用于图像分类及图像去雾等任务；（3）基于脉冲神经网络的视觉皮层计算模型问题研究。针对图像识别任务，通过构建合理的视觉信息编码模型，提出了基于视网膜神经元信息编码脉冲神经网络图像识别方法；借鉴视觉通路对轮廓提取任务的级联处理机理，提出一种新的仿生轮廓检测模型，研究了图像的主题轮廓提取及识别任务。.本项目的研究成果将为解决计算机视觉领域中三维目标识别的现存问题提供新的研究思路，为实现无人飞机导航、无人汽车驾驶、机器人视觉、增强现实等前沿科技的支撑技术提供新的解决方案，同时促进生物科学与信息科学的互动，具体重要的理论研究意义与工程应用价值。