基于视觉皮层信息处理机制的行人检测与行为识别

As one of the main means of the environmental analysis and understanding for driverless vehicle, visual perception plays an important role in pedestrian detection, action recognition etc., and becomes one of the hot topics in the research field. Up to now, although a lot of achievements have been made, they are generally lack of robustness. To this end, the project intends to establish a bio-inspired system for pedestrian detection and action recognition in road traffic, which simulates neural mechanisms of the dorsal stream in the visual cortex based on the theory of visual perception, visual attention and visual information processing. Firstly, visual perception computational model is built for effective detection of spatiotemporal information from videos based on dynamic properties of cells in visual cortex. The sparse coding for spatiotemporal information is introduced into the model with center surround suppression. Secondly, a new visual attention computational model is proposed by using the theories of surround inhibition and facilitation in visual cortex, and the method of pedestrian detection is proposed afterwards. Finally, based on the integrate-fire model of spiking neurons, an automatic threshold method for membrane potential of neurons is proposed through statistical analysis of the responses of all the spiking neurons at any time. By analyzing the spike trains of spiking neurons, the method of the feature extraction is presented based on the mean firing rates of the spiking neurons. On this basis, the parallel computing architecture and method for the above theories are given so as to build a real-time system of pedestrian detection and action recognition. The validity of the new theories and methods is tested on driverless vehicle. The research work of this project can realize accurate pedestrian detection and action recognition, and promote the development of driverless vehicle technology.

视觉感知作为环境分析和理解的主要手段之一，在复杂交通环境下的行人检测与行为识别中发挥重要作用，是无人驾驶技术中备受关注的研究内容。目前虽已取得许多成果，但普遍缺乏鲁棒性。为此本项目拟模拟视觉皮层信息处理机制，根据视觉感知、视觉注意、视觉信息加工机理，构建行人检测与行为识别系统。以视皮层细胞动态属性为基础，建立能检测时空信息的感知计算模型，提出模拟视皮层环绕抑制作用的时空信息稀疏处理方法，保证信息感知的有效性；根据视觉皮层环绕抑制和易化的相互作用理论，提出新的视觉注意计算模型，给出行人对象检测方法；依据脉冲神经元计算模型，研究神经元膜电位的自动阈值方法，分析神经元的脉冲链，提出基于神经元平均发放率的特征提取方法。在此基础上，研究这些理论的并行计算方法，建立行人检测与行为识别实时系统，通过车载实验，验证新理论和新方法。本项目的研究可以实现准确的行人检测与识别，推动无人驾驶技术的发展。

对于无人驾驶而言，视觉信息作为其中一种感知信息对无人驾驶的控制取着非常重要的作用。如何利用视频信息检测道路上的行人，判断他们的动作状态，是能有效地为无人驾驶服务的关键，如控制驾驶速度、调节行车路径等。为此，本项目模拟人的视觉皮层信息处理机制，开展了道路行人检测和行为识别。.目前有关运动模式是在哪个区域完成的，存在不同的推测。本项目首先针对V1区域感知的信息能否进行行为识别的问题展开研究。采用3D Gabor滤波器模拟初级视皮层简单细胞感受野的运动速度和方向选择性，获取运动能量，并通过环绕抑制操作获取更有效的时空信息。其次，采用IF（Integrate-and-fire）神经模型模拟神经元,将获取的时空信息转换为脉冲链；最后，利用脉冲链的平均发放率提取特征，并采用支持向量机进行分类。在Weiziman和KTH数据库上的实验结果表明, 建议的V1区域特征提取方法能有效地识别动作。此外，构建了模拟V1和MT区域神经元属性的两层脉冲神经网络，建立了前馈的V1-MT计算模型。该计算模型仍以IF模型为基础，通过分析抑制性和兴奋性电导的来源，简化模型结构，提出了V1与MT神经元之间的连接映射方法，从而实现了MT神经元感知信息的计算，提高了运动特征提取的有效性。在动作数据库Weizman、KTH和UFC Sport上的测试结果表明，其性能高于其它生物启发式识别方法，且与流行的动作识别方法性能具有可比性。.另外，利用V1神经元之间由侧连接引起的环绕相互作用，建立了视觉注意模型，给出了行人对象检测方法。该模型利用环绕抑制和易化对V1神经元感知的时空信息进行循环迭代处理，实现时空信息的整合，达到检测行人的目的。实验结果表明，提出的模型和方法能有效检测行人对象。.在上述基础上，构建了行人对象检测和行为识别系统，实验结果表明建议的注意模型和V1-MT模型能有效检测道路行人，并能准确地识别它们行为。利用GPU并行计算的功能，加快建议模型的计算速率，从而保证了系统的实时性（准实时）。.通过本项目的研究表明，模拟视觉信息机制进行道路行人运动信息处理，可以实现较准确的行人检测和行为识别。