面向视觉认知的脑启发式多源数据深度学习理论与方法

Multi-source video big data (MSVBA) is ubiquitous in modern information age. The vast amount of complex and heterogeneous MSVBA prevented the application of traditional machine learning methods from extracting useful information for scene recognition and understanding. Inspired by the preliminary discovery on brain science, the deep learning (DL) technology has achieved a great success in image/video processing and recognition. However, it is still in its infancy, in that the working DL models suffer from several problems, i.e., simple connection and memory missing, which prevent multi-source video information from being processed efficiently. Recent neuroscience discovery on brain circuits, i.e. multi-direction connections among neurons, especially that subserving visual recognition, i.e. video information selection under the guide of associate memory, has shed light on developing more practical and DL theories and models. In the current project, we attempt to design a novel diversity connection based DL network, which combined the aforementioned features of the brain. Moreover, we attempt to further improve the DL network which can effectively process multi-source video information. The proposed DL network is adaptive to multi-tasking. It can also utilize prior information and effectively process multi-source information. Hopefully, the proposed work will improve the processing capacity of machine learning on multi-source big data, which may shed new light on machine learning theories and applications.

现代信息社会多源视频大数据无处不在，且具有海量庞杂、多源异质特点。传统机器学习方法对其挖掘发现互联关系、提取有效信息和识别能力不足。参考大脑神经元多层深度互联特性，现有深度学习方法在视频图像处理和识别方面取得了长足进展，但仍然存在网络连接方式单一、缺乏联想记忆能力、对多源视频信息处理能力弱等问题。随着神经科学研究的进一步发展，受脑神经元双向连接、联想记忆匹配选择处理输入视频信息、对多源视频信息分治且融合等机制的启发，本项目研究面向视觉认知的工神经元多样性连接的网络模型，探索具有记忆联想和视觉信息选择特性的深度学习方法，以及多源视频数据分布式处理与融合机制，创建脑启发式深度学习网络，以期突破现有深度学习网络对多任务自适应、对先验信息利用、以及对多源数据处理能力不足的瓶颈，有效提高深度学习对多源视频大数据的处理能力，并丰富机器学习理论与方法。

针对现有深度学习方法网络结构设计单一、缺乏记忆联想能力、缺乏多源数据协同处理能力等问题，受大脑视觉信息处理机制的启发，本项目从神经元连接、大脑记忆、信息融合机制这三个方面研究了面向视觉认知的脑启发式多源数据深度学习理论与方法。（1）模拟神经元连接机制，提出了主、从任务协同训练的同层网络激励与抑制学习算法，构建了具有跨层泛在反馈的神经网络模型，实现了具有任务自适应的网络结构优化；（2）借鉴大脑工作记忆联想机制，研究了视觉信息在记忆形成中的编码、存储与更新机理，构建了具有工作记忆和信息选择特性的分布表征模型，实现了联想记忆对神经网络学习的指导作用；（3）借鉴大脑分布式处理和融合机制，在特征层面、算法层面和隐空间层面分别提出了多源数据融合与协同训练方法，解决了多源视觉数据中存在的互补、互斥、融合等问题。本项目突破了现有深度学习网络对多任务自适应、对先验信息利用、以及对多源数据处理能力不足的瓶颈，有效提高深度学习对多源视频大数据的处理能力。研究成果已发表在国内外学术杂志上，累计发表学术论文 195 篇，其中SCI检索期刊论文 90 篇（包括IJCV、IEEE-TIP等），EI检索国际会议论文 105 篇（包括CVPR、ICCV、NeurIPS等CCF-A类会议）。申请国家发明专利 15 项。基于上述研究成果，成功研制了嵌入式开发板新型深度学习验证平台一套，已被中国资源卫星应用中心、中电27所等机构采用。研究成果获国内外肯定，获得了陕西省自然科学技术奖一等奖、中国电子学会发明奖一等奖等。