面向复杂事件分析的脑机模式协作循环神经网络研究

Complex event analysis has been widely used in the fields of language, video, finance, medicine, internet of things, transportation, and so on. It is an important research topic in intelligent technique and application. Recurrent neural networks(RNNs) are capable of modeling complex event but the lower accuracy and training efficiency are the major issues in complex event analysis. This project aims to study a brain-machine collaborative recurrent neural network for complex event analysis. We propose four main research topics focusing on the model architecture, implementation strategy and training method of recurrent neural network: 1. the adaptive recurrent neural network with temporal duration is researched, which exploits the temporal feature of the sub-event to improve the accuracy of complex event analysis. 2. the brain-inspired recurrent neural network implementation is studied, which alters the internal organization and working mechanism of RNN to provide high scalability. 3. the brain-machine collaborative training method for RNN is investigated, which takes advantage of heterogeneous computing technique and distributed in-memory computing technology to increase the training efficiency. 4. the cross-layered execution of RNN neurons is studied to reduce the time overhead of a large amount of parameter transmission and improve the training efficiency. Through above research, we expect to explore the brain-machine collaborative recurrent neural network, making full use of the property of complex event analysis and combing the biological neural system with the emerging computing technology.

复杂事件分析被广泛应用于语言、视频、金融、医学、物联网、交通等多个领域，是智能技术及应用研究中的重要内容。循环神经网络是进行复杂事件分析的重要方法，但分析的准确性和训练效率是其存在的两大问题。本项目旨在面向复杂事件的分析，研究脑机模式协作循环神经网络系统，分别从循环神经网络的结构、实现方法和训练方式等角度，开展四个方面的研究：1. 研究融合时长的自适应循环神经网络模型，利用子事件的时长属性信息，提高分析复杂事件的准确性； 2. 类脑的循环神经网络运行模式，改变循环神经网络内部组织和运行方式，提高可扩展性； 3. 脑机模式结合的循环神经网络训练方法，合理利用不同类型计算设备和分布式内存计算等技术，提高循环神经网络的训练效率。4. 错层交替的神经元工作策略，减少训练过程中传输大量参数所需的时间开销。从而探索出能面向复杂事件分析特点，融合生物神经系统与新型计算技术特性的脑机模式协作循环神经网络。

事件分析是智能技术及应用研究中的重要内容。与简单事件分析不同，复杂事件中包含多语义概念，子事件语义概念、时长信息及语义时序关联对复杂事件分析至关重要。以循环神经网络为代表的深度神经网络是分析时序关联问题的有效方法，但当前的深度神经网络模型与生物大脑在工作机理、工作方式等方面还存在很大差异，使得深度神经网络难以具备生物大脑高效、灵活的特性。.. 本项目研究了面向复杂事件分析的脑机模式协作循环神经网络，借鉴生物大脑处理信息的机制，利用新型计算技术，从面向应用的循环神经网络模型优化、神经元组织方式、神经元之间协作机制等方面，分别研究了融合时长的自适应循环神经网络模型、类脑的循环神经网络运行模式、脑机模式结合的循环神经网络训练方法和错层交替的神经元工作策略；最后，构建了脑机模式协作循环神经网络原型系统，验证本项目研究的关键技术。. 通过实验验证，我们发现所提出的融合时长的循环神经网络模型，在MNIST、ADL和Charades数据集上训练效率提高了4%-8.7%；通过对类脑的循环神经网络运行模式的研究，我们发现以分布式神经元为核心的工作方式较单机方式提高了训练效率6-12倍，所提出的高并发存储系统能提高67.3%的IOPS；通过对脑机模式结合的循环神经网络训练方法的研究，我们发现所提出的传播激活式训练策略、异构C/S模式的组合训练方法和基于循环单元的HTM减少了48%的训练时间，在NYC taxi和PTB数据集上准确率提高了14-32%；通过对错层交替的神经元工作策略的研究，我们发现基于降维的神经元训练执行策略和神经元错层执行方式能进一步降低训练时间约14.92%-16.43%。. 我们认为从复杂事件的特性出发，借鉴生物大脑运行机制的脑机协作循环神经网络能推动基于类脑智能技术在复杂事件分析处理中的应用。本项目的研究具有重要的科学理论意义与实际应用价值