基于注意机制和随机集的多视频流信息融合研究

The processing and perception of the multiple video streams mass information are difficult problems in intelligent traffic, city security engineering, and so on. How to extract and select the interesting video information (features) effectively in the multiple video streams, the changing and processing of the isomerism video information space, and the extract of association of multisource and mutilresolution (data, feature, and semantic) video streams information have become a new challenge of the theory and technology of the information fusion. This project firstly establishes a feedback multiple video streams fusion system mode based on the vision attention mechanism. Then, a multiple video streams information selection attention machenism model and a feedback system are estabilised to select and extract the interesting video information adaptively, which can reduce the computational comlexity of massive information processing and promise the effectiveness of the information extraction. Thirdly, it designs a video information isomerism space computation model based on the random set and proposes an information fusion association method based on the task driven, so that it can realize the recognition of the events and the local situation. At last, multiple video streams information fusion emulational test system is constructed for the city traffic video surveillance application, and the theory results are tested by it. This research can make a good sense to improve the development of the theory and technology of the information fusion in the field of massive video surveillance.

多视频流海量信息的处理和感知是诸如智能交通、城市安防工程等领域大规模视频监控所迫切需要解决的难题。如何实现对多视频流中感兴趣视频信息（或兴趣特征）的有效选择和提取、异构视频信息空间的转换和处理，以及如何挖掘多源、多尺度（数据、特征、语义）视频流信息间的关联等，对当前信息融合理论与技术提出了新的挑战。本项目首先建立基于视觉注意机制的反馈型多视频流信息融合系统模式；其次，建立感兴趣视频信息选择和感兴趣特征抽取的注意机制模型，设计注意机制反馈系统，以降低海量信息计算复杂度及效率和保证信息抽取的有效性；再次，建立基于随机集的视频信息异构空间计算模型，提出面向任务驱动的信息融合关联方法，以实现对事件（或局部态势）的识别；最后，结合城市交通视频监控应用，搭建多视频流信息融合仿真试验系统，理论成果在试验系统中得到验证。本项研究对于推进大规模视频监控这一特定领域的信息融合理论与技术发展具有十分重要意义。

1. 针对交通监测视频流处理过程中的高复杂性难以满足高效的实际应用需求，提出了一种基于频谱分析的交通视频流处理方法。.2. 针对场景、目标、事件及态势信息的检测与识别，提出了基于双字典表观模型的跟踪算法以及支持向量字典学习的目标跟踪算法。.3. 针对构建自适应、高效的感兴趣视频信息抽取模型，提出了一种基于模型和领域知识驱动的信息处理系统以及一种基于深度学习的信息处理系统和方法，以解决对海量数据信息的有效处理，降低计算复杂度和减少对计算资源的消耗。.4. 利用跟踪目标的运动趋势，将萤火虫的学习规律与跟踪目标的运动规律有机结合，提出了一种改进萤火虫的目标跟踪算法。通过对6个常用视频序列的实验发现，改进萤火虫算法的跟踪效果和算法稳定性明显强于标准萤火虫算法，提高了目标的准确度和精确度。.5. 针对多目标萤火虫算法收敛速度慢、求解精度低的缺点，提出了一种基于档案学习的多目标萤火虫算法，获得了更快的收敛速度和求解精度。.项目针对多视频流海量信息的感知处理需要解决的难题，围绕多视频流中感兴趣视频信息（或兴趣特征）的有效选择和提取、异构视频信息空间的转换和处理等问题开展研究，构建了基于视觉注意机制的反馈型多视频流信息融合系统模式，设计了视频信息异构计算系统和多视频流信息融合装置，建立一套基于注意机制的多视频流信息融合方法，有助于解决诸如智能交通、城市安防工程等领域大规模视频监控所迫切需要解决的难题，也有助于推进面向多视频流信息感知这一特定领域的信息融合理论与技术的发展。