基于高速前向运动视频的运行环境检测模型

Recently, machine vision-based high-speed railway maintenance and surveillance has attracted many interests to ensure the safety of high-speed railway transportation. Therefore, this project aims at constructing a novel front view railway video-based maintenance system, and then focuses on solving scientific problems in the field of image restoration, image enhancement, video segmentation and image panorama. The main research topics include: (1) proposing a new image panorama approach based on single high-speed front view video to generate the non-overlapped scenes. It can largely reduce the data size and further can be used to detect the abnormal objects; (2) developing a new optical flow method with railway priors to deal with video segmentation and image unwarping that is the fundamental task for image panorama; (3) presenting an image restoration and enhancement model, which combines the manifold-based regularization and partial difference equation, to highly improve the image quality. The theoretical results of this project can be used to construct the railway surveillance system to guarantee the safety of high-speed railway environment. Then, such model can be easily generalized to other transportations, such as high way and tunnel. Moreover, the proposed image panorama technology would provide a new idea for generating 3D virtual reality.

为保证高速交通运载工具的安全运行，利用计算机视觉感知技术快速检测环境状态已经成为一种重要的手段。本项目拟以高速铁路运行沿线环境为背景，建立基于高速前向运动视频的环境检测模型。项目涉及图像恢复、增强等经典问题以及高速前向运动视频分割、全景图拼接等崭新课题；主要研究内容：(１)提出一种新的基于高速前向运动视频的全景图拼接技术，达到以全景图替代视频图像实现场景图像信息压缩和通过全景图比对来发现异常的目的；（2）前向运动视频图像的快速分割以及帧图像快速展开是实现全景图快速并行拼接与比对的前提，拟以光流技术为基础，提出新的融合先验的光流法；（3）研究基于流形的正则化方法和偏微分方程模型，实现适用于高速运行环境下图像的恢复、增强。该研究可为建立高铁沿线环境的安全预警系统提供技术理论支持，且该模型可以推广到公路交通、隧道等其它环境，本项目的全景图拼接技术可为三维全景虚拟现实开辟一条新的制作途径。

本项目是以利用计算机视觉技术对高速铁路运行环境进行检测，提高高速铁路安全运行系数为研究背景，研究内容涵盖了具有普适的计算机视觉技术理论以及针对高速铁路环境的特定环境的具体视觉处理技术。.根据项目申请书中的描述，本项目以检测高速铁路封闭运行环境的封闭性，线路内设备的完好性（非侵限状态）为对象，项目主要研究内容：(１)提出一种新的基于高速前向运动视频的全景图拼接技术，达到以全景图替代视频图像实现场景图像信息压缩和通过全景图比对来发现环境异常的目的；（2）前向运动视频图像的快速分割以及帧图像快速展开是实现全景图快速并行拼接与比对的前提以光流技术为基础，提出新的融合先验的光流法；（3）研究基于流形的正则化方法和偏微分方程模型，实现适用于高速运行环境下图像的恢复、增强。该研究可为建立高速铁沿线环境的安全预警系统提供理论支持，且模型可扩展到公路交通、隧道等其它交通环境，同时，本项目提出的全景图拼接技术也可为三维全景虚拟现实开辟一条新的制作途径。.四年来我们按照计划书圆满地完成了任务，取得了如下主要成果。.发表论文24篇,申请发明专利2项，出版专著1部。