时空约束的机载多视序列影像特征稳健提取方法

With the increasing popular application of airborne multi-view video in the urban security emergency management, steady feature extraction from images has already been a key problem for target recognition and tracking. With the restriction of the low resolution of images, feature extraction technology based on single image will be unstable and incorrect to extract feature from multi-view video sequence, it will produce the following problems, such as inconsistent space-time distribution of features, sparse features, unstable extraction, and even no feature in the image sequence when exposure to strong sunlight. The application focuses on distribution relationship of features in the multi-view video sequence and feature mapping mechanism based on spatio-temporal constraints, to solve the unstable feature extraction problem. The major research issues include: (1) an integrated reconstruction method by feature distribution correctness for multi-view video sequence; (2) a steady feature extraction method restricted by spatio-temporal constraints for low resolution image sequence; (3) an accurate feature stereomapping for no imaging regions; (4) prototype system and experimental test. We expect this project can provide theoretical approach and key technical support for target recognition and 3D reconstruction.

随着机载多视影像监控在城市安防应急管理中日益广泛的应用，对影像特征进行稳健的提取已成为监控场景中目标识别和跟踪的瓶颈问题。受多视序列影像低分辨率成像因素的制约，针对单张图像的特征提取技术难以对多视序列影像进行特征的稳健提取，会产生特征提取的时空不一致，稀疏不稳定，甚至是恶劣光照带来成像空洞的无特征提取等问题。本项目系统研究多视序列影像的特征关联分布以及时空约束的特征映射模型，旨在突破视频序列影像特征提取的不稳定难题，主要内容包括：（1）多视序列影像的保真归一化重构方法；（2）面向低分辨率序列影像的特征时空关联传递的稳定提取方法；（3）针对成像空洞的精确立体映射特征生成提取方法；（4）机载多视监控影像的特征提取原型系统与实验验证。本项目的研究将为特征目标的识别跟踪以及视频序列的三维重建等提供理论方法和关键技术支撑。

随着机载多视影像监控在城市安防应急管理中日益广泛的应用，对影像特征进行稳健的提取已成为监控场景中目标识别和跟踪的瓶颈问题。受多视序列影像低分辨率成像因素的制约，针对单张图像的特征提取技术难以对多视序列影像进行特征的稳健提取，会产生特征提取的时空不一致，稀疏不稳定，甚至是恶劣光照带来成像空洞的无特征提取等问题。本项目系统研究多视序列影像的特征关联分布以及时空约束的特征映射模型，旨在突破视频序列影像特征提取的不稳定难题，主要内容包括：（1）多视序列影像的保真归一化重构方法；（2）面向低分辨率序列影像的特征时空关联传递的稳定提取方法；（3）针对成像空洞的精确立体映射特征生成提取方法；（4）机载多视监控影像的特征提取原型系统与实验验证。通过对以上关键内容进行研究，提出了（1）针对不同纹理场景中的检测曲线，对曲线的不变特征进行提取匹配，丰富了不同纹理场景中不变特征点的提取，此方法能显著增加重复纹理场景中同名点配对的数量，并且也能对低纹理场景中稀疏特征点进行明显地补充；（2) 将提取的特征混合传统特征，用于不同纹理视频场景的精确拼接。由于不同纹理场景下精确匹配同名点数的增加，不同拼接方法的精确度均有提高，局部拼接细节更清晰；(3) 针对影像特征的稳定提取和光照引起的成像空洞，提出利用帧内特征的自关联和帧间特征的互关联的时空几何约束关系，并基于透视变换对光照变化成像引起的丢失特征进行精确预测的方法。实验结果证明对于宽窄基线视频，特征连续稳定追踪数量均可有效提升；（4）挖掘视频帧间特征的保留趋势，利用深度学习框架提升了视频序列影像的风格转换效果；利用生成对抗网络对图像卷积特征的提取思路进一步细化，提升了单域和多域的图像风格转换效果。在评价指标和视觉效果上相较以前方法均有明显提高；（5）构建了原型系统用于文章实验和应用的验证。本项目的研究为视频序列特征的目标识别跟踪以及视频序列的三维重建等提供理论方法和关键技术支撑。