彩色夜视中景物深度及空间透视立体视觉感的研究

彩色夜视技术通过赋予夜视图像色彩来提高目标识别能力。目前该领域的彩色夜视方法都在尽可能地去逼近真彩色，但却都只在色调的真实性上进行研究而没有考虑夜视图像的景物深度和空间立体视觉感。由于特殊的成像机制，普遍缺乏深度空间感是夜视图像的一大特点。本项目的特色就是通过研究夜视图像的单目深度线索，利用透视学的景物特性来体现夜视图像的空间立体视觉感，克服目前彩色夜视图像缺乏立体视觉感的不足。.研究的创新点在于：从单幅二维夜视图像中恢复三维深度，即利用从单幅夜视图像中提取的景物深度线索来调制彩色夜视图像的色调和饱和度及阴影变化，使彩色夜视图像不仅具有与景物相吻合的自然色彩，更具有与景物深度相吻合的空间立体视觉感，从而改善夜视图像的理解效果、提高目标识别率，更进一步地实现夜视技术"变黑夜为白昼"的突破。项目的主要研究内容是如何获得夜视图像中景物的深度信息和怎样利用深度信息使彩色夜视图像具有立体视觉感。

本项目的特色是通过研究夜视图像的单目深度线索，利用透视学的景物特性来体现夜视图像的空间立体视觉感，克服目前彩色夜视图像缺乏立体视觉感的不足，使彩色夜视图像不仅具有与景物相吻合的自然色彩，更具有与景物深度相吻合的空间立体视觉感，从而改善夜视图像的理解效果、提高目标识别率，更进一步地实现夜视技术“变黑夜为白昼”的突破。. 总体来讲，从单幅二维夜视图像中恢复三维深度，为夜视图像增添空间立体视觉感要解决两个关键问题：一是从原始的夜视图像中估计出各景物的深度信息；二是在处理后的夜视图像中表达出易被观察者理解的深度线索以增加观察者的空间立体视觉感。其中，利用单目深度线索进行夜视图像景物深度信息提取方法是研究的重点和难点。项目组对此做了着重研究。. 项目取得的主要进展及成果概括为两大部分：一是夜视图像彩色化实现的方法；二是夜视图像深度信息的获取及利用从单幅夜视图像中提取的景物深度信息来调制彩色夜视图像的色调和饱和度变化，实现彩色夜视图像的空间立体视觉感。.针对夜视图像彩色化实现的方法，主要提出了：.1..基于反射/辐射的微光/红外的强度的深度估计及自然彩色实现；.2..基于KPCA和稀疏方法的红外图像色彩估计；.3..单波段红外热像的自然彩色夜视实现；.4..红外/微光双波段图像的实时自然彩色夜视实现；.5..基于轮廓跟踪的红外视频彩色化方法。.针对夜视图像深度信息获取及色调饱和度调制，主要提出了：.1..基于马尔科夫场理论的单目图像深度估计；.2..基于深度线索信息库的彩色夜视实现；.3..基于机器学习方法的单目夜视图像深度估计及立体感彩色实现；.4..基于图像内容理解的红外图像深度估计及彩色实现；.5..基于分割和直线检测的红外图像深度估计；.6..基于KPCA和神经网络的红外图像深度估计及彩色实现；.7..红外视频的深度估计。. 以上研究成果通过实验进行验证，获得的实验结果包括深度图和具有立体视觉感的彩色夜视图像以及视频中的应用等，深度信息的准确性和彩色立体感的视觉效果皆验证了算法的有效性，这为彩色夜视领域的发展提供了技术支持。