基于鱼眼镜头的嵌入式全景立体球视觉系统研究

提出一项新的机器视觉方案－"全景立体球视觉"，研究全景立体球视觉系统获取全球域三维坐标的方法。该系统由组合式鱼眼镜头和专门研发的嵌入式图像处器组成。全景立体球视觉系统集全景视觉和立体视觉优势于一体，仅利用单一视觉系统、一次拍摄在获取全球域无盲区信息的同时可测算出完整观测空间内任意景物的景深信息。为确保精度和实时性，本项目将面向未矫正的鱼眼图像探索全球域三维坐标获取方法：建立"球视觉"几何、数学模型；在立体标定空间内研究系统内外部参数标定方法，形成全景立体球视觉理论体系；以研究针对未矫正的鱼眼图像极线几何的具有匹配鱼眼图像边缘信息能力的特征匹配算法为核心，探索全景立体视觉全球域三维坐标的获取方法。"全景立体球视觉"是全景和立体视觉理论的交叉与发展。本项目的研究将为全景立体球视觉系统在军事国防、加工制造、未知环境探测、灾害救援、虚拟现实、测量控制等领域的应用奠定基础。

立体视觉是根据三角测距原理，通过观测空间中一物点在多个不同视点拍摄到图像中的对应像点间的视差来计算景物的深度。但现有的立体视觉方案，受三维视场的局限，需通过云台转动或移动平台的多点拍摄来实现全观测空间三维信息的观测和重建，在许多场合中不能满足应用需求。全景视觉无须视觉系统的机械回转或扫描即可将全部视场内的上、下、左、右、前、后景物一眼看遍。然而，投影过程是三维信息通过针孔等透视投影模型在二维平面上的成像，损失了一维景深信息，限制了全景视觉的应用。. 本项目从研究全景视觉与立体视觉是否能够有机结合、优势互补（利用全景视觉的全视场解决立体视觉观测范围相对狭窄的不足，利用立体视觉的景深信息弥补全景视觉损失一维图像信息的缺陷）为出发点，探索一项新型的机器视觉研究课题“全景立体球视觉”。其特点在于：利用单一视觉系统，一次拍摄成像，在同一时刻，可实现全观测空间的全景图像生成与目标三维信息获取。首先，提出了构建全景立体球视觉仿真系统与嵌入式系统的方案；建立了全景立体球视觉非线性极线几何理论体系，并开展相关理论研究包括：几何模型、数学模型的构建，系统内、外参数的标定、系统极点标定与极线校正；接着，针对全景立体球视觉系统特点，设计了一种新型联合特征描述子，突破了后续全景图像拼接及三维重建的关键技术，且给出了相应评价方法；最终，研制出了4CCD+FPGA+DSP的一体化全景立体球视觉嵌入式图像处理器样机一台，并成功将核心算法在该平台上移植，实现了集四幅鱼眼图像的采集、处理、分析于一体的系统功能，对感兴趣景物实施了三维重建。研究成果已在国内外代表性学术期刊或国际会议发表学术论文34篇，其中SCI期刊论文1篇，EI检索期刊论文2篇，EI检索22篇次；申请发明专利2项。安排成员赴国外参加国际会议、并邀请2位国外专家来华学术交流3次。共培养博士1名，硕士14名。