立体图模型结构下的自然图像理解研究

本课题在已有研究方法的基础上，针对自然图像理解中目标建模和场景解释中语义描述不足的缺陷，以统计概率分析为理论基础，以图模型结构为信息载体，侧重载体内知识与数据的融合转换过程。研究图模型和视觉实体之间的映射关系，在平面图模型的基础上建立"场景-目标-区域-基元"的多层次立体结构，其水平关联和竖直关联可体现实体间的多种关系，同时关联多词性的语义词汇网络，描述理解过程中的多语义性；将图模型的参数估计和概率学习与图像实体语义分析结合起来，体现上下文语境信息的提示机制和场景信息的约束机制，并对整体的图模型信息进行采样过滤生成知识基元；建立合理的知识推理反馈机制和评价机制体现图像理解过程的反馈性和渐进性，较有效地处理理解过程中语义的多义性问题。对自然图像建立新型的立体层次图结构，实现图像理解中目标建模和场景解释的任务关联，应用于自然环境下的机器人导航，同时尝试用于军事中与视觉任务相关的领域。

本课题针对视觉目标建模和场景解释中语义描述不足的缺陷，在已有研究方法基础上，采用统计概率为理论基础的视觉图模型分析方法，为定义合理的层次结构模型，本项目从图像特征表达入手，通过采用基于独立子空间分析的无监督学习方法获取结构化的特征基元，并将基元优化过程融入增量学习思想框架中，解决了大样本及动态样本下的学习难题，并围绕图像颜色特征表达，通过研究颜色神经元感受野对视觉刺激的响应形态及表达，从生物视觉角度阐述了多颜色通道处理的重要性；同时利用BoW词袋模型及SPM空间匹配策略，讨论了局部特征的有效匹配核表达，并进一步通过Wordnet 词汇分析工具，获得了具有高层语义的协同特征描述子，从而建立视觉实体的有效描述。为设计优化的学习推理策略，本项目在参数学习过程中引入统计学启发，并运用迁移学习思想解决标记数据短缺情况下的参数学习问题，通过引入多源迁移模型，自适应的解决小样本和样本不均衡条件下的分类难题；针对多尺度MRF随机场标记获取问题，本项目从能量项角度入手，分析MRF顶层标记与层间映射的初始化问题，通过考虑像素的领域关系，分层次地讨论场模型下的推理策略，并根据集成学习理论，实现了多特征多聚类的图像分割框架；项目着重研究了的PLSA模型下的参数学习机理，通过引入新的参数关系，实现场景建模过程的细化，并优化EM迭代运算求解模型参数，从而获得有效地隐语义表达；项目进一步针对概率分布理论中的多项式分布过程展开讨论，研究包含目标外观特征和空间位置的LDA和无参HDP 模型下的蒙特卡洛采样策略，通过在采样过程中从联合分布边缘化部分变量，有效减小参数估计求解方差，并结合目标语义化分析，建立了视觉分析过程中的上下文语境引导和先验知识约束。为体现视觉过程的反馈性和渐进性,项目在HDP图结构模型中融入场景级全局知识和目标级局部知识，分别建立视觉词汇与目标间的映射关系，目标与对应场景直接的映射关系，通过同时考虑目标和场景在参数空间的概率分布情况，获得目标/场景两个标签层面的数据支持，并融入真实场景中的上下文关系，建立图像场景分析与目标识别间的反馈机制；项目进一步针对类别边界上的不稳定样本，从Wordnet词汇距离入手，借助机器学习的协同表达理论建立纠错模型，有效地实现了具有强鲁棒性的视觉图模型层次结构下的目标建模和场景解释任务。