目标协同分割与识别技术的研究

Human can segment and recognize objects precisely in complex scenes. However, it has proven to be a severe challenge for machine vision systems. Aimed at this challenge, this research pursues a cooperative solution to the problems of object segmentation and recognition. This study attempts to provide a different solution to cooperative object segmentation and recognition by simulating the mechanism of the coordination between "bottom-up" and "top-down" on the inner mechanism and a more micro level.We hope to further understood the mechanism of the coordination between "bottom-up" and "top-down" through this study, and want to be able to reduce the gap between these two processes and to promote its application in computer vision. This project belongs to computer vision, machine learning, cognitive science and mathematics of interdisciplinary，and will be to study the computing model of cooperative object segmentation and recognition and related issues surrounding some key issues such as how to understand and mimic the mechanism of the coordination between "bottom-up" and "top-down", prior data uniform representations, multi-layer features based inference and reconstruction，inference and reconstruction based cooperative object segmentation and deep learning. This project will implement an image recognition system DEMO, for the particular or bad information image recognition in the Internet or Internet of things.

人类能够在复杂场景中精确分割和识别目标，但这对于机器视觉却是一种严峻的挑战。针对这一难题，本项目提出了图像协同分割与识别技术的研究。本项目试图从内在工作机理和更微观层面上模拟自底向上与自顶向下这两个过程之间的协调工作机理，来研究图像的协同分割与识别技术，提高其处理能力。希望通过本项目的研究能够进一步理解自底向上与自顶向下这两个过程之间的协调工作原理，减少这两个过程之间鸿沟，并推动其在计算机视觉中的应用。本项目研究属于计算机视觉、机器学习、认知科学和数学等多学科交叉，项目将围绕如何理解和模仿自底向上和自顶向下这两个过程的协同工作机理、先验数据统一表达问题、多层特征推理与重建、基于推理和重建的图像协同分割、深度学习等关键问题与技术,来研究图像协同分割与识别计算模型及其相关问题与技术。本项目将实现一个图像识别系统的DEMO，用于互联网或物联网中特定或不良图案图像的识别。

人类能够在复杂场景中分割和识别目标，但这对于机器视觉却是一种严峻的挑战。针对这一难题，本项目提出了图像协同分割与识别技术的研究。本项目从内在工作机理和更微观层面上模拟自底向上与自顶向下这两个过程之间的协调工作机理。项目研究内容包括如何理解和模仿自底向上和自顶向下这两个过程的协同工作机理、先验数据统一表达问题、多层特征推理与重建、基于推理和重建的图像协同分割与识别、深度学习等关键问题与技术。项目提出了两种图像协同分割和识别的框架：基于RBM和基于Capsule网络；在国际/国内重要期刊/会议上发表论文18篇，其中一篇发表在AAAI会议上，一篇发表在ICCV会议上；受理发明专利28项，其中授权6项。项目的主要贡献在于：1）我们提出了基于深度学习的可拓展的协同分割与识别模型，用于对视觉认知机制的模仿，其中分割任务与识别任务相互交流，相互促进和协同，能够提升计算机在这两个任务上的性能和表现。而且，任务的协同也给识别结果带来了更多的解释性，因为识别过程中提取到的特征必须能够解释和生成出原始目标。模型中的两个重要模块“编码器与解码器”可以进行任意拓展，也可以替换为其他不同的模块，以满足模型在不同场景的应用需求。2）基于Capsule的模型能够在协同任务执行的过程中，解耦目标与干扰的特征，过滤掉干扰信息，更好地提取到目标的形状特征；而Capsule神经元独特的设计也保证了提取到的特征中，每一维数据都具有某种特定的含义，因此能够进一步提升识别过程的可解释性，以及生成的目标参考形状的可解释性。3）RBM的判别特性和生成性被应用到协同分割与识别模型中，一方面用于提取目标形状的特征，同时完成识别任务；另一方面则基于特征和识别结果，生成出参考形状用于约束分割结果。