基于生物视觉机理的颜色恒常性算法研究

Color constancy is an important function of human visual system for color perception, and the computational modeling of color constancy of biological visual system is also a hot topic in the field of computer vision. In this proposed project, we plan to study and simulate the biological mechanisms of color and luminance information processing at the specific levels of retina, LGN (lateral geniculate nucleus) and V1 (primary visual cortex), based on the extensive known knowledge and the various newest findings about the biological vision. The final goal is to build biologically plausible color constancy models that have the following features: 1) the introduced computational schemes are as close as to the biological ones; 2) the proposed models can explain certain psychophysical effects of visual perception; 3) the new models can be used to adaptively and robustly correct the color-biased scenes under varying external lighting conditions. Ultimately, this project may provide feasible solutions to the principle problem of color constancy in the field of computer vision, and hence, benefits directly the color information based applications, e.g., color based object recognition. To the end, the project may contribute to advance the computer vision systems more biologically intelligent.

颜色恒常性是人类视觉系统实现颜色感知的重要功能之一，也是机器视觉领域里的重要研究内容之一。借鉴生物视觉颜色恒常性机理研究具有鲁棒性的颜色校正方法已成为研究热点。本项目在我们前期研究工作的基础上，充分吸收国际上在视觉机理实验研究方面的长期积累和最新进展，从视网膜、侧膝体、初级视皮层三个层次系统性地模拟颜色及亮度信息处理的生理机制，构建一个能够在相当程度上反映生物大脑颜色感知机理的颜色恒常性模型。使得所建立的模型具有如下特点： 1) 对颜色信息处理的各个阶段所采用的机制符合视觉神经生理机制的基本实验结论；2）能够解释某些视觉心理物理实验现象；3）有通用性，能够处理在各种复杂光照条件下得到的色偏图像。本项目的研究成果将为颜色校正这一计算机视觉中的基本问题提供有效解决方案，为基于颜色的计算机视觉任务（如目标识别）提供最为直接的支持，进而为推进计算机视觉系统的生物智能化做出贡献。

颜色恒常是人类视觉获得场景恒定感知的重要基础，也是机器视觉获得真实场景颜色的重要保障。本项目围绕颜色恒常机理模拟和应用开展了一系列研究。系统地提出了复杂场景颜色恒常的生物视觉机理、计算模式和方法。主要创新点有：（1）基于视网膜机理，提出了水平细胞对视锥调制作用的可能计算模式，建立了一种效果良好的彩色图像颜色恒常模型；（2）进一步模拟视网膜的多层次信息加工过程，建立了颜色恒常的视网膜神经网络模型；（3）采用一种独特的方式模拟了视觉系统的视网膜-LGN-V1层次的颜色双拮抗机制，提出了生物视觉颜色恒常的新思路，即场景光源颜色可以由V1区具有同心圆结构感受野的颜色双拮抗神经元进行编码；（4）首次提出了在建立颜色恒常性模型的时候同时考虑相机的颜色响应函数和场景光源颜色的影响；（5）提出了一种基于视觉明暗适应能力和视网膜神经元感受野特性的多光源颜色恒常算法；（6）提出了一种利用场景局部区域的灰度点估计局部场景光源，进而实现多光源不均匀色偏场景的颜色恒常方法。此外，为了今后能够最终实现基于场景分析的复杂条件颜色恒常，本项目提出了一种基于V1区非经典感受野机理，综合利用亮度、对比度、朝向等视觉特征的灰度图像轮廓检测模型，以及模拟V1区朝向选择性双拮抗颜色敏感神经元特性建立了彩色图像轮廓检测模型。进一步地，我们借鉴生物视觉选择注意中的引导搜索理论，建立了基于Bayes理论的“Bottom-up + Top-down”选择性注意计算框架，高效地实现了复杂场景中显著目标或显著区域的检测。这些研究为今后实现基于区域或物体的复杂光源下复杂环境图像的颜色矫正奠定了基础。本项目共发表或录用论文15篇，其中SCI论文11篇（其中包括IEEE T-PAMI在内的IEEE Transactions论文6篇），EI论文4篇（含CVPR和ECCV论文各1篇）；获得了中国发明专利授权6项，新申请发明专利4项。