视网膜感知、识别与图像重建机制研究

In recent years, many research output are achieved in the areas of compressed sensing and human vision. A common approach of these researches is that the signal representation and processing in retina and our vision system is sparse. This project will focus on the visual signal representation and processing in our vision system based on compressed sensing theory. The research will work on the simulation of the random color sampling array of retina, and the visual signal reconstruction from the sampling array. The error boundary will theoretically analysed based the compressed sensing theory and the new analysis methods will be proposed. An effort of our research will also contributed to the object recognition based on the retinal sampled signal instead of reconstructed signal. The output of the research will be the finding on the visual processing models for the visual research areas, the new retinal sensor and image reconstruction methods for image sensor industry.

近年来人类在压缩感知和稀疏表示理论、视觉研究等领域取得了许多重要的成果。这些研究成果同时指向了一个结论，即基于视网膜随机采样阵列的视觉系统，在其信号处理和识别理解中采用稀疏编码。本研究将从计算的角度，以压缩感知理论为基础，用稀疏表示的方法模拟和研究视网膜、视网膜采样、重建和物体识别的信号处理过程，探索视脑系统的信息处理和识别的计算机制和模型。同时，本研究还将基于视网膜采样和表示原理与模型，探索新的数码相机的颜色采样矩阵，采样信息的稀疏表示方法以及彩色图像重构方法。对视网膜采样和重构的研究，能帮助我们设计新的相机的彩色滤镜阵列和重建的图像处理算法，提供更真实的图像。严格定义的采样模型也为新型视网膜相机设计提供了理论基础，利于探索基于视网膜采样和重建原理的新型数码相机系统。本研究是当前脑科学研究的重要组成部分，具有重要的科学意义。本研究成果可用于新型视网膜相机的设计，有望取得一批发明专利。

当前成像系统不断向更多的像素发展，但由于传感器的面积有限，继续提高像素数量受到了严重的传感器本底噪声的影响，使得成像系统趋近于信噪比的物理极限。但人类的视觉系统如何处理及重构视觉信号，以达到远比现有相机更好的性能方面，所知甚少。..本项目基于现有的视锥细胞分布随机性、人脑皮层稀疏编码工作机理与皮质功能柱等人体视觉研究成果，从计算的角度研究视网膜、视网膜采样、重建和物体识别的信号处理过程，探索视脑系统的信息处理和识别的计算机制和模型，并在此基础上，提出了视网膜随机成像理论与感受野边缘检测模型，构建了新的随机成像系统及图像传感器。项目的研究内容和创新点如下：..1..提出了视网膜随机成像理论。提出随机模板与随机亚模板，使得原有计算、成像的必要采样次数大大降低，突破了压缩感知中图像分辨率与字典大小相同的限制。该理论综合考虑了采样、去马赛克和降噪三过程，实现了基于视网膜随机矩阵的信号采样和重构。通过对比实验与主客观评估，验证了随机成像理论的正确性，..2..基于随机成像理论提出了似人眼视网膜特性的低蓝颜色过滤矩阵，以及图像传感器减少传感元数量的两种简单实施方案，证实了随机成像理论可以利用少传感元一次采样采集到高质量高分辨率图片。通过联合像素方法，可以使用更少的传感元在高噪声下取得更好成像质量。..3..提出了二维边缘检测感受野模型。根据视皮质功能柱、感受野、降噪叠加机理等，提出了堆叠各向异性感受野组模型和各向同性感受野模型，并实现了定位准确的感受野边缘检测算法，得到了权重分布函数Landau-Kernel。实验证明了该算法边缘检出率高且不偏移。..4..基于上述理论和模型，提出了超光谱图像分析和分类方法，实现多个动态贝叶斯神经网络等多种网络的超光谱图像去噪和甚少样本的分类，正确率高。提出了用于帕金森等运动功能衰退病人的一键人机交互方法，使得运动功能障碍人群能够通过最简单的一键输入文字和操作电脑。..上述研究成果中，视网膜随机成像理论和感受野边缘检测模型均为突破性的理论成果，具有重要的理论意义，顶级期刊的论文在整理发表中。相应的发明专利已经申请，可望形成新的高灵敏度的图像传感器。上述成果超光谱图像处理领域的应用，为中国高分卫星数据处理提高了新的方法。