基于压缩感知的盲人图像触觉识别方法研究

Taking sparse expression and refactoring of space vector significant target three-dimensional visual surface as the research objective, for the questions how matrix intelligent blind tactile sensing devices express quickly space observation target and obtain the most amount of information in a limited area, this project proposes the implementation method of tactile sensing space vector three-dimensional visual surface pixel coordinates reconstruction for the blindman based on on fast attention significant target areas recoding. Through the acquisition and processing of three-dimensional observation image information for space observation target, the project uses the theory of Compressive Sensing and adopts the Surfacelet multiscale geometric analysis method to carry on the sparse representation of observation area image, uses three-dimensional direction filter banks（3D-DFB）to synthesize the characteristics change of unified direction to a coefficient of energy concentration, and refactors the three-dimensional observation matrix by building the optimal observation matrix and using the Lagrange multiplier model optimization method, and combines with the blind visual graphics -- tactile recoding model to realize the blind image tactile sensor driver. The project focus on the analysis and research of the space three-dimensional visual image sparsity, extracting the target feature, accessing the point cloud three-dimensional coordinate and so on, which will both provide a theoretical basis for the design of image tactile sensing device for the blindman, and provide algorithm support for achieving the image information optimal expression on the finite element array under the constraints.

本项目以空间矢量显著目标三维可视面稀疏表达和重构为研究对象，针对点阵式智能盲人触觉传感设备在有限区域如何快速表达空间观察目标及获取最大信息量问题，提出了基于快速注意力显著目标区重编码的盲人触觉感知空间矢量三维可视面像素坐标重构实现方法。该项目利用压缩感知理论，通过对空间观察目标三维观测图像信息的采集和处理，采用Surfacelet等多尺度几何分析方法进行观察区域图像的稀疏表示，利用三维方向滤波器组（3D-DFB）将统一方向上的特征变化合成为一个能量集中的系数，并通过构建最优观测矩阵和采用拉格朗日乘数模型优化法重构三维观测矩阵，再结合盲人视觉图形——触觉重编码模型，实现盲人图像触觉传感驱动。项目重点对空间三维可视面图像信息稀疏性、目标特征提取、点云三维坐标获取等进行分析和研究。既为盲人图像触觉传感装置的设计提供理论基础，又为约束条件下在有限元阵列上实现图像信息最优表达提供算法支持。

本项目以可视空间CCD成像信息稀疏表示和空间矢量观察目标三维观测矩阵重构为主要研究对象，使用小波基对关注目标曲面图像进行了分析和稀疏表达，构造了匹配空间图像结构的Gabor原子字典，采用正交匹配追踪算法和最小二乘法对空间矢量观察目标三维观测矩阵进行了快速重构；采用图像分割大津法对文字类图像进行了多分辨率分解，采用contourlet模极大值法对非文字类图像进行了边缘检测；研究了基于卷积神经网络的目标检测算法，改进了用于手写体识别的LeNet-5模型，提出了一种基于改进Faster R-CNN的多目标检测模型，构建了一个快速、准确的目标检测算法；采用改进的游程长度编码方法对触觉图像进行了压缩编码。项目研究了人体腹部皮肤神经纤维电生理参数的测量与分析方法，设计了点阵触点的刺激波形，使其以一定的形状、频率和幅值来分别对应图像中的人体目标识别特征、色彩亮度信息以及人体目标距离，从而通过触觉来感知图像信息。基于以上理论和方法，项目设计了点阵式盲人图像触觉传感系统，包括图像采集模块、测距测速模块、数据处理模块、电流产生模块和触觉产生装置。实验结果表明，系统在目标图像色彩亮度信息和距离不同时都能引起刺激波形的相应变化，从而达到使盲人通过触觉传感识别视觉图像的目的。