用于视障者视觉辅助的物体3D空间信息视觉-听觉转换理论

China has a large visually impaired population, which makes the research on vision aid for the visually impaired very important to the country. Visual-to-auditory transfer is one of the most important techniques in vision aid for the visually impaired. Visual-to-auditory transfer is refered to the techniques of mapping an image to non-speech sound without doing image semantic extraction. In order to help the visually impaired capturing spatial information of an object, the theory of transfering object's spatial location and 3D shape is proposed and it is first time that the visual-to-auditory transfer theory is adopted to help a blind person learn object's shapes. Four main parts are included in this work. Visual attention model is built to locate an object that a blind people might care; the object's spatial information is extracted by a indoor bird-view image and stereo vision principle; by imitating the process of feeling shape by touching, a theory named "3D audio-sketching" is proposed, which presents object's spatial information to the visually impaired by using stereo sound; To generate precise stereo sound, a method to calculate individualized head-related impulse responses function is proposed based on a small labeled dataset. The contribution of the proposal can enrich the essential theory for building a practical vision aid system and shows human solicitude to the visually impaired.

我国是视障人口大国，因此研究视障者视觉辅助技术具有十分重要的意义。视觉-听觉信息转换是指不提取图像语义，将图像内容映射为非语音声音信号的方法，是视障者视觉辅助的关键技术之一。为了帮助视障者了解感兴趣物体的空间信息，首次提出利用视觉-听觉转换方法帮助视障者了解感兴趣物体的3D形状，研究物体空间位置、3D形状等空间信息的视觉-听觉转换理论。本项目的研究内容主要包括：建立视障者视觉关注度模型，以选择环境中感兴趣的物体；结合室内俯视图和双目视觉原理获取感兴趣物体的3D空间信息；仿照视障者抚摸感知物体形状的过程，提出3D声像素描理论，研究物体3D空间信息的听觉表达方法；为了产生精确的3D声像，研究基于少量标记样本的个性化头相关冲击响应函数计算方法。研究成果可为设计视觉辅助系统提供理论支撑，体现了社会对视障弱势群体的关怀。

据世界卫生组织 (WHO) 估计，目前全球视障人口越2.8亿，而我国视力残疾人数约有1000多万万，其中有一半左右为全盲人口。由此可知，我国是世界上视力损伤很严重的国家之一。基于这一现状，研究针对视障者的视觉辅助技术具有十分重要的意义。.本项目的主要研究内容包括三个主要方面：物体视觉相关信息获取方法，视觉信息到听觉信息的转换方法以及听觉信息的表达方法方面。.在物体视觉相关信息获取方法方面，本项目重点研究了流形学习方法的物体姿态获取方法，并分析了随机噪声、光照变化等环境干扰对估计结果的影响；考虑到人脸是视障者最为经常面对的特殊物体之一，针对人脸特征点的提取方法进行了深入分析研究，对过去十年间该方向上出现的新方法和新技术进行了整体综述。针对视觉-听觉转换需要进行降低信息量的问题，提出了一种可实现数据降维的高维数据嵌入技术框架。.此外，针对特殊条件下的视障者视觉辅助的要求，本项目还探索了基于电学层析成像获取物体视觉信息的方法，为视障者视觉辅助的发展提供了新的研究思路。.在视觉-听觉信息转换方法方面，主要针对现有vOICe 方法的使用难度大、转换实时性有待提高等问题，提出了基于目标分割的背景信息抑制图声转换方法，同时采用IFFT来实现图声转换过程，提高了视觉信息到听觉信息的转换速度和实时性。.在听觉信息表达方面，重点研究了立体空间信息的表达方法。为了使用户产生立体声像感觉，需要通过头相关函数来产生施加于双耳的双路立体声音，因此获取用户的头相关函数是最为关键的一个环节。本项目重点研究了基于流形学习基于流形学习方法的头相关函数的结构分析框架，通过分析发现了头相关函数的低维结构在不同方向上的差异性，并以此为基础设计了基于非线性支持向量回归的HRTF 插值方法，实现了快速获取个性化的头像相关函数的理论框架设计，为3D听觉的精确表达提供了理论支持。