中医望诊三维空间及动态信息采集与重建

Traditional Chinese Medicine (TCM) is a treasure of traditional Chinese culture. It has great advantages in aspects of early prevention of diseases and modulating of sub-health, because of its unique theory, diagnosis methods and treatment system. However, traditional ways of the diagnosis information attaining and knowledge accumulation are not suitable for the further development of Chinese medicine diagnostic techniques and academic research. Therefore, the objective research of four TCM diagnostic methods has become significant contents for the modernization from the last century. Information collecting and feature extraction of Four Diagnosis are basis and key techniques in the field. In this project application, a method was developed based on Photometric Stereo to obtain 3D information of tongue and facial surface, according to limitations of using two-dimensional image to gain collected information in the objective research of inspection. On this basis, surface morphology and attribute information of the inspection are analyzed and extracted. Also the information collection and characteristics analysis of inspection motion video are combined to achieve 3D space and dynamic reconstruction of tongue and face. This research would promote the inspection modernization study for TCM. Meanwhile it is also an effective way to enhance Chinese medicine knowledge accumulation mode. This research has practical significance for heritage, development, and improvement of clinical experience in TCM.

中医学是中华传统文化的瑰宝，其独具特色的生命理论和诊疗体系使得其在疾病的早期预防及亚健康的调治方面具有巨大的优越性。但是传统中医诊断信息的获取和知识积累方式已经不适于中医诊断技术与学术理论的进一步发展。为此，上世纪开始中医四诊的客观化研究成为其现代化的重要内容，而四诊信息的采集与特征提取是该领域研究的基础和关键。本申请针对望诊客观化研究中采用二维图像信息采集方式的局限性，提出基于光度立体技术进行中医望诊舌体、面部表面三维信息获取，在此基础上分析提取望诊表面形态及属性信息，结合望诊动态视频信息的采集与特征分析，综合实现望诊舌、面表面三维空间及动态重建。该项研究成果可以从根源上推进中医望诊客观化研究进程，同时也是提升中医知识积累方式的有效途径，对中医经验传承、发展和提高具有现实意义。

本项目针对传统望诊客观化中二维图像信息采集模式的局限性，基于光度立体技术，对中医舌象、面象中的形态及属性信息进行采集与特征提取；并在表面三维信息及动态视频信息采集基础上，实现中医望诊信息的动态三维重建。.利用舌体、面部在同一视点不同光照下的多幅图像，获得其表面三维信息。先后设计了静态对象三维信息采集平台，针对真实舌体的三维动态信息采集系统，舌、面适应性三维动态信息采集系统。最终系统由时序信号触发不同方向的光源依次快速点亮，由同步控制电路驱动高速摄像机捕捉图像序列，采用可调整光源支架控制照明方向；利用滑动导轨实现高速相机相对被摄对象的位置调节，以此分别对舌、面进行满画幅的视频采集。.通过系统标定确定多幅图像的光源方向向量，基于Lambertina散射模型，估计舌、面表面的单位法向量和反射率（颜色信息）。采用基于切平面理论的代数法，由像素点的单位法向量对深度值建立约束方程，求解获取舌、面表面所有点的深度值。该重建系统在成像精度约为20像素/毫米条件下，可得到的最小重建尺寸是0.24mm，可获取望诊表面及细节结构特征。针对舌体表面唾液反射形成的高光区域对深度值求解的影响，我们提出一种高光剔除算法，对高光区域和非高光区域采用不同的图像序列组合策略，确保散射模型的正确建模。.提出动态三维信息采集的时序分组策略，根据不同帧组建立的三维深度信息之间的变化关系，提取相关运动速率和轨迹，作为舌象动态指标有关的特征依据。发现在合理时间间隔内的深度变化值，与颤动特性具有显著相关性。.根据舌、面表面的深度信息及纹理反射率图，定义并设置顶点所对应的贴图坐标，最终完成舌、面表面的三维显示。利用不同时刻的多组三维形态图，在相邻的各组三维模型之间进行线性插值，得到任意时刻的中间模型，添加纹理贴图和光照，形成连续的动画并渲染输出，可在三维空间模拟舌体运动，直观展示其运动状态。.构建了望诊三维动态信息交互系统，具有数据管理、图像序列预览、三维重建结果的显示及交互、深度值实时显示、三维运动仿真结果显示等功能。.该系列研究是国内率先开展的相关研究，在信息采集系统设计、重建方法及仿真显示方面，填补了国内空白，研究成果对中医临床病例的全面有效记录提供了必要的手段。.此外，本项目还针对望诊客观化中的标准化描述及复现、量化分级、特征识别、信息质量评价、融合算法、证型分类等相关问题展开研究，取得了多项原创研究成果。