基于舌、面诊信息融合技术构建智能化的健康状态识别模型研究

Tongue and facial diagnoses are most important methods of TCM syndrome differentiation. Health assessment with tongue and facial diagnostics is one of the characteristics and advantages of Traditional Chinese Medicine (TCM), however no system, which could objectively and effectively identify health status, has ever been established. With rapid development of modern information technology, it is now possible to develop a new health status identification system, based on combination of tongue and face diagnostic information. Previously, we explored ways of identifying TCM health conditions, and preliminarily built the methods of real-time collection and fusion analysis of tongue and face diagnostic images. Based on this information technology, we aim to apply technologies of computer vision, information fusion and deep learning, to achieve the goals of real-time collection of tongue and face images under open-light condition, fusion analysis and cloud storage. We will also explore patterns of tongue and face images with TCM health conditions, such as qi deficiency, yin deficiency, yang deficiency, blood deficiency, dampness and blood stasis in healthy. Meanwhile, the health and sub-health population as the object, 5000 images of tongue and face were collected, we will identify relationship between tongue and face diagnostic information and health status, as well as establish intelligent TCM health status identification system. This research is an innovative exploration of TCM diagnostic theory and method, and provides technical support for the evaluation system of TCM health conditions in this era of Internet and big data.

舌、面诊是中医诊病辨证的重要方法，通过舌、面诊信息评估人体健康状态是中医的特色和优势，但目前尚未建立客观有效的中医健康状态识别方法。随着现代信息技术的发展，建立基于舌、面诊信息融合的健康状态识别方法已成为可能。本课题组前期对中医健康状态识别方法进行了探索，初步构建了舌、面诊图像信息的实时采集和融合分析方法等。本项目将在既往舌、面诊信息化技术基础上，进一步运用计算机视觉、信息融合和深度学习等技术，实现开放光源环境下的舌、面图像的实时采集、融合分析和云存储；同时以健康、亚健康人群为对象，采集5000例舌、面图像数据，探索中医常见健康状态（气虚、阴虚、阳虚、血虚、痰湿、血瘀）的舌、面诊图像指标的变化趋势，明确舌、面诊信息与健康状态的相关性，建立智能化中医健康状态识别模型。本研究是对中医诊断理论和方法创新的一种探索，为实现互联网+和大数据背景下的中医健康状态评价系统提供技术支持。

本项目主要进行了六个方面的研究：（1）建立中医舌、面诊图像动态采集的规范化方法；（2）中医舌、面诊图像数据库的建立；（3）建立舌、面诊图像全局和局部特征的量化分析方法；（4）探索了中医常见健康状态舌、面诊图像特征的变化趋势；（5）融合舌、面、问三诊信息的不同健康状态诊断模型构建；（6）不同健康状态诊断模型的临床评价。研究成果转化实验实训教学，开发了中医诊断技能与思维训练虚拟平台，推广中医药院校使用；基于该研究开发的便携式中医健康状态辨识设备已应用于社区健康管理等领域。主要研究成果如下：.（1）本项目建立了在线动态采集舌诊、面诊图像的规范化方法，设计了后台数据管理云平台，实现舌象和面象图片实时采集和云存储。.（2）本项目建立了中医舌、面诊信息数据库系统，为舌、面诊图像全局和局部特征的量化关键技术研究提供了数据支持。.（3）本项目从视觉注意力选择模型入手，设计相应的计算方法对舌体的颜色、齿印、胖瘦、裂纹、舌下络脉等和面部神色、光泽等进行特征提取和分析，获得反映舌、面诊信息的数字特征值，确立舌、面诊图像全局和局部特征的量化分析方法；同时建立了27色中医舌、面图像标准色卡。.（4）本项目探索了中医常见健康状态（气虚、阴虚、阳虚、痰湿、湿热、气郁）人群的舌、面诊图像特征的变化趋势，发现不同健康状态人群的舌、面诊图像特征参数对比存在差异，为构建融合舌、面特征信息的健康状态评价模型筛选出重要的特征变量。.（5）本项目构建了融合舌、面、问诊特征信息的气虚、阴虚、阳虚、痰湿、湿热、气郁、健康七类常见中医健康状态的辨识评估模型，模型预测准确率优于Decision Tree、Linear Regression等其它同类算法，总体预测准确率（Accuracy）为95.16%。.（6）发表论文26篇其中SCI/EI 收录5篇。参加国内、国际会议7次，其中特邀报告7次。申请发明专利2项，获实用新型1项；获市级以上科技成果奖3项；培养研究生6名。