基于深度学习的中医舌象多诊察特征协同处理与智能分析

Characterization of tongue diagnosis is a key issue in the modernization of Traditional Chinese Medicine (TCM). Relying on the deep research and accumulation of tongue image acquisition, analysis and processing of TCM more than 20 years in this research group, this project will take deep learning as the main technical means, and focus on the cooperative processing and intelligent analysis research of the multiple tongue diagnostic features. It's research mainly focus on: 1. For the objective acquisition environment of the tongue manifestation and the subjective behaviors of the patient, a quality assessment criterion of tongue image is established to comprehensively evaluate the quality of tongue images; 2. A special architecture of deep semantic segmentation network is designed for TCM tongue images, together with transfer learning strategy to achieve high accuracy and fully automatic segmentation of the tongue body region; 3. A cooperative processing mechanism for multiple diagnostic features of TCM tongue manifestation is designed to realize the accurate analysis of multiple tongue diagnostic features under a unified framework; 4. The association rules between tongue manifestation and TCM syndromes are explored to reveal complicated linkage between them..Through the research of this project, we strive to solve some fundamental problems that have not been well solved in the current characterization research of TCM tongue diagnosis. The research results are of great significance for promoting the normalization and standardization of TCM tongue diagnosis, the innovation of TCM teaching and research methods, and the deep interdisciplinary of TCM and Information Science. It will provide important theoretical and technical support for the modernization of TCM tongue diagnosis and the development of tongue diagnosis instruments.

舌诊客观化是中医现代化中的关键问题。依托项目组二十多年来在中医舌象采集与分析处理方面的深厚研究积累，本项目以深度学习作为主要技术手段，着重开展中医舌象多诊察特征的协同处理和智能分析的研究工作，包括：1.针对舌象客观采集环境以及患者主观行为等影响分析性能的因素，建立中医舌图像质量评价准则，对舌图像质量进行综合评估；2.构建中医舌图像语义分割深度网络架构，利用迁移学习策略，实现舌体区域的精准、全自动分割；3.设计中医舌象多诊察特征协同处理机制，在统一框架下，实现多个诊察特征的精准分析；4.挖掘舌象-证候之间的关联关系，揭示舌象与证候之间的复杂联动规律。.通过本项目的研究，力争解决当前中医舌诊客观化研究中尚未很好解决的若干基础性难题。研究成果对于推动中医舌诊的规范化与标准化、中医教学科研手段革新、中医学与信息学科的深度交叉具有重要意义，将为中医舌诊现代化和舌诊仪器研发提供重要的理论与技术支撑。

舌诊是中医四诊中的重要内容。长期以来，舌诊主要通过医生的目测观察、经验来判断病证，缺乏定量化、客观化、标准化的度量与分析手段，直接影响了后续辨证施治的规范化和标准化。舌诊客观化已成为中医现代化的基础性问题。本项目以中医基础理论为指导，利用人工智能领域的最新研究成果，着重研究了中医舌象多诊察特征的智能分析方法。具体包括：1）分析了影响中医舌图像质量的主客观因素，建立了无参考舌图像质量评价及舌姿态适诊度评价模型，可以筛选出符合诊察特征分析需求的高质量舌图像样本；2）设计了基于密集预测的轻型深度卷积神经网络结构，实现了高效、泛化能力强的舌体分割，分割精度达到了96%以上，可以满足临床应用需求；3）构建了小样本、样本类别不均衡情况下的舌象诊察特征分析模型，提出了有噪声标注下的中医舌色、苔色、苔质分类深度模型，设计了基于域自适应、持续学习、半监督学习等策略的诊察特征分析模型优化方法，显著提升了分析精度和鲁棒性；4）搭建了“移动终端/本地舌象仪采集+云端服务器处理”的舌象诊察特征分析验证平台，可以提供远程智能化中医舌诊服务。研发的中医舌象智能分析系统已经在中国中医科学院望京医院、首都医科大学宣武医院和南昌市洪都中医院进行了临床应用。共完成学术论文15篇，其中国际期刊论文9篇，SCI检索论文6篇；申请国家发明专利13项，其中5项授权；培养青年教师2人，1人次获得北京市级人才称号，培养博士生3人，硕士生12人。本项目的研究成果可用于智能化中医舌诊装备的研发，并广泛应用在中医科研、名医传承、家庭日常保健、体检、健康养生等多个领域，为推动中医舌诊的规范化与标准化、中医教学科研手段革新、中医学与信息学科的深度交叉提供重要的技术手段和支撑。