基于舌图像集合的距离度量学习模型及舌象分类方法研究

Different from the existing research on computer tongue diagnosis (TD), we use tongue image set (TIS), instead of single static image, as the basic data unit for classification. Included in tongue image set are videos of the same tongue, or images which are captured at different time, from different view, and even under variable lighting conditions. Compared with single static image, a TIS includes more information for classification and inspection and therefore contributes to the performance of tongue image classification. Nevertheless, a TIS also contains certain outliers, and that traditional point-to-point distance metric methods are not suitable for TIS classification, which hence proposed new challenges to us. For this purpose, we intent to carry out specific research on TIS classification and modeling, and develop robust distance metric learning methods for TIS. Based on tongue video, high performance segmentation and extraction algorithms of tangible lingual characters are investigated. Plus, small sample size problem for certain tongue image classes is also addressed by employing tongue video. Subsequently, a high-performance model is configured up for TIS classification, which offers a novel quantifiable and objectification method for informatization research on Tongue diagnosis. The study will accelerate the promotion and popularization of TD in education, research and clinical.

与现有的计算机舌诊研究不同，本项目拟将舌象分类的数据单元由传统的单幅静态舌图像扩展为舌图像集合。舌图像集合中包括对同一舌体所采集的舌象视频，或在不同时期、角度，甚至光照波动条件下采集的多幅舌图像。与单幅静态图像相比，舌图像集合包括更丰富的舌象分类和诊察信息，因此有助于大幅提高舌象分类的性能。然而舌图像集合中也包含了一定的扰动因素，且传统的基于点到点的距离度量学习方法无法用于舌图像集合的分类，因此对相关研究提出了全新的挑战。为此，本项目拟开展专门针对舌图像集合的分类与建模研究，发展稳健的舌图像集合距离度量学习模型与算法；基于舌象视频，发展的高性能舌有形特征分割与提取方法，解决特定稀缺舌象类别的小样本问题；最终，构建基于舌图像集合的高性能舌象分类模型，从而为舌诊信息化研究提供一种全新的量化和客观化分析手段，促进舌诊在教学、研究和临床等应用中的推广和普及，具有重要的学术价值。

与单幅静态图像相比，舌图像集合包括更丰富的舌象分类和诊察信息，因此有助于大幅提高舌象分类的性能。然而舌图像集合中也包含了一定的扰动因素，且传统的基于点到点的距离度量学习方法无法用于舌图像集合的分类，因此对相关研究提出了全新的挑战。为此，我们针对舌图像集合的分类与建模研究，发展了稳健的舌图像集合距离度量学习模型与算法，提出并实现了具有更高性能的舌有形特征分割与提取方法，解决特定稀缺舌象类别的小样本问题；最终，构建起了基于舌图像集合的高性能舌象分类模型。.在本项目资助下，1）在舌图像信号处理方面，提出了一种基于多级小波的卷积神经网络，实现高质量舌图像信号复原，并发展出一系列高效的图像降噪及去伪影框架。2）在舌图像集处理方法研究方面，实现了一系列交互式舌体分割、基于超像素的反光点检测方法和基于加权核范数最小化的反光点修复等一系列方法。3）在舌图像集分类研究方面，实现了一系列基于三元组约束的距离度量学习方法，并将它们分别扩展到点到集合、集合到集合的距离度量学习上；同时，还提出将多核学习和度量学习的优点相结合，实现了基于距离度量与核分类器联合学习的方法；此外，我们还基于散射卷积网络，实现了高性能的舌体图像纹理分类方法。.通过项目实施，我们完成了国际上第一部专门面向舌图像分析研究的英文学术专著，并已由Springer国际出版。项目组共发表国内外学术论文33篇，其中SCI/EI收录31余篇。同时，为了加强本领域的国际合作交流，项目组先后参加了CVPR2015、2016以及ECCV2018等相关领域国际会议，派遣博硕士生3人次赴香港理工大学交流访问，参加4次相关领域顶级或重要国际会议。此外，本项目已经培养5名博士（含留学生1名）和7名硕士，为国家输送模式识别、计算机视觉等方面的优秀人才。本项目上述研究成果为舌诊信息化研究提供了一种全新的量化和客观化分析手段，促进舌诊在教学、研究和临床等应用中的推广和普及，具有重要的学术价值。