基于多粒度视频基元的中国手语合成方法研究

基于真人视频拼接的合成手语相比其它方法得到的合成结果真实感强、可懂度高。该方法的问题在于，包含全部手语词的手语视频数据量巨大，如中国手语中手语词的相邻组合为三千余万，以每两个手语词连续表达的平均时间为1.5秒计，包含全部中国手语词的连续手语视频时间为541*24小时，如此数量的视频数据，其获取、存储、检索、处理都存在难题。.如何构建合理数据量视频集，合成符合目标文本且满足视觉需求的手语视频是一个值得研究的问题。针对此问题，本项目构建多粒度手语视频基元，结合图像合成方法降低手语视频合成所需源数据规模，研究基于多粒度视频基元的中国手语合成方法。研究内容包括中国手语视频基元多粒度结构；中国手语基元多维语义模型；面向视频合成中国手语韵律模型；基于中国手语韵律约束的手语词基元检索方法；基于拼接代价约束的过渡基元预测及基于细粒度基元图像的过渡基元合成。

基于视频拼接得到的合成手语表达相比其他合成结果具有更强的真实感强和更高的可懂度，该方法的问题在于要求完备的手语视频数据，而且大数据量视频数据的获取、存储、检索、处理都存在难题。考虑到视频向下分解得到帧图像以及部件图像间的相似性，本项目提出基于多粒度视频基元的中国手语合成方法，该方法的优势在于基于较小数据集实现基于视频拼接的手语合成，项目研究工作主要包括：.1. 数据平台建设方面，针对天气预报领域录制中国手语语料库；针对视频拼接构建手语词基元库与过渡基元库。.2. 手语视频语义描述，针对中国手语视频语义分析提出了中国手语多维语义模型，定义手语词基元语义描述模型和过渡基元语义描述模型。.3. 基于韵律手语合成方面，提出基于拼接代价的手语词基元选择方法；基于手语韵律信息的过渡路径生成方法；基于多部件图像融合的过渡视频帧合成方法。 .4. 中国手语视频质量评估方面，基于视觉、轨迹、轮廓提出了中国手语视频相似度度量模型，并基于天气预报领域中国手语视频数据学习得到领域相关手语视频相似度评估模型。.5. 其他数据形式中国手语合成，初步探索了一种新的数据表现形式—中国手语光场，研究了中国手语合成光场的生成、4D光场的获取以及表面光场的重建。