基于计算摄影学的中国手语光场获取研究

As a kind of visual language, Chinese Sign Language has no pronunciation and symbol, signer and sign action is the only representation. All existing kinds of sign language dada, including "Chinese Sign Language" depicted in literal, joint motion angle or key points' position and sign language video, are simplified description for Chinese Sign Language to some extent. Chinese Sign Language light field records light for all point in the signer's scene, records total information of the signer and sign action. So, Chinese Sign Language light field is a kind of holographic Chinese Sign Language data. Chinese Sign Language light field is important for sign language research, human-machine interaction and media broadcast. But, how to acquire Chinese Sign Language light field is an open problem. Aimed at this problem, this project studies Chinese Sign Language light field acquiring method based on computational photography. Research content includes, Chinese Sign Language model based on characteristic according with Chinese Sign Language semantic; space-luminosity multiplexing gather scheme orienting for collecting Chinese Sign Language light field; multilayer compressive sensing model for generating Chinese Sign Language light field; viewpoint related Chinese Sign Language light field rending based on light field image multiplexing.

作为视觉空间语言，中国手语没有语音或书写符号的表现形式，表达者及其表达的动作是手语的唯一表现形式。目前已有的各种形式中国手语数据，包括文字式的《中国手语》；运动参数式的人体关节运动角度和关键点位置；场景投影式的中国手语视频，都是中国手语在不同层面的简化描述。中国手语光场记录表达者所在场景中每一点的光线强度，记录表达者及其动作的完整信息，是一种全息中国手语数据。 中国手语光场对手语语言学研究、人机交互、媒体传播等有重要意义，如何获取中国手语光场数据是一个值得研究的问题。为此，本项目研究基于计算摄影学的中国手语光场获取方法，研究内容包括：针对中国手语语义表达需求，构建基于特征的中国手语光场表示模型；针对光场数据采集，研究基于空间-光度联合复用的中国手语光场采集方案；针对光场生成，研究基于压缩感知的中国手语光场生成方法；针对高真实感中国手语表达，研究基于光场图像复用的视点相关的光场绘制。

中国手语光场记录表达者所在场景中每一点的光线强度，记录表达者及其动作的完整信息，是一种全息中国手语数据。中国手语光场对手语语言学研究、人机交互、媒体传播等有重要意义，如何获取中国手语光场数据是一个值得研究的问题。针对此问题，本项目研究基于计算摄影学的中国手语光场获取方法，项目研究工作主要包括：①中国手语光场采集:提出基于时空采样密度优化的中国手语合成光场采集方法，并基于规格化视点设置采集获得中国手语光场数据库；②中国手语光场表示：提出基于测地距离的人体姿态表示模型，以及基于曲率尺度空间特征的手部姿态表示方法，在此基础上实现中国手语表面光场表示；③基于CS的光场生成：提出基于编码光圈的高精度光场获取方法，以及基于张量字典的动态光场重建方法；④中国手语光场重构与绘制，提出基于光场的深度信息估计方法、基于字典的手部深度图像去噪方法，以及基于多视点图像的手势表面光场重建方法；⑤基于光场的中国手语识别：提出基于Grassman流形的手语光场识别方法、基于多流CNN的手语识别方法以及基于CNN-HOG-HMM的融合手语识别方法。.针对以上研究内容，项目组取得了较为丰硕的研究成果，在包括IEEE Trans. on Multimedia, IEEE Trans. on Image Processing等的国内外重要期刊和学术会议发表学术论文16篇。申请国家发明专利7项，其中5项已授权。获得软件著作权1项。