面向大类别的空中手写中英文识别技术研究

The in-air writing, as a vision based human-computer interaction way, has a significant value in theory and practice. The project aims to explore the methods to recognize in-air handwritten text with a large number of pattern classes, including Chinese text, English text, digits and signs with special functions. Compared with previous works, the project has such characteristics: (1) We first exploit the Leap motion 3D-sensors to capture and track the motion of fingers; (2) Besides English character and digits, we first start up the research on more complex Chinese character recognition （with about 6900 pattern classes） ; (3) We first investigate the techniques to implement the continuous input of Chinese and English sentences in the air ; (4) Besides recognizing Chinese, English, digits etc., the recognition of hand gestures which represent special functions, is also investigated to make the input of Chinese and English more efficient or support the human-computer interactions in a specific application. This project will explore the novel human-computer interaction technique based on the motion trajectory of fingers and hand gestures. We expect that our research work should draw the attention of other researchers by reading our high-quality scientific paper, and we also hope the big dataset constructed with high quality by us can push the related world-wide research to a high level.

空中手写作为一种新型的基于视觉的人机交互方式，开展相关关键技术的研究（准确识别所书写的字符或符号）具有重要的研究意义与实用价值。本项目将深入开展面向大类别数的空中手写字符（汉字，英文，数字以及特定功能符等）识别技术研究。本项目具有如下特色：（1）我们率先使用Leap Motion三维传感器来捕捉跟踪手指的运动轨迹；（2）除了数字，英文字母外，我们将针对更复杂的大类别数(约6900类)的汉字字符识别开展研究；（3）将率先开展具有挑战性的中英文句子级的连续空中手写输入的研究；（4）支持的识别内容除覆盖中英文、数字外，还将开展一些代表特定命令功能的手势识别技术的研究, 以配合中英文的高效输入以及面向特定应用的人机交互。本项目将探索基于手指运动轨迹与手的姿态相结合的新型人机交互技术，拟通过发表高水平科技论文吸引国际学者对该问题的关注，并通过建造公开大规模高质量的相关数据集推动国际上相关技术的研究。

空中手写使用户可通过手指在三维空间中进行书写，是一种新型的人机交互方式，它可能在未来的生活、生产中起到重要的作用；但由于其无约束的书写方式，空中手写比起普通手写更具歧义性和多样性，导致了现有的机器学习算法无法很好地识别空中手写文字。本项目旨在系统地探索专门适用于空中手写识别的相关算法与理论，通过结合国际上主流技术（包括稀疏编码分类、深度学习等）在识别空中手写文字方面取得了满意的进展和成果。具体的，（1）我们首次将稀疏编码的思想应用到文字识别领域，并提出了一种新的稀疏编码分类器，该算法在基于传统机器学习的方法中取得了最好的空中手写识别结果；（2）我们首次将二维卷积网络应用到空中手写汉字识别中，通过结合提出的空中手写高阶特征，该方法超过了传统识别算法；（3）我们首次将递归神经网络模型应用到在线手写识别领域，提出了一种完全基于端到端的空中手写识别算法，取得当前最好的识别结果；（4）从一种新的角度出发，我们提出了基于一维卷积的手写识别算法，该算法在识别精度、速度和模型精简度上超过了现有的识别算法；（5）受到注意力机制模型的启发，我们提出了一种新的空中手写英文单词识别算法，取得了当前最好的识别性能。通过本课题的研究，我们构建了世界上最大的空中手写英文单词数据库IAHEWUCAS2016，同时在空中手写文字识别方面达到了国际最顶尖的水准；此外，我们在手写识别算法方面提出了一系列的国际高水平研究理论，并在国际顶尖或主流期刊上发表了4篇（CCF B类2篇、C类2篇）regular论文。最后，我们认为空中手写识别技术已经可以进入应用推广阶段，并给出了空中手写系统的一个雏形（参考网址：cvmt.ucas.ac.cn）。未来我们将进一步精细化提升我们的识别技术并积极推广其实际应用