基于手写设备的在线笔迹智能理解和交互技术研究

以平板电脑为代表的手写设备近年来取得飞速发展,然而目前的手写应用仍主要利用了在线笔迹的采集、存储、传输等简单功能，无法理解用户笔迹的含义并实现智能化的交互，从而大大限制了手写交互的自然性和应用的普及。本项目拟针对这一关键问题展开基于手写设备的在线笔迹的智能理解和交互技术研究，从统计分析在线笔迹的特征和用户交互习惯出发，建立在线笔迹的用户模型；研究用户对笔迹理解算法的影响，针对具有一定结构和含义的在线笔迹，提出基于用户模型和用户反馈的在线笔迹理解方法；研究笔迹理解对交互技术的影响，提出基于在线笔迹理解的智能交互技术；基于上述研究，构建面向移动办公领域的应用验证系统。本项目的研究将解决手写设备应用面临的关键问题，具有大众化、移动化的特点，支持在线笔迹在教育、移动办公等领域的应用，促进笔式用户界面、草图用户界面的发展。

在本课题执行过程中，我们的研究活动严格按照计划进行，顺利完成了相关的研究任务。经过课题组所有成员的积极努力，在用户模型研究、笔迹理解算法、智能交互技术三个方面取得了代表性的研究成果。对基于用户模型的在线笔迹理解方法进行研究，重点研究了交互桌面上多指触控单笔划手势的识别方法，相关论文发表在ACM IUI 2012上。采集用户的笔尾数据，分析笔尾交互的特点和用户交互习惯，基于上述特点，建立针对笔尾手势的用户模型，相关研究合作发表在国际期刊IJHCS上。对基于用户模型的精确光标定位方法进行研究，提高在触控移动设备上进行光标定位的准确率。提出一种基于最小风险准则训练半马尔科夫条件随机场的方法，并应用于手写中文/日文文本行识别，该项研究发表在ICDAR 2013上。设计提出了一个基于多通道的早期设计思想异步交流工具，相关工作发表在ACM CSCW2012上。针对留守儿童与父母远程使用手机等信息设备开展多阶段用户研究工作，相关工作发表在ACM CSCW 2013上。课题共录用和发表论文7篇，申请专利3项。课题积极开展国内外学术合作与人才培养工作。在课题承担单位的大力支持下，课题组共4人次受邀参加国际学术会议并做报告。同时邀请国际人机交互领域的著名学者美国宾州州立大学的Xiaolong Zhang教授等来课题组访问，为本课题研究工作的开展起到了很好的促进作用。共培养博士2名，硕士4名。