多媒体终端触觉真实感理论与关键技术

Multimedia terminal inductry is a strategic emerging industry in our national economy. Multimedia terminal with tactile display is a hot research topic in recent years, which has great potential in electronic commerce, education, entertainment and visually impaired people applications. The shape, texture and softness of object displayed on multimedia terminal with tactile display can be perceived with a bare finger, which will improve the interaction between human and virtual world to a new stage with the three dimensional fusion of auditory, visual and tactile, and will generate huge economic benefits. To realize true and natural tactile interaction with bare finger, the critical issues that need to be addressed include quantitative description of tactile perception and feedback mechanism, dynamic extensions of tactile stimulation and feedback dimension, natural paradigm of tactile interface and credible evaluation, the integration and low consumption design of multimedia terminal with tactile display. This project aims to solve the above mentioned problems by conducting studies on: (1) physiological-psychological-physical model of tactile interaction authenticity; (2) representation and generation of multimedia terminal realistic tactile with pluralistic mixture; (3) interactive interface design method and evaluating method of multimedia terminal with tactile display; (4) design and implementation of a prototype system with world-leading specifications. This project will provide original theories and core techniques for the study of a new generation of multimedia terminal, and promote product upgrading of the information industry of our country.

多媒体终端产业是国民经济发展的战略型新兴产业，具有触觉再现功能的多媒体终端是近年来国际上的研究热点，在电子商务、教育娱乐、视障人群等领域具有重要的应用前景。多媒体触觉再现终端可以让用户通过裸指触摸来感知被显示物体的形状、纹理以及柔软性，将人类与虚拟世界的交流推向听觉、视觉与触觉相融合的崭新阶段，将产生巨大的经济效益。为实现真实、自然的裸指触觉交互，需要解决：触觉感知与反馈机制的定量描述、触觉激励与反馈维度的动态扩展、触觉界面与可信评测的自然范式以及多媒体触觉终端低功耗一体化等科学问题。为此本项目将研究：1.触觉交互真实感的生理-心理-物理模型；2.多元融合驱动的多媒体终端真实感触觉表征与生成；3.多媒体终端触觉交互界面设计方法与评测方法；4.具有国际领先指标的高真实感、低功耗多媒体触觉终端系统设计及样机研制。为研究新一代多媒体终端提供原创性基础理论与核心技术，推动信息产业的产品升级换代。

智能手机、平板电脑等多媒体终端是年产值超过千亿美元的战略新兴产业，在多媒体终端上实现丰富逼真的触觉再现是国际潮流和必然趋势，也是高额利润的技术支撑点，我国信息产业的产品更新换代需要加快触觉再现的科学研究和商业化应用进程。本项目聚焦触觉感知与反馈机制定量描述、触觉激励与反馈维度动态扩展、触觉界面与可信评测自然范式以及多媒体触觉终端低功耗一体化等四个关键性科学问题，围绕多媒体终端触觉真实感理论与关键技术开展了基础性、前瞻性研究。..项目组完成了任务书规定的全部研究内容，实现了总体考核目标和全部技术指标。研制了2套纹理触觉信息测量装置并构建了开源数据库，建立了触觉交互真实感的心理-物理和生理-物理模型；发明了融合静电力和振动的触觉再现装置和融合静电力、机械振动、空气压膜的触觉再现装置，实现了多媒体内容的多维度触觉呈现；建立了不同驱动信号参数的物理激励和力触觉呈现之间的映射关系，突破了多参量触觉反馈生成技术；提出了基于卷积神经网络的适用于多媒体终端的低复杂度触觉特征提取算法、基于图像灰度空间信息和梯度信息的多维度触觉渲染算法、基于统计学理论和模式识别的触觉真实感度量和评测方法；研制了融合静电力、空气压膜和机械振动三种触觉反馈方式的触觉再现多媒体终端原理样机，主要指标：反馈力范围0到2N，触觉刷新频率68Hz，触觉交互范围10.96英寸，触觉分辨率1毫米，功耗增加6.7%，支持4点交互。..项目发表学术论文43篇，申请发明专利38项，核心技术自主可控。形成了硬件装置、渲染算法、软件系统、评测方法与数据库等系统性成果，可应用于平板电脑、手机、VR手柄等多媒体终端的产品研发与标准制定，现已与行业龙头企业合作，开展在教育、办公、军事、医疗、娱乐等领域的转化应用。培养博士、硕士研究生35人，形成了一支了多学科交叉、优势互补的科研团队，开展了一系列的学术交流，提升了我国在该领域的研究能力、技术水平和影响力。