触觉反馈增强的低带宽沉浸式远程视频交互技术研究

Tele-immersive video interaction technology is designed to provide a natural and realistic interactive experience for distributed users, but its development is limited by low bandwidth and lack of haptic feedback. The project proposes to explore a coarse-to-fine semi-supervised remote depth recovering model based on a small amount of depth data, to achieve low-bandwidth depth image transmission. Meanwhile, this project intends to study an enhanced haptic feedback model, including: a recursive and convolutional recognition model of interactive behavior in virtual space, to accurately determine the pattern of interaction behavior and the position of haptic feedback; a multi-modal online haptic feedback model based on the pattern of interactive behavior and user's own characteristics, to generate user experience adaptive force feedback. Finally, the project will develop a haptic feedback augmented low-bandwidth tele-immersive interaction platform for remote affective communication application, to verify the effectiveness of the proposed model.

沉浸式远程视频交互技术旨在为异地用户提供自然逼真的交互体验，但其发展受限于低带宽和缺乏触觉反馈。本项目拟基于少量深度数据研究渐进式半监督的远程深度恢复模型，以实现低带宽的深度图像传输。同时，本项目拟研究触觉反馈增强模型，包括：虚拟空间肢体交互行为的递归卷积识别模型，以精确确定交互行为模式和触觉反馈位置；基于交互行为模式和用户自身特性的多模融合增量式触觉反馈模型，以产生用户体验质量自适应的触觉反馈力大小。最终，本项目将面向远程亲情互动应用搭建触觉反馈增强的低带宽沉浸式远程视频交互平台，以验证项目所提模型的有效性。

沉浸式远程视频交互技术旨在为异地用户提供自然逼真的交互体验，但其发展受限于低带宽和缺乏触觉反馈。为了减少带宽消耗，本项目提出并实现了基于少量深度数据的渐进式半监督的远程深度恢复模型，能够实现高达64倍压缩比的低带宽深度图像传输。同时，本项目研究了一套触觉反馈增强模型，包括：虚拟空间肢体交互行为的递归卷积识别模型，能够精确确定交互行为模式和触觉反馈位置；基于交互行为模式和用户自身特性的多模融合增量式触觉反馈模型，能够产生用户体验质量自适应的触觉反馈力大小。本项目的研究成果将有效支撑面向远程亲情互动应用的触觉反馈增强的低带宽沉浸式远程视频交互平台的搭建。项目研究开展顺利，预期研究成果基本实现。