触觉反馈增强的低带宽沉浸式远程视频交互技术研究

基本信息
批准号:61702520
项目类别:青年科学基金项目
资助金额:22.00
负责人:黄美玉
学科分类:
依托单位:中国空间技术研究院
批准年份:2017
结题年份:2020
起止时间:2018-01-01 - 2020-12-31
项目状态: 已结题
项目参与者:向雪霜,范达,贺杨,贾海鹏
关键词:
沉浸式远程视频交互技术交互行为识别深度恢复自适应触觉反馈机器学习
结项摘要

Tele-immersive video interaction technology is designed to provide a natural and realistic interactive experience for distributed users, but its development is limited by low bandwidth and lack of haptic feedback. The project proposes to explore a coarse-to-fine semi-supervised remote depth recovering model based on a small amount of depth data, to achieve low-bandwidth depth image transmission. Meanwhile, this project intends to study an enhanced haptic feedback model, including: a recursive and convolutional recognition model of interactive behavior in virtual space, to accurately determine the pattern of interaction behavior and the position of haptic feedback; a multi-modal online haptic feedback model based on the pattern of interactive behavior and user's own characteristics, to generate user experience adaptive force feedback. Finally, the project will develop a haptic feedback augmented low-bandwidth tele-immersive interaction platform for remote affective communication application, to verify the effectiveness of the proposed model.

沉浸式远程视频交互技术旨在为异地用户提供自然逼真的交互体验,但其发展受限于低带宽和缺乏触觉反馈。本项目拟基于少量深度数据研究渐进式半监督的远程深度恢复模型,以实现低带宽的深度图像传输。同时,本项目拟研究触觉反馈增强模型,包括:虚拟空间肢体交互行为的递归卷积识别模型,以精确确定交互行为模式和触觉反馈位置;基于交互行为模式和用户自身特性的多模融合增量式触觉反馈模型,以产生用户体验质量自适应的触觉反馈力大小。最终,本项目将面向远程亲情互动应用搭建触觉反馈增强的低带宽沉浸式远程视频交互平台,以验证项目所提模型的有效性。

项目摘要

沉浸式远程视频交互技术旨在为异地用户提供自然逼真的交互体验,但其发展受限于低带宽和缺乏触觉反馈。为了减少带宽消耗,本项目提出并实现了基于少量深度数据的渐进式半监督的远程深度恢复模型,能够实现高达64倍压缩比的低带宽深度图像传输。同时,本项目研究了一套触觉反馈增强模型,包括:虚拟空间肢体交互行为的递归卷积识别模型,能够精确确定交互行为模式和触觉反馈位置;基于交互行为模式和用户自身特性的多模融合增量式触觉反馈模型,能够产生用户体验质量自适应的触觉反馈力大小。本项目的研究成果将有效支撑面向远程亲情互动应用的触觉反馈增强的低带宽沉浸式远程视频交互平台的搭建。项目研究开展顺利,预期研究成果基本实现。

项目成果
{{index+1}}

{{i.achievement_title}}

{{i.achievement_title}}

DOI:{{i.doi}}
发表时间:{{i.publish_year}}

暂无此项成果

数据更新时间:2023-05-31

其他相关文献

1

多能耦合三相不平衡主动配电网与输电网交互随机模糊潮流方法

多能耦合三相不平衡主动配电网与输电网交互随机模糊潮流方法

DOI:10.13334/j.0258-8013.pcsee.190276
发表时间:2020
2

基于LS-SVM香梨可溶性糖的近红外光谱快速检测

基于LS-SVM香梨可溶性糖的近红外光谱快速检测

DOI:
发表时间:
3

基于改进LinkNet的寒旱区遥感图像河流识别方法

基于改进LinkNet的寒旱区遥感图像河流识别方法

DOI:10.6041/j.issn.1000-1298.2022.07.022
发表时间:2022
4

新型树启发式搜索算法的机器人路径规划

新型树启发式搜索算法的机器人路径规划

DOI:10.3778/j.issn.1002-8331.1903-0411
发表时间:2020
5

现代优化理论与应用

现代优化理论与应用

DOI:10.1360/SSM-2020-0035
发表时间:2020

黄美玉的其他基金

相似国自然基金

1

面向感知增强的沉浸式流场可视化及交互技术研究

批准号:61802320
批准年份:2018
负责人:王松
学科分类:F0209
资助金额:25.00
项目类别:青年科学基金项目
2

远程沉浸式虚拟奥运博物馆关键技术研究

批准号:60533080
批准年份:2005
负责人:潘志庚
学科分类:F0209
资助金额:150.00
项目类别:重点项目
3

面向交互式移动图形的低延时低代价混合远程绘制技术研究

批准号:61472363
批准年份:2014
负责人:杨柏林
学科分类:F0209
资助金额:79.00
项目类别:面上项目
4

几何结构引导的全景视频沉浸式显示技术研究

批准号:61872241
批准年份:2018
负责人:盛斌
学科分类:F0209
资助金额:63.00
项目类别:面上项目