面向交互式移动图形的低延时低代价混合远程绘制技术研究

With the widespread of 3G/4G WAN and the intelligent mobile device, 3D mobile graphics applications have been gotten a rapid development recently. In order to overcome the the limitations of low power consumption and low computing performance for mobile device and the shortcomings of short bandwidth and high latency for the wireless network, this project mainly discusses the method of low cost and low latency hybrid remote rendering for interactive mobile graphics based on our existed researches of the mobile graphics encoding and transmission protocol. In detail, major achievements this project hopes to obtain are the following: 3D model interactive rendering method based on the adaptive spectral graph geometry image; Low latencey remote rendeirng and compression algorithm based on multi-depth images; Low cost hybrid rendering methods for complicated 3D scene on mobile device. Through above investigations, we hope we can solve the following key technologies including adaptive multiresoluation spectral graph geometry image construction, dynamical interactive rendering, multi-depth images compression, quick reference view choosen, visual salient object detection, joint source and channel bit allication for scene image and energy-saving color set optimization model. It can be seen that this project would provide novel methods and basic principles for 3D model low latency and low cost hybrid interactive rendering on the mobile device and thus improve or develop both theory and methodology for the research field of mobile graphics computing.

智能移动设备的普及和3G/4G移动网络的逐步推广推动了三维移动图形应用的快速发展。本课题主要针对移动设备的功耗供给受限、性能较低以及移动网络窄带宽、高时延缺陷，在已有的图形编码和传输协议设计研究成果基础上，进一步探索移动设备上三维图形的低代价低延时同时具有真实感的交互式混合远程绘制方法，主要包括：以实现真实感交互式绘制为目标，研究基于自适应谱图几何图像的三维模型交互式绘制算法；以减少交互式传输时延为目标，研究基于多深度图的三维图形低延迟远程绘制与压缩算法；融合上述两种方法，研究一种面向移动设备的复杂三维场景低代价混合绘制方法。力争在基于谱图小波变换的自适应多分辨率几何图像构建、动态交互式绘制；多深度图压缩、快速参考视点选择；三维场景显著性对象区分、联合信源信道图像位分配和节能颜色优化模型等关键技术的研究上取得突破，为实现移动网络环境下三维图形的低代价交互式实时绘制提供新的研究方法和思路。

本课题在已有的图形编码和传输协议设计研究成果基础上，进一步探索移动设备上三维图形的低代价低延时同时具有真实感的交互式混合远程绘制方法，主要取得的成果包括：以实现真实感交互式绘制为目标，研究了基于自适应谱图几何图像的三维模型交互式绘制与压缩算法；以减少交互式传输时延为目标，研究了基于多深度图的三维图形低延迟远程绘制与压缩算法；融合上述两种方法，研究了一种面向移动设备的复杂三维场景低代价低功耗混合绘制方法。.针对第一方面研究内容，项目提出了三维网格动画序列压缩方法、可交互图像分割方法、面向网格动画渐进传输与谱几何图像编码方法、面向动画的显著性模型等关键技术；针对第二方面的研究内容，项目提出基于合成图像质量度量的可扩展远程绘制框架，提出了基于深度图的多种预测方法、多方向参考视点的WARPING方法，提出了三维模型拓扑数据编码重构方法，并在基于稀疏性的图像修复、针对虚拟视点图像的带方向FMM图像修复等方面做出了较为深入的研究；针对第三方面的研究内容，项目组提出了面向移动终端的能耗优化方法和节能模型，面向VR场景图像拼接方法，基于低功耗的图像颜色重构方法等，并在基于深度学习的大数据预测分析方面展开深入研究并应用到三维图形数据建模和编码中。.基于上述研究内容，项目已发表和录用论文16篇，其中SCI论文9篇，国际期刊1篇，国内一级学报2篇，EI收录1篇，会议论文3篇，发明专利21项（其中授权11项），国家教学成果二等奖1次，浙江省教学成果一等奖1次，浙江省科技技术二等奖1次，培养硕士生8名，项目负责人入选浙江省“151”人才工程第一层次，参加国际和国内会议5次，项目研究成果已经应用到相关合作上市企业，获得良好的经济效益。