桌面云的高性能桌面图像压缩与传输关键技术研究

Virtual screen image compression and transmission are key techniques for pepole to access to desktop clouds with their smart phones or other mobile devices. Several algorithms and products have been proposed for remote screen compression and transmission, but most of them work only for office or remote control case, but perform pool in multimedia application cases. In this project, we try to research on efficient virtual screen image compression and transmission solution to improve user experience for virtual desktop clouds with several novel techniques: GDI based virtual screen image segmentation algorithm will be studied to split screen image into text, graphic and natual image part, which can help the following encoding procedure. Content aware motion estimation algorithm which can global motnion by window moving and/or resizing. For multimedia application cases, such as video playback, video content recompression with fast transcoding, and HEVC optimization for cloud computing.

远程桌面的压缩与传输是用户通过手机、平板电脑等个人终端与云计算中心交互的关键技术之一。现有的桌面云的远程桌面的压缩和传输产品有多种方法，但是适用场景大多仅限于办公和简单操作等场景，对于多媒体应用和采用3D指令的媒体应用等PC常用的场景，压缩效率低，需要的带宽高，在局域网内也缺少大规模应用的条件，对于云计算所需要的广域网上，用户通过任意终端（移动终端）想要获得PC一样的用户体验还有很大的距离。本项目试图通过结合GDI指令的内容感知的桌面图像分割算法研究、基于内容的全局运动补偿算法、基于快速转码的视频压缩算法，基于GPU虚拟化的桌面图像获取与压缩优化和广域网桌面图像传输加速等几个关键技术的研究，针对HEVC在虚拟桌面图像压缩中的优化，提高虚拟桌面的压缩效率，降低编码延迟，提升用户体验的同时降低桌面云的压缩成本。

远程桌面的压缩与传输是用户通过手机、平板电脑等个人终端与云计算中心交互的关键技术之一。针对虚拟桌面图像的压缩与传输，我们基于开源虚拟桌面协议-SPICE，利用其桌面协议的框架实现一个服务器端渲染；利用GDI指令和windows窗口相关指令对桌面图像中不同的文本、图形和图像区域进行区分，研究了基于HEVC的虚拟桌面压缩算法，通过获取虚拟桌面的渲染指令，对虚拟桌面图像的内容进行分析并辅助HEVC压缩算法中的运动预测，提高编码性能。在虚拟桌面图像传输过程中，视频内容（如流媒体）的图像视频需要采用转码的技术将视频从一种格式转换到终端所支持的格式，同时需要将视频流的码率从原始较高的码率转换到与终端设备带宽相匹配的码率。这里我们提出了一种面向云平台的HEVC的转码及码率控制算法。在云计算平台上构建出一个转码器的集群，流媒体业务所在的虚拟机将需要转码的视频流通过转码任务调度器分配给转码集群，由视频分片模块将视频分割成若干分段，并分发给不同的转码器进行转码，转码任务完成后，输出的转码后分段由合成模块进行合并并完成流化。在分段模块上设计了一个全局码率控制算法，由该模块对目标码流的码率进行整体分配，并将各个分段的码率控制目标和辅助信息同时分配到指定的转码器上。再由转码器根据这些辅助信息进行转码（编码）中的码率控制。