普适计算环境下的跨设备屏幕内容共享关键技术研究

Pervasive computing environment is a heterogeneous, dynamic, relevance and real-time environment which sharing various resources and providing the convenient and high-quality information services across devices. Screen content sharing is one of the important sharing resources. Unifying the screen content of different devices as a sequence of images in ubiquitous computing environment is an ideal solution. But the image data is huge, how to efficiently coding the screen content sequences and sharing them is a great challenge. Our proposal will analyze the fundamental needs of pervasive computing environments screen sharing, the locality hash index based template matching algorithm, and the template caching strategy in the pervasive computing environment. Our research work will focus on the following key issues: the high efficiency screen content compression algorithm; methodology of screen coding resource allocation for heterogeneous computing and networking environment; low latency coding and transmission technology. With the accumulation in the field of pervasive computing and video coding, the research group is expected to obtain in-depth and innovative research achievement.

普适计算环境具有异构性、动态性、关联性和实时性的特点，该环境中需要共享各种资源，其中屏幕内容共享是一种重要的计算需求。将不同设备的屏幕显示内容无差别地视为图像序列来共享是一种理想的解决方案，但数据量大，如何对屏幕图像进行高效地编码压缩和传输共享是普适计算面临的挑战之一。本申请将基于普适计算环境下的屏幕内容共享需求，深入分析屏幕图像序列独有的统计特征，以基于局部化哈希索引的像素级模板匹配算法为核心，以普适计算环境中的动态缓存布署为纽带，重点研究如下关键问题：基于屏幕图像统计特征的高效压缩算法；适应异构计算和网络环境的屏幕编码资源分配方法；低延迟的屏幕编码与传输关键技术。 本课题组在普适计算和视频编码领域已积累了深厚的研究基础，依托国家实验室（筹）和教育部普适计算实验室的平台优势，预期可以取得深入且创新性的研究成果。

普适计算环境具有异构性、动态性、关联性和实时性的特点，普适计算环境对各种计算资源的共享有很大的需求，其中屏幕内容的共享是一个重要的需求。将不同设备的屏幕信息无差别地视为图像序列是一种理想的解决方案，但屏幕图像一般分辨率高、数据量大，本项目基于普适计算环境的屏幕交互需求，深入分析屏幕图像序列独有的统计特征，研究针对屏幕图像重复性强的特点研究高效编码技术。项目围绕屏幕图像独有的统计特征及其带来的编码算法方面的问题，提出了一种基于像素重排序的视频编码框架，有效利用了屏幕图像中的重复性来提高编码效率，系统研究了重排序后的屏幕图像帧内编码器框架和预测技术，探索残差编码与分布式摄像机采集编码关键技术；并应用深度学习神经网络提升图像分析预测能力。通过面向测试序列数据和实际问题进行研究，本项目的核心编码框架申请了2项美国发明专利和2项中国发明专利并已获得授权，同时发表了期刊会议论文5篇、其他中国发明专利2项，构建了一个不同于已有MPEG/H.26x系列编码标准的具有自主知识产权和核心技术的技术框架。