面向视频大数据处理的数据流编程语言与并行优化方法研究

Multi-core processors have become mainstream and industry standards, how to make full use of multi-core effective parallelism to improve the performance of applications, has become a problem of programming staff. According to the characteristic of video data processing applications on CPU-GPU multi-core / many core hybrid cluster platform, through extension of COStream data flow programming language, the theory and method of stream programming language and compiler optimization for video bigdata processing is proposed and built. To meet the multi-granularity, load balancing, low overhead communication and synchronization, the specific real-time data streams scheduling policy is proposed and designed, which can improve the execution performance of video large data flow programs. The visual data stream compiler system is developed to increase the programmability, it can be compiled in combination with general-purpose programming language C++. These key technologies can resolve the problem of real-time and efficient code generation for data stream applications. In order to verify the model and method is effective, the typical video processing program benchmarks will be developed. The research results will lay a good foundation for constructing for multicore and manycore processor real-time video and high efficient data processing application system. The research results will lay a good foundation for constructing real-time video and high efficient data processing application system on multicore and manycore platform.

多核处理器已经成为主流和工业标准，如何充分利用多个核间的有效并行来提高应用程序的性能，已经成为编程人员的一个难题。针对CPU-GPU多核/众核混合集群平台和视频大数据处理应用的特点，通过对课题组提出并设计的COStream数据流编程语言进行扩展，提出并建立面向视频大数据处理的数据流编程语言和编译优化的理论和方法。设计可以满足多核集群系统特性的多粒度、负载均衡、低通信和同步开销的调度策略，提出实时数据流程序的软件流水调度方法，使视频大数据流程序在多核集群下能够得到良好的执行性能；构建可以与通用编程语言C++联合编译的可视化编译系统，提高可编程性，从而解决多核和众核处理器环境下数据流应用的实时性和代码生成的高效性问题。为了验证模型和方法的有效性，本项目将选择典型的视频处理程序进行验证。研究成果将为构建面向多核和众核处理器的实时高效的视频大数据处理应用系统奠定良好的基础。

多核处理器已经成为主流和工业标准，如何充分利用多个核间的有效并行来提高应用程序的性能，已经成为编程人员的一个难题。针对CPU-GPU多核/众核混合集群平台和视频大数据处理应用的特点，通过对课题组提出并设计了COStream数据流编程语言进行扩展，提出并建立了面向视频大数据处理的数据流编程语言和编译优化的理论和方法。设计了可以满足多核集群系统特性的多粒度、负载均衡、低通信和同步开销的调度策略，提出了实时数据流程序的软件流水调度方法，使视频大数据流程序在多核集群下能够得到良好的执行性能；构建可以与通用编程语言C++联合编译的可视化编译系统，提高可编程性，从而解决多核和众核处理器环境下数据流应用的实时性和代码生成的高效性问题。在数据流程序的实时性并行化调度、层次性存储优化、通信开销优化、代码生成技术等研究方面，提出并建立完整的理论和方法。设计面向视频大数据处理的数据流编译系统的原型，对理论研究进行实现和评价。为了验证模型和方法的有效性，本项目选择典型的视频处理程序进行验证。本项目发表高水平论文期刊论文8篇，会议论文7篇，授权发明专利4项，软件著作权2项，培养博士研究生2名，硕士研究生7名。研究成果将为构建面向多核和众核处理器的实时高效的视频大数据处理应用系统奠定良好的基础。