流式大数据处理的网络性能优化研究

The processing of steam big data requires very high network performance, including high throughput and low latency. Traditional linux kernel based operating system can hardly support more than 1Gbps throughput, while TCP based transport protocols between servers have fundamental drawbacks in unpredictable high latency. In this project we will study how to support 100Gbps steam big data processing based on software enhancement, which builds on the emerging high performance hardware, including multi-core CPU and 100G NIC. It has two aspects. First, we will study polling IO based user-level general network operating system. By realizing network operating system on user level, we will achieve 100Gbps processing capability on a single server for stream big data. Meanwhile, we will guarantee high compatibility for legacy applications. Second, we will study partial-coding based transport protocol for stream big data. By improving FEC codes to embrace the characteristic of steam big data, we will realize high-performance transport protocol without retransmission, which will significantly reduce the transport latency between servers.

流式大数据的处理需要很高的网络性能，包括高吞吐率和低延迟。而传统基于Linux内核操作系统的协议栈很难达到1Gbps以上的吞吐率，而服务器之间基于TCP的传输协议也难以克服延迟高的缺点。在本项目中我们研究如何基于新型硬件，包括多核CPU和100G网卡，通过软件系统的改善来支持100G流式大数据的高速网络性能。包括两个方面。一是研究基于轮询IO的用户态通用网络操作系统。通过在用户态实现网络操作系统，实现单台服务器100Gbps以上处理能力的同时，保证对应用程序的良好兼容性。二是研究基于部分编码的流式大数据传输协议。通过对FEC编码的改进以更好地支持流式大数据中数据不断到达的特点，来实现不需要重传的传输协议，大大降低服务器之间的网络传输延迟。

流式大数据的处理需要很高的网络性能，包括高吞吐率和低延迟。而传统基于Linux内核操作系统的协议栈很难达到1Gbps以上的吞吐率，而服务器之间基于TCP的传输协议也难以克服延迟高的缺点。在本项目中我们研究如何基于新型硬件，包括多核CPU和100G网卡，通过软件系统的改善来支持100G流式大数据的高速网络性能。包括两个方面。一是研究基于轮询IO的用户态通用网络操作系统。通过在用户态实现网络操作系统，实现单台服务器100Gbps以上处理能力的同时，保证对应用程序的良好兼容性。二是研究基于部分编码的流式大数据传输协议。通过对FEC编码的改进以更好地支持流式大数据中数据不断到达的特点，来实现不需要重传的传输协议，大大降低服务器之间的网络传输延迟。