基于多核-眾核體系結(jié)構(gòu)構(gòu)建高性能網(wǎng)絡(luò)系統(tǒng)的研究.pdf

1、大數(shù)據(jù)時(shí)代，急劇增長(zhǎng)的網(wǎng)絡(luò)速度和數(shù)據(jù)流量令當(dāng)今各種網(wǎng)絡(luò)設(shè)備不堪重負(fù)。更糟糕的是，隨著網(wǎng)絡(luò)應(yīng)用的日趨復(fù)雜，網(wǎng)絡(luò)系統(tǒng)的處理任務(wù)正從簡(jiǎn)單的包轉(zhuǎn)發(fā)、包過濾演變到深度數(shù)據(jù)包檢查、網(wǎng)絡(luò)異常檢測(cè)、計(jì)算密集處理（加/解密、壓縮/解壓縮）、數(shù)據(jù)緩存等復(fù)雜功能，然而目前主要依靠專用硬件（如ASIC、網(wǎng)絡(luò)處理器）提供處理能力的網(wǎng)絡(luò)設(shè)備卻面臨著靈活性差和開發(fā)周期長(zhǎng)的問題。
　　隨著通用多核、眾核處理器令人矚目的發(fā)展，處理器的計(jì)算能力迅速提高，利用通用處理

2、器開發(fā)靈活性好和性能高的網(wǎng)絡(luò)設(shè)備成為工業(yè)界和學(xué)術(shù)界十分感興趣的研究課題。然而在通用計(jì)算平臺(tái)上實(shí)現(xiàn)高性能網(wǎng)絡(luò)系統(tǒng)面臨許多困難和挑戰(zhàn)，其中主要的一些困難包括:通用操作系統(tǒng)對(duì)高速網(wǎng)絡(luò)處理的支持能力較差，網(wǎng)絡(luò)程序的并行化方法沒有先例可循，高速網(wǎng)絡(luò)流本質(zhì)上不具備能夠有效利用CPU cache的數(shù)據(jù)局部性，適合GPU大規(guī)模計(jì)算的數(shù)據(jù)并行性并不是顯而易見的，建立在批處理之上的并行計(jì)算需要平衡吞吐量和處理延遲的矛盾，等等。
　　本論文以若干個(gè)要求

3、高吞吐、低延遲、高連接數(shù)的網(wǎng)絡(luò)系統(tǒng)作為研究對(duì)象，研究基于通用多核/眾核處理器構(gòu)建高性能網(wǎng)絡(luò)系統(tǒng)的關(guān)鍵技術(shù)，就以上問題給出了我們的解決方案，最終綜合運(yùn)用各種系統(tǒng)優(yōu)化技術(shù)構(gòu)建了實(shí)際可用的高性能網(wǎng)絡(luò)系統(tǒng)。本文的主要貢獻(xiàn)和創(chuàng)新點(diǎn)如下：
　　1.針對(duì)目前缺少可定制的、高性能的應(yīng)用層協(xié)議解析器的問題，提出了基于FLEX詞法分析器構(gòu)建可定制應(yīng)用層協(xié)議解析器的方法，并在多核處理器上實(shí)現(xiàn)了并行化的協(xié)議解析器框架，利用該框架非常方便地實(shí)現(xiàn)了高性能的H

4、TTP協(xié)議解析器和FIX協(xié)議解析器。
　　2.針對(duì)目前的協(xié)議棧在大規(guī)模連接下的低效問題，提出了一種新穎的TCP查找數(shù)據(jù)結(jié)構(gòu)，基于該查找結(jié)構(gòu)的并行化協(xié)議棧實(shí)現(xiàn)首次在通用處理器上實(shí)現(xiàn)了10Gbps的吞吐量和一百萬(wàn)條并發(fā)TCP連接的支持能力。
　　3.針對(duì)GPU處理難以保證延遲的問題，提出了以GPU為中心的實(shí)時(shí)調(diào)度策略和并行化框架，并基于該框架實(shí)現(xiàn)了首個(gè)利用GPU加速的實(shí)時(shí)網(wǎng)絡(luò)流處理系統(tǒng)--SRTP反向代理，可以滿足高速視頻網(wǎng)站對(duì)