面向數(shù)據(jù)處理的流計(jì)算關(guān)鍵技術(shù)研究.pdf

1、日益發(fā)展的新一代無線網(wǎng)絡(luò)對于實(shí)時(shí)數(shù)據(jù)流處理也提出了新的要求。射頻標(biāo)簽(RFID)使得每個(gè)物品都可以接入網(wǎng)絡(luò)，微傳感器無時(shí)無刻不在檢測著環(huán)境信息并傳送給主控節(jié)點(diǎn)，這對主控節(jié)點(diǎn)的處理能力提出了嚴(yán)峻挑戰(zhàn)。這就需要一種數(shù)據(jù)處理機(jī)制實(shí)時(shí)而精確的對數(shù)據(jù)流進(jìn)行分類和計(jì)算，使其在實(shí)用價(jià)值消失之前盡可能轉(zhuǎn)變成收益，因此流計(jì)算技術(shù)應(yīng)運(yùn)而生。
　　流計(jì)算的主要目的是從實(shí)時(shí)的原始數(shù)據(jù)流中提取出各應(yīng)用感興趣的信息，完成一系列操作后輸出給用戶。該技術(shù)最大的特

2、點(diǎn)是自數(shù)據(jù)流出現(xiàn)，就在其不斷變化的過程中進(jìn)行分析并從中獲取有用信息傳遞給用戶。
　　本文通過分析數(shù)據(jù)流，建立復(fù)雜事件的處理模板，從而對復(fù)雜事件進(jìn)行數(shù)據(jù)驅(qū)動的計(jì)算和推理，并對數(shù)據(jù)流進(jìn)行動態(tài)的分布式控制，實(shí)時(shí)調(diào)度各種任務(wù)，正確、高效地將不同類型的任務(wù)分配給不同的任務(wù)處理器，提升系統(tǒng)性能。最后設(shè)計(jì)Socket通信接口，提升其應(yīng)對大量連接請求的能力。
　　本文的主要貢獻(xiàn)包括：
　　(1)針對數(shù)據(jù)元組以亂序的形式到達(dá)時(shí)可能會造成

3、匹配錯(cuò)誤的問題，提出了實(shí)時(shí)模板匹配(Real-time Query Matching, RQM)算法，把新事件組成的有序集合與模板進(jìn)行對比，根據(jù)有序集中缺失事件的類型和個(gè)數(shù)判斷該集合能否在未來成功匹配，丟棄匹配概率較小的子集節(jié)省空間，提高匹配速度。
　　(2)針對數(shù)據(jù)流量較大時(shí)傳統(tǒng)調(diào)度算法效率較低的問題，提出一種面向流計(jì)算的動態(tài)分配調(diào)度(Dynamic Assignment Scheduling, DAS)算法,設(shè)立多個(gè)邏輯主機(jī)，

4、每個(gè)邏輯主機(jī)又設(shè)立多個(gè)操作器，并行處理數(shù)據(jù)流。通過將總的調(diào)度問題轉(zhuǎn)化為每個(gè)操作器的公共子問題，減少了調(diào)度開銷。同時(shí)縮減了調(diào)度算法的執(zhí)行間隔，提升了調(diào)度精度。
　　(3)為使得流計(jì)算服務(wù)器通信層在大量數(shù)據(jù)流來臨時(shí)仍然保持穩(wěn)定的效率，使用線程池技術(shù)構(gòu)建了流計(jì)算服務(wù)器，設(shè)計(jì)了系統(tǒng)運(yùn)行支撐方案，并計(jì)算了動態(tài)線程池在面臨超過其容量的請求時(shí)的開銷，提出使用緩沖池存儲超量連接請求而不是動態(tài)生成額外線程的方案，然后對總體設(shè)計(jì)進(jìn)行優(yōu)化，應(yīng)對常見的突