基于內存的輕量級分布式計算引擎的設計與實現.pdf

1、近年來隨著網絡技術的發(fā)展，網絡用戶數量在日益增長。用戶在上網的過程中會產生用戶行為數據，這其中包括瀏覽網頁，網絡購物，觀看視頻等一系列的信息。數以億計的用戶產生的數據量無疑是巨大的。存儲和維護這些數據給我們帶來了挑戰(zhàn)，同時這些海量的用戶行為數據也給我們帶來了新時代的機遇。將海量的用戶數據進行數據挖掘，并向用戶提供定向推薦、實時推送成為了一種可盈利的商業(yè)模式。為了從海量數據中得到精確的用戶分類信息，需要對數據進行多次迭代的計算。因此如何實

2、現一個可支持高速迭代計算的分布式引擎是當前的問題之一。
　　本文設計和實現了一個基于內存的輕量級分布式計算引擎，并對整個系統的整體架構和實現細節(jié)進行全方面的闡述。系統充分利用分布式計算的特點，將數據散列到不同的機器上，減輕每臺機器的負擔并且提高計算的速度。為了支持多次迭代的計算，將每次計算的數據保存在內存中而不是在磁盤上，減少了每次迭代磁盤 I/O的時間，提高了計算的效率。在整個計算過程開始之前，系統生成本次計算的執(zhí)行計劃圖，計劃

3、圖保存了數據之間的轉換關系。當數據由于意外故障丟失，系統可以根據計劃圖重新恢復丟失的數據。系統同時對用戶提供了一套編程接口，數據的分布式和容錯恢復對用戶是完全透明的。系統同時將一個分布式計算任務的控制節(jié)點和計算執(zhí)行節(jié)點都納入統一的資源管理。系統引入負載均衡，實時監(jiān)控每個節(jié)點的運行情況，根據節(jié)點的運行狀況，下發(fā)計算任務。
　　在實現方面，模塊通信選型Epoll驅動滿足異步事件到達的處理。在多路網絡I/O通信的情況下依然可以高效并發(fā)的