基于Hadoop平臺的通信數(shù)據(jù)分布式查詢算法的設(shè)計與實現(xiàn).pdf

1、數(shù)據(jù)是信息的載體，隨著信息化的不斷發(fā)展，數(shù)據(jù)在現(xiàn)代社會生活中承擔著越來越重要的角色。社會網(wǎng)絡分析就是利用圖論、數(shù)據(jù)挖掘等技術(shù)手段從社會網(wǎng)絡數(shù)據(jù)集中尋找有用的信息。由于社會網(wǎng)絡分析所處理的數(shù)據(jù)通常是很龐大的。因而對數(shù)據(jù)處理的能力要求很高。 大規(guī)模通信社會網(wǎng)絡數(shù)據(jù)分析與可視化系統(tǒng)是一個專門處理通信數(shù)據(jù)集的社會網(wǎng)絡分析工具。它提供了社會網(wǎng)絡分層擴展等一系列數(shù)據(jù)分析與可視化的基本操作。對于該系統(tǒng)來說，圖的分層擴展涉及到在海量數(shù)據(jù)中進行查

2、詢，因而對數(shù)據(jù)查詢效率有著很高的要求。采用傳統(tǒng)的關(guān)系型數(shù)據(jù)庫Oracle或SQLServer等雖然能夠滿足復雜條件的查詢，但在處理TB級的大規(guī)模原始數(shù)據(jù)集時就顯得力不從心。同時，在網(wǎng)絡分層擴展時要用到廣度優(yōu)先搜索算法，需要在海量原始數(shù)據(jù)中進行遍歷操作，這在關(guān)系數(shù)據(jù)庫中的效率是很低的。 以上情況就迫切需要我們解決數(shù)據(jù)查詢和處理中存在的瓶頸。在分析了現(xiàn)有分布式存儲系統(tǒng)與云計算平臺的基礎(chǔ)上，本文提出了一種基于Hadoop平臺的分布式數(shù)

3、據(jù)存儲和查詢改進方案。本文重點闡述了通信數(shù)據(jù)分布式存儲與查詢在Hadoop平臺上的實現(xiàn)。據(jù)Hbase數(shù)據(jù)庫的特色設(shè)計了通信社會網(wǎng)絡數(shù)據(jù)模型。實現(xiàn)了基于Hbase數(shù)據(jù)庫上的條件查詢。并對設(shè)計好的數(shù)據(jù)模型進行了優(yōu)化。最后在Hadoop數(shù)據(jù)服務平臺上實現(xiàn)了面向軟件客戶端的數(shù)據(jù)訪問服務。設(shè)計了適合通信社會網(wǎng)絡數(shù)據(jù)特色的Map/Reduce算法。通過Map和Reduce函數(shù)實現(xiàn)了數(shù)據(jù)的并行查詢和處理。在數(shù)據(jù)查詢過程中，還將數(shù)據(jù)遍歷過程放在Redu