基于HBase的交通卡口數(shù)據(jù)存儲和查詢系統(tǒng)研發(fā).pdf

1、交通卡口數(shù)據(jù)具有多來源、高速率、數(shù)量大等特性。目前，交通卡口系統(tǒng)中依然使用的是傳統(tǒng)關(guān)系型數(shù)據(jù)庫，傳統(tǒng)關(guān)系型數(shù)據(jù)庫在面對交通卡口數(shù)據(jù)寫入和讀取時常常容易暴露出擴(kuò)展性能差、存儲性能低、查詢效率慢等問題。針對上述問題，本文設(shè)計并實現(xiàn)了一套基于HBase的交通卡口數(shù)據(jù)存儲和查詢系統(tǒng)。
　　該系統(tǒng)采用分布式架構(gòu)，前端攝像頭傳感器以Http協(xié)議方式將交通卡口數(shù)據(jù)發(fā)送給Flume分布式采集系統(tǒng)，采集系統(tǒng)對多源異構(gòu)數(shù)據(jù)進(jìn)行分類、聚合規(guī)范化整理，然

2、后將不同類型的卡口數(shù)據(jù)傳入到Kafka分布式消息隊列中進(jìn)行數(shù)據(jù)劃分，數(shù)據(jù)劃分中重寫了Kafka原有的Partition類，從而更好的實現(xiàn)了卡口數(shù)據(jù)讀取的實時性。Storm分布式實時計算系統(tǒng)從消息隊列中獲取卡口數(shù)據(jù)并且完成存儲過程，最終將卡口數(shù)據(jù)寫入到HBase集群服務(wù)器中。利用Phoenix-client作為HBase之上的Sql層，實現(xiàn)對HBase數(shù)據(jù)庫查詢。在保證系統(tǒng)高可靠、高可用的情況下，實現(xiàn)了卡口系統(tǒng)數(shù)據(jù)的快速寫入和讀取。

3、>　　測試實施中采用ThinkServerRD650服務(wù)器，搭建多節(jié)點分布式服務(wù)器平臺。測試結(jié)果表明：該系統(tǒng)與基于Oracle的實時卡口系統(tǒng)相比，其存儲性能提升了3倍，其存儲性能比原生的HBase相比，存儲性能提升了2倍。查詢性能比原生的HBase，提升了3倍，而且支持多條件聯(lián)合查詢。
　　因此利用上述方案可以很好的解決目前交通卡口系統(tǒng)由于數(shù)據(jù)量大而造成讀寫性能差的問題?？梢灶A(yù)見，隨著大數(shù)據(jù)技術(shù)的快速發(fā)展，能讓我們在不遠(yuǎn)的未來看到