基于Hadoop的公安系統(tǒng)信息存儲(chǔ)平臺(tái).pdf

1、隨著信息化水平不斷提升,在公安部門內(nèi)部,各種數(shù)據(jù)信息、文件、視頻資料都需要存儲(chǔ)。各個(gè)部門都購(gòu)買存儲(chǔ)設(shè)備用于存儲(chǔ)這些數(shù)據(jù)資源,昂貴的存儲(chǔ)設(shè)備的購(gòu)買加大了運(yùn)營(yíng)成本,而且又無(wú)法滿足存儲(chǔ)資源的共享需求。因?yàn)榇鎯?chǔ)設(shè)備的地理位置分散,要實(shí)現(xiàn)數(shù)據(jù)資源共享,就必然要利用網(wǎng)絡(luò)實(shí)現(xiàn)數(shù)據(jù)傳輸,網(wǎng)絡(luò)信息存儲(chǔ)系統(tǒng)已經(jīng)逐漸成為公安部門高效運(yùn)作的一個(gè)核心技術(shù)平臺(tái)。但是由于網(wǎng)絡(luò)的各種不安全、不穩(wěn)定因素和公安系統(tǒng)部門的工作特性,網(wǎng)絡(luò)信息存儲(chǔ)系統(tǒng)就需要具有很高的工作性能,

2、其中包括安全的數(shù)據(jù)訪問(wèn)、穩(wěn)定的數(shù)據(jù)傳輸和存儲(chǔ)擴(kuò)展能力。因此如何對(duì)已有的存儲(chǔ)設(shè)備進(jìn)行整合利用,提供一個(gè)節(jié)約資源又安全可靠的信息存儲(chǔ)平臺(tái)成為公安系統(tǒng)面臨的一大難題。
　　云存儲(chǔ)由分布式文件系統(tǒng)、網(wǎng)絡(luò)傳輸、集群應(yīng)用、虛擬化存儲(chǔ)等技術(shù)構(gòu)成,把分布在網(wǎng)絡(luò)上的各種存儲(chǔ)設(shè)備整合成為一個(gè)資源池,作為一個(gè)服務(wù)體系對(duì)外提供統(tǒng)一的接口。采用云存儲(chǔ)技術(shù)以后,對(duì)于用戶來(lái)說(shuō),就不單是使用某個(gè)具體的存儲(chǔ)設(shè)備,而是分布在網(wǎng)絡(luò)上的多個(gè)存儲(chǔ)設(shè)備的集合體。這樣不僅可以

3、有效整合存儲(chǔ)設(shè)備資源,還可以提高存儲(chǔ)的便捷性和資源共享。Hadoop就是一個(gè)能夠?qū)Υ罅繑?shù)據(jù)進(jìn)行分布式處理的云存儲(chǔ)軟件框架,提供了一種安全可靠、高效、可伸縮的方式存儲(chǔ)數(shù)據(jù)。
　　本文分析了公安系統(tǒng)部門的資源存儲(chǔ)狀況,同時(shí)分析了云存儲(chǔ)的現(xiàn)狀和Hadoop的架構(gòu),然后深入的研究了系統(tǒng)內(nèi)部的工作原理和功能特征,在此基礎(chǔ)上,提出了一個(gè)基于Hadoop的信息存儲(chǔ)系統(tǒng)方案。信息存儲(chǔ)系統(tǒng)的底層是Hadoop分布式文件系統(tǒng),這個(gè)文件系統(tǒng)將一個(gè)大文件

4、分割成為了若干個(gè)數(shù)據(jù)塊,分別存儲(chǔ)在保存數(shù)據(jù)的數(shù)據(jù)節(jié)點(diǎn)上。由于每個(gè)數(shù)據(jù)塊都有若干個(gè)相同的副本數(shù)據(jù)塊,所以當(dāng)數(shù)據(jù)塊發(fā)生錯(cuò)誤的時(shí)候,系統(tǒng)會(huì)自動(dòng)的用另外一個(gè)完整的數(shù)據(jù)塊副本取代當(dāng)前出錯(cuò)的數(shù)據(jù)塊,同時(shí)將出錯(cuò)的數(shù)據(jù)塊上報(bào)給名字節(jié)點(diǎn)進(jìn)行處理,這種機(jī)制保證了系統(tǒng)中數(shù)據(jù)的完整性。
　　與傳統(tǒng)的信息存儲(chǔ)系統(tǒng)不同,基于Hadoop的信息存儲(chǔ)平臺(tái)的用戶是分散在各個(gè)不同地方、不同部門的,用戶在上傳數(shù)據(jù)資源的時(shí)候,都儲(chǔ)存在了一個(gè)共同的海量的存儲(chǔ)池里面。當(dāng)用戶

5、需要查找需要的資源時(shí),可以自由的從存儲(chǔ)平臺(tái)中下載下來(lái),就省去了傳統(tǒng)的信息溝通不暢和數(shù)據(jù)時(shí)效性問(wèn)題。信息系統(tǒng)部署在了基于Linux操作系統(tǒng)的機(jī)器集群上,默認(rèn)的操作管理接口是命令行方式的,如果不是專業(yè)的人員,就很難掌握操作。該系統(tǒng)主要利用Hadoop實(shí)現(xiàn)存儲(chǔ)層的技術(shù)支撐,用戶層采用Web開(kāi)發(fā)相關(guān)技術(shù)實(shí)現(xiàn)用戶與存儲(chǔ)層進(jìn)行交互。最終為工作人員提供友好的接口來(lái)訪問(wèn)系統(tǒng),工作人員在不需要了解底層技術(shù)細(xì)節(jié)的情況下,就可以使用一個(gè)基于云存儲(chǔ)的信息存儲(chǔ)系