卡口數(shù)據(jù)集成平臺的設計與實現(xiàn).pdf

1、隨著公安信息化建設的迅速發(fā)展，特別是以天網(wǎng)工程為建設重點的快速發(fā)展，按照公安部統(tǒng)一部署，各級公安部門已開始建設治安、交警、機場高速路等卡口系統(tǒng)及相應的指揮管理中心，為公安機關偵查辦案提供數(shù)據(jù)支持。越來越多的布控需求導致卡口數(shù)據(jù)急劇增長，特別是高速、治安卡口數(shù)據(jù)的高速并發(fā)已經(jīng)給現(xiàn)有的數(shù)據(jù)存儲體系造成了巨大的壓力。但由于各個區(qū)域的卡口是由不同廠家建設，卡口數(shù)據(jù)沒有統(tǒng)一字段描述，相互間缺少統(tǒng)一規(guī)劃和技術協(xié)調(diào)，不能有效實現(xiàn)網(wǎng)絡的互聯(lián)互通和資源共

2、享。同時，現(xiàn)有成熟的分布式系統(tǒng)大都是通用型，不能很好地解決按時間或地域進行相對集中存儲的問題，這與公安偵查辦案中的實際需求還有一定的差距。
　　為解決公安卡口數(shù)據(jù)應用的困惑，本文設計了符合公安機關實際業(yè)務需求的卡口數(shù)據(jù)集成平臺，用于實現(xiàn)對公安機關各業(yè)務系統(tǒng)的數(shù)據(jù)支持。本文通過以下三個步驟來完成：
　　首先，介紹了課題研究背景和意義，通過對國內(nèi)外研究現(xiàn)狀分析的基礎上，結合公安機關具體業(yè)務需求對卡口數(shù)據(jù)集成平臺進行了需求分析，介

3、紹了卡口數(shù)據(jù)集成平臺工作流程和功能架構。
　　其次，緊緊圍繞公安機關具體需求，對卡口數(shù)據(jù)集成平臺進行總體設計，提出了符合卡口數(shù)據(jù)特點的存儲體系架構。
　　接著，按照數(shù)據(jù)流向，并根據(jù)卡口數(shù)據(jù)集成平臺的工作流程和功能架構，對數(shù)據(jù)采集與預處理、數(shù)據(jù)寫入、數(shù)據(jù)檢索功能和系統(tǒng)可用性方面進行研究。
　　在數(shù)據(jù)采集與預處理方面，采用搭接方式實時采集卡口數(shù)據(jù)，通過對卡口數(shù)據(jù)進行分析，采用動態(tài)清洗插件技術和XML語言來解決底層卡口數(shù)據(jù)的

4、異構性問題。在數(shù)據(jù)被寫入主存儲節(jié)點的整個過程中，對關鍵技術數(shù)據(jù)緩存策略、多維數(shù)據(jù)構建、組播路由機制、全主控節(jié)點機制進行詳細研究。緩存策略能夠保證數(shù)據(jù)采集與數(shù)據(jù)寫入存儲體系的有效銜接；采用多維度數(shù)據(jù)切分策略和組播路由機制相結合的策略實現(xiàn)了多維數(shù)據(jù)構建、寫入和檢索功能。通過對卡口數(shù)據(jù)按區(qū)域、時間進行分組，使相鄰數(shù)據(jù)相對集中存儲。在進行數(shù)據(jù)檢索時，通過對檢索條件進行多維字段切分，快速找到層間組播的下一個組播源，提高層內(nèi)檢索速度。通過全主控節(jié)點

5、機制避免單點故障問題；在系統(tǒng)可用性方面，主要對存儲節(jié)點檢測、在線備份、離線備份和數(shù)據(jù)恢復方面進行研究。
　　最后，本文的研究成果在項目中得到了初步驗證，整個系統(tǒng)的運行通過了功能測試及非功能測試。從測試結果可以看出系統(tǒng)在穩(wěn)定性、負載能力上表現(xiàn)良好。同時，經(jīng)測試發(fā)現(xiàn)卡口數(shù)據(jù)集成平臺的存儲體系具備更高的可用性、更簡易的擴充性，具有較廣闊的前景。總體來說，論文所設計的卡口數(shù)據(jù)集成平臺的實現(xiàn)能夠為各個警種提供可用性高的數(shù)據(jù)存儲，為治安管理和