基于Hadoop平臺的高危人群關系分析系統(tǒng)的設計與實現(xiàn).pdf

1、隨著公安部門信息化的發(fā)展，公安信息系統(tǒng)中積累了大量有價值的數(shù)據(jù)信息資源。但是，目前對于這些數(shù)據(jù)的利用大多還處于簡單的查詢、統(tǒng)計階段，這種初級水平的應用已經(jīng)不能適應現(xiàn)時所需。數(shù)據(jù)挖掘技術可以從大量的、模糊的、有特征的數(shù)據(jù)中挖掘出事先未知的但又是潛在有用的規(guī)律和關系。為了從大量的警務數(shù)據(jù)中提取出對警務決策、預防犯罪、打擊犯罪有用的信息，開發(fā)基于數(shù)據(jù)挖掘的高危人群關系分析系統(tǒng)。
　　本課題來源于黑龍江省公安廳科技信息處，是該部門數(shù)據(jù)分析

2、平臺中的核心模塊高危人群分析系統(tǒng)的設計與實現(xiàn)。本文分析了系統(tǒng)的功能性需求以及對應業(yè)務的數(shù)據(jù)形式。為了適應海量數(shù)據(jù)的運算處理，搭建 Hadoop集群進行數(shù)據(jù)存儲并構建分布式集群運算系統(tǒng)。給出了系統(tǒng)的主要業(yè)務功能的詳細設計，對系統(tǒng)具體實現(xiàn)過程和測試過程進行了詳細的闡述。
　　在功能上，系統(tǒng)主要將公安系統(tǒng)內(nèi)部數(shù)據(jù)、社會數(shù)據(jù)集中利用采集，提取有效數(shù)據(jù)，深度挖掘數(shù)據(jù)之間的關聯(lián)關系，針對同航班、同火車、同住宿、同上網(wǎng)等多同關系進行分析計算，實

3、現(xiàn)高危人員關系的深度挖掘。
　　在性能上，搭建Hadoop集群，采用分布式存儲方式，有效解決海量數(shù)據(jù)存儲瓶頸以及大幅提高運算效率；
　　在技術上，系統(tǒng)應用層程序使用java語言編寫，采用SpringMVC作為基礎框架，前端框架使用BootStrap框架實現(xiàn)響應式布局，拉斐爾關系圖譜使用重新封裝的 reaheal.js插件。系統(tǒng)的數(shù)據(jù)從采用 Hadoop集群作為數(shù)據(jù)存儲與處理的平臺。系統(tǒng)使用 Hbase作為系統(tǒng)數(shù)據(jù)庫，使用 P