基于Hadoop-hive架構(gòu)的網(wǎng)絡(luò)身份識別系統(tǒng)的設(shè)計與實現(xiàn).pdf

1、隨著人們對網(wǎng)絡(luò)和通信的依賴日漸增長，維護網(wǎng)絡(luò)信息的安全以及用戶的合法權(quán)益日益重要。而網(wǎng)絡(luò)的開放性、虛擬性和不確定性無疑給這項工作增加了一個不小的難題。網(wǎng)絡(luò)身份的綁定成為必然。每個用戶常見的網(wǎng)絡(luò)、通訊行為有郵件通訊、微博發(fā)表、短信通訊以及電話通訊。每個用戶在四個系統(tǒng)中分別對應(yīng)一種身份，把四種身份綁定，確認用戶的現(xiàn)實身份，使得網(wǎng)絡(luò)社會和現(xiàn)實社會同樣受到監(jiān)督與保證，維持網(wǎng)絡(luò)秩序。
　　由于數(shù)據(jù)源眾多以及各個系統(tǒng)的用戶繁多、操作頻繁，每日

2、產(chǎn)生TB級甚至PB級的海量數(shù)據(jù)，傳統(tǒng)的關(guān)系數(shù)據(jù)庫以及不能滿足數(shù)據(jù)的存儲分析處理的要求。本系統(tǒng)利用Hadoop/hive分布式計算平臺的高可靠性、高擴展性、高效性以及高容錯性，對用戶的基礎(chǔ)信息、特征行為等進行分析，在功能實現(xiàn)的基礎(chǔ)上展現(xiàn)出數(shù)據(jù)處理很高的效率。
　　本文在實際系統(tǒng)開發(fā)的基礎(chǔ)上，綜述了一種基于Hadoop/hive架構(gòu)的網(wǎng)絡(luò)身份識別系統(tǒng)設(shè)計與實現(xiàn)的開發(fā)方案。將各個數(shù)據(jù)源的原始數(shù)據(jù)利用MapReduce進行層層清洗后，裝載