基于HTTP協(xié)議的網(wǎng)絡(luò)數(shù)據(jù)分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著經(jīng)濟(jì)社會(huì)的發(fā)展，網(wǎng)絡(luò)深刻地改變和影響著人們各方面的生活習(xí)慣，包括社交、電子商務(wù)、閱讀、知識學(xué)習(xí)等。科技進(jìn)步也導(dǎo)致了網(wǎng)絡(luò)終端接入設(shè)備的增加，個(gè)人用戶能夠更加容易接觸網(wǎng)絡(luò)?；ヂ?lián)網(wǎng)新經(jīng)濟(jì)的崛起，導(dǎo)致人們的網(wǎng)絡(luò)活動(dòng)完全是現(xiàn)實(shí)生活的縮影。網(wǎng)絡(luò)上的信息量呈現(xiàn)爆炸式增長，在此背景下，通過收集網(wǎng)絡(luò)流量日志，分析某一個(gè)IP地址下的網(wǎng)絡(luò)狀況，從而刻畫用戶畫像，以了解各個(gè)IP地址的信息以及其下可能存在的用戶數(shù)據(jù)。
　　本系統(tǒng)提出基于HTTP協(xié)議數(shù)據(jù)

2、的分析系統(tǒng)，從HTTP協(xié)議的流量信息、報(bào)文信息、正文信息三個(gè)方面分析當(dāng)前的網(wǎng)絡(luò)狀況，描述了從IP地址到終端設(shè)備再到用戶個(gè)人的網(wǎng)絡(luò)模型。統(tǒng)計(jì)了HTTP協(xié)議中的IP流量信息，設(shè)計(jì)了應(yīng)用于IP地址依據(jù)應(yīng)用服務(wù)劃分的樸素貝葉斯分類模型，在IP地址層面描繪了網(wǎng)絡(luò)狀況。參考了HTTP協(xié)議中User_Agent字段的變動(dòng)歷史，提出了從User_Agent字段中提取瀏覽器信息、設(shè)備名稱和操作系統(tǒng)的方法，實(shí)現(xiàn)了終端設(shè)備層面的分析。對于用戶層面，解析了HT

3、TP協(xié)議正文，包括JSON格式和HTML格式的數(shù)據(jù)，提取了B/S架構(gòu)的軟件和用戶交互時(shí)包含的個(gè)人數(shù)據(jù)，設(shè)計(jì)了基于HTML格式數(shù)據(jù)的知識學(xué)習(xí)方法以擴(kuò)充提取數(shù)據(jù)所依賴的知識庫信息。在數(shù)據(jù)分析的基礎(chǔ)上，設(shè)計(jì)了信息展示平臺(tái)，以Web的形式提供服務(wù)，通過jQuery和Bootstrap等前端框架，實(shí)現(xiàn)了簡潔易用友好的界面，采用Tomcat服務(wù)器，Mysql作為數(shù)據(jù)庫，使用MyISAM存儲(chǔ)引擎提高讀寫效率。
　　最后，本文設(shè)計(jì)了對該系統(tǒng)進(jìn)行功