基于NoSQL的大規(guī)模Web日志分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著科技的進(jìn)步以及互聯(lián)網(wǎng)的高速發(fā)展，越來越多的Web應(yīng)用被用戶所使用?；ヂ?lián)網(wǎng)公司也面臨著更多的挑戰(zhàn)，每天頁面都會(huì)被數(shù)以萬計(jì)的用戶所使用，使得Web日志的數(shù)量也快速增長(zhǎng)。如何更好的提高互聯(lián)網(wǎng)公司的服務(wù)質(zhì)量，了解用戶的需求及愛好，增加用戶的粘度，成為當(dāng)今互聯(lián)網(wǎng)行業(yè)急需解決的問題。如何利用收集的大規(guī)模Web日志數(shù)據(jù)，從這些海量數(shù)據(jù)中心找出對(duì)企業(yè)有價(jià)值的信息，是目前大多數(shù)企業(yè)面臨的問題。
　　以用戶訪問的Web日志數(shù)據(jù)為基礎(chǔ)，來改進(jìn)網(wǎng)站的

2、設(shè)計(jì)，吸引更多的流量，從而提高用戶的體驗(yàn)，給企業(yè)帶來效益，促使了Web日志分析的產(chǎn)生。Web日志分析就是通過收集用戶訪問Web網(wǎng)頁所產(chǎn)生的日志，對(duì)這些日志進(jìn)行格式轉(zhuǎn)換、過濾、清洗、挖掘等一系列的過程。隨著Web應(yīng)用訪問量的增大，相應(yīng)的Web日志的數(shù)量也在不斷地膨脹，傳統(tǒng)的數(shù)據(jù)存儲(chǔ)方式不能滿足當(dāng)前的需求。對(duì)于Web日志的分析，單個(gè)節(jié)點(diǎn)的處理能力有限，不能達(dá)到互聯(lián)網(wǎng)企業(yè)分析日志的需求，為此，大規(guī)模Web日志分析系統(tǒng)應(yīng)運(yùn)而生。采用分布式對(duì)日志

3、進(jìn)行存儲(chǔ)以及進(jìn)行分布式計(jì)算成為了大規(guī)模Web日志分析發(fā)展的必然趨勢(shì)。
　　本文主要研究NoSQL數(shù)據(jù)庫MongoDB以及Hadoop分布式計(jì)算架構(gòu)，并且基于MongoDB和Hadoop設(shè)計(jì)和實(shí)現(xiàn)了一個(gè)高性能的大規(guī)模Web日志分析系統(tǒng)。Hadoop包括兩個(gè)核心的技術(shù):分布式文件系統(tǒng)HDFS以及分布式編程模型MapReduce。本系統(tǒng)使用MongoDB對(duì)日志文件進(jìn)行存儲(chǔ)，日志通過分片技術(shù)被分割成若干大小相同的日志數(shù)據(jù)集，存儲(chǔ)在分布式系