基于云計算的日志挖掘系統(tǒng)設(shè)計與實現(xiàn).pdf

1、隨著社會信息化進程的不斷加快,信息量不可避免呈現(xiàn)出一個爆炸式增長的趨勢。如何有效應(yīng)對由此產(chǎn)生的海量數(shù)據(jù)存儲與計算的挑戰(zhàn),使得云計算成為解決這一難題的一個重要手段?；谠朴嬎愕娜罩就诰蛳到y(tǒng)利用云計算的方法,通過分析和挖掘搜索引擎的海量用戶日志,對其進行復(fù)雜的多維度映射和交叉計算,轉(zhuǎn)化為數(shù)據(jù)倉庫中各維度統(tǒng)計數(shù)據(jù),搭建起了數(shù)據(jù)挖掘的平臺。得到的搜索引擎網(wǎng)站的十三個具體流量指標,能通過網(wǎng)站流量的變化,為網(wǎng)站運營提供分析的基礎(chǔ),以及為產(chǎn)品、業(yè)務(wù)、

2、決策做支撐。
　　按軟件工程的方法,首先對系統(tǒng)進行了業(yè)務(wù)和需求分析,明確了日志挖掘系統(tǒng)的四項功能需求。然后進行了系統(tǒng)的總體設(shè)計,給出了系統(tǒng)的流程框架,提出了將系統(tǒng)分為日志預(yù)處理、日志分析統(tǒng)計作業(yè)、聯(lián)機分析處理三個模塊來進行設(shè)計與實現(xiàn)。在系統(tǒng)設(shè)計中分別對各個數(shù)據(jù)模型、XML配置、維度和事實表以及維度映射和交叉規(guī)則的設(shè)計做了詳細的分析說明。在系統(tǒng)的實現(xiàn)部分,給出了日志數(shù)據(jù)裝載過程、ETL過程的實現(xiàn),維度解析器和各個指標算法的實現(xiàn),以及