基于中小型站點(diǎn)的Web日志挖掘.pdf

1、Web日志挖掘是W曲挖掘的分支之一，也是發(fā)展前景及應(yīng)用價(jià)值最高的部分之一，是傳統(tǒng)數(shù)據(jù)挖掘的延伸，與傳統(tǒng)數(shù)據(jù)挖掘?qū)ο笫墙Y(jié)構(gòu)化數(shù)據(jù)不同的是，Web日志挖掘的對(duì)象是半結(jié)構(gòu)化的日志文件。日志文件記錄了一個(gè)網(wǎng)站所有訪問(wèn)者的瀏覽行為，Web日志挖掘通過(guò)分析日志文件，得到訪問(wèn)者的瀏覽行為，訪問(wèn)模式，興趣目標(biāo)等信息，通過(guò)這些信息，一方面可以調(diào)整網(wǎng)站運(yùn)營(yíng)策略，使網(wǎng)站內(nèi)容更符合用戶興趣愛(ài)好，一方面可以根據(jù)用戶訪問(wèn)行為判斷其需求趨向，調(diào)整企業(yè)或公司產(chǎn)品生產(chǎn)計(jì)

2、劃，更進(jìn)一步，可以根據(jù)分析得到的用戶訪問(wèn)模式，針對(duì)不同地址或不同用戶的訪問(wèn)顯示不同的頁(yè)面，形成動(dòng)態(tài)智能站點(diǎn)。 在挖掘Web用戶使用記錄時(shí)描述用戶訪問(wèn)的數(shù)據(jù)包括：IP地址、參考頁(yè)面、訪問(wèn)日期和時(shí)間、用戶操作系統(tǒng)類型、瀏覽器類型等。W曲日志挖掘過(guò)程一般由預(yù)處理、模式發(fā)現(xiàn)、模式分析組成，其中預(yù)處理階段是最關(guān)鍵的一步，預(yù)處理包括日志合并、日志凈化、用戶識(shí)別、會(huì)話識(shí)別、事務(wù)識(shí)別五個(gè)階段。本文在概述數(shù)據(jù)挖掘的基礎(chǔ)上，介紹了W曲挖掘的概念、分

3、類及現(xiàn)狀，并重點(diǎn)討論了W曲日志挖掘預(yù)處理階段的各項(xiàng)技術(shù)及方法，對(duì)如何清洗過(guò)濾Web日志中保存的內(nèi)嵌元素訪問(wèn)信息進(jìn)行了深入研究及實(shí)驗(yàn)，提出了一種新的凈化方法以細(xì)化數(shù)據(jù)粒度，對(duì)W曲日志中的機(jī)器人訪問(wèn)記錄清洗算法進(jìn)行了探討，最后，實(shí)現(xiàn)了一個(gè)監(jiān)視指定服務(wù)器端口同時(shí)在數(shù)據(jù)庫(kù)中記錄訪問(wèn)服務(wù)器數(shù)據(jù)包的系統(tǒng)，將盡可能詳細(xì)的用戶訪問(wèn)行為轉(zhuǎn)化為數(shù)據(jù)項(xiàng)保存到數(shù)據(jù)庫(kù)中，為將來(lái)實(shí)現(xiàn)更精確的數(shù)據(jù)挖掘打下良好基礎(chǔ)。 最后文章總結(jié)了論文工作的主要成果及需要改進(jìn)