互聯(lián)網(wǎng)訪問(wèn)數(shù)據(jù)預(yù)處理研究與應(yīng)用——基于Hadoop.pdf

1、隨著Web技術(shù)的逐漸成熟以及快速發(fā)展，越來(lái)越多的用戶可以通過(guò)互聯(lián)網(wǎng)訪問(wèn)自己想要的信息。因此，用戶通過(guò)互聯(lián)網(wǎng)所能獲取的信息量呈指數(shù)級(jí)的速度增長(zhǎng)。互聯(lián)網(wǎng)中的海量信息一方面為用戶提供了獲取信息的源泉，另一方面也為用戶高效獲取有價(jià)值的信息帶來(lái)了不小的挑戰(zhàn)。如何通過(guò)對(duì)用戶訪問(wèn)互聯(lián)網(wǎng)的數(shù)據(jù)的挖掘來(lái)獲取用戶潛在的興趣或其他有用的信息，以此來(lái)為用戶提供個(gè)性化、智能化的信息服務(wù)已成為人們的迫切需求。
　　互聯(lián)網(wǎng)Web日志挖掘(WebLogMinin

2、g)正是在這種背景下產(chǎn)生的。但是隨著數(shù)據(jù)的大量積累，面對(duì)無(wú)比龐大的海量數(shù)據(jù)，目前的單機(jī)處理模式已然不能滿足大數(shù)據(jù)(BigData)處理的需求。因此，面向大數(shù)據(jù)處理的Hadoop平臺(tái)也隨之出現(xiàn)。
　　本文的主要研究?jī)?nèi)容是:基于Hadoop環(huán)境下的互聯(lián)網(wǎng)訪問(wèn)日志數(shù)據(jù)預(yù)處理相關(guān)技術(shù)的研究與應(yīng)用。
　　首先，簡(jiǎn)要概述了論文的選題背景與意義，并介紹了本文的主要研究?jī)?nèi)容和國(guó)內(nèi)外的相關(guān)研究現(xiàn)狀;然后，對(duì)Web日志挖掘進(jìn)行了簡(jiǎn)要概述，重點(diǎn)闡

3、述了其中的Web日志預(yù)處理，并對(duì)其中的每個(gè)步驟進(jìn)行了概括。
　　其次，介紹了當(dāng)前熱門的大數(shù)據(jù)分布式處理平臺(tái)——Hadoop，通過(guò)對(duì)目前單機(jī)大數(shù)據(jù)處理技術(shù)的研究，將其移植到Hadoop環(huán)境中。在研究的基礎(chǔ)上，提出一種基于并查集的會(huì)話識(shí)別算法，并根據(jù)日志Cookie中用戶的相關(guān)賬號(hào)信息進(jìn)行用戶識(shí)別。為后期的數(shù)據(jù)挖掘提供較為準(zhǔn)確的用戶信息數(shù)據(jù)。
　　最后，在用戶識(shí)別的基礎(chǔ)上，對(duì)用戶瀏覽日志中的搜索記錄進(jìn)行自然語(yǔ)言處理，提取出用戶的

4、搜索字詞以及詞匯的分類信息。通過(guò)這些搜索字詞將來(lái)就可以歸納出用戶一段時(shí)間內(nèi)的興趣點(diǎn)。
　　論文在已有研究的基礎(chǔ)上，主要做了以下幾個(gè)方面的創(chuàng)新研究工作:首先探討了互聯(lián)網(wǎng)Web日志挖掘中的一個(gè)主要問(wèn)題，即Web日志的數(shù)據(jù)預(yù)處理問(wèn)題;針對(duì)目前單機(jī)大數(shù)據(jù)處理模式的不足，成功將其移植到分布式處理平臺(tái)Hadoop中;根據(jù)用戶瀏覽頁(yè)面的鏈接關(guān)系提出了一種并查集的會(huì)話識(shí)別算法，并根據(jù)用戶相關(guān)賬戶信息進(jìn)行用戶識(shí)別;又通過(guò)用戶搜索記錄的自然語(yǔ)言處理，