互聯(lián)網(wǎng)中的海量用戶(hù)行為挖掘算法研究.pdf

1、隨著計(jì)算機(jī)技術(shù)以及互聯(lián)網(wǎng)的飛速發(fā)展，在Web中產(chǎn)生了越來(lái)越多的基于用戶(hù)的應(yīng)用，這些應(yīng)用數(shù)年來(lái)收集了海量的用戶(hù)行為數(shù)據(jù)，且數(shù)據(jù)還正以指數(shù)級(jí)增長(zhǎng)，這些海量數(shù)據(jù)中包含了大量和用戶(hù)相關(guān)的信息。及時(shí)、精確地從這些海量用戶(hù)信息中發(fā)現(xiàn)有用的知識(shí)，挖掘出這些數(shù)據(jù)背后隱藏的用戶(hù)行為模式，能夠幫助互聯(lián)網(wǎng)應(yīng)用提供更好的用戶(hù)體驗(yàn)，并提高企業(yè)的市場(chǎng)競(jìng)爭(zhēng)力。本文采用數(shù)據(jù)挖掘的方法對(duì)互聯(lián)網(wǎng)中的用戶(hù)行為進(jìn)行分析挖掘，找出其中隱藏的規(guī)律與模式，并從基于Web2.0的社會(huì)

2、化標(biāo)記系統(tǒng)中的用戶(hù)標(biāo)記行為分析和互聯(lián)網(wǎng)搜索引擎中的用戶(hù)檢索行為分析兩個(gè)方面進(jìn)行說(shuō)明。
　　 ⑴在社會(huì)化標(biāo)記系統(tǒng)中，用戶(hù)可以自主采用不同的標(biāo)簽標(biāo)記資源，并利用這些用戶(hù)標(biāo)簽實(shí)現(xiàn)信息資源的組織、分類(lèi)和檢索，但是這種自由的用戶(hù)標(biāo)記行為存在著信息描述不精確、標(biāo)簽組織混亂和標(biāo)簽語(yǔ)意模糊等問(wèn)題?，F(xiàn)有研究常采用聚類(lèi)等數(shù)據(jù)挖掘技術(shù)來(lái)解決這些問(wèn)題，現(xiàn)有標(biāo)簽聚類(lèi)算法大多根據(jù)不同標(biāo)簽在對(duì)象中共同出現(xiàn)的次數(shù)來(lái)計(jì)算它們之間的相似度，但是這種方法聚類(lèi)的精確度

3、與召回率并不高。針對(duì)此問(wèn)題，本文提出了一種新的標(biāo)簽聚類(lèi)算法，充分考慮標(biāo)簽的標(biāo)記信息，采用基于對(duì)象的特征向量來(lái)精確地表征一個(gè)標(biāo)簽，根據(jù)余弦相似度公式得到較為準(zhǔn)確的標(biāo)簽相似度，然后采用K-Means算法將用戶(hù)標(biāo)簽進(jìn)行聚類(lèi)。實(shí)驗(yàn)結(jié)果表明該算法能夠得到更加精確的聚類(lèi)結(jié)果。最后將該算法應(yīng)用于中國(guó)科學(xué)技術(shù)大學(xué)《圖書(shū)館交互式科研管理平臺(tái)》證明該算法的實(shí)用性。
　　 ⑵另一方面，在搜索引擎中，后臺(tái)日志會(huì)記錄用戶(hù)輸入的查詢(xún)?cè)~和點(diǎn)擊的URL，作為用

4、戶(hù)與搜索引擎的交互信息。通過(guò)挖掘搜索引擎日志中的用戶(hù)行為，可以發(fā)現(xiàn)用戶(hù)的行為規(guī)律，收集統(tǒng)計(jì)信息，進(jìn)而用來(lái)改善搜索引擎返回結(jié)果的排序。但是由于搜索引擎中日志記錄數(shù)據(jù)海量的特性，傳統(tǒng)的聚類(lèi)算法無(wú)法適用在搜索引擎用戶(hù)行為分析中。針對(duì)此問(wèn)題，本文對(duì)搜索引擎中的用戶(hù)行為采用三部圖模型建模，利用特征向量來(lái)表征用戶(hù)輸入的查詢(xún)?cè)~，并提出一種基于倒排表查詢(xún)和MapReduce的分布式K-Means聚類(lèi)算法，實(shí)驗(yàn)證明該算法能夠應(yīng)對(duì)海量用戶(hù)查詢(xún)?cè)~聚類(lèi)的問(wèn)題，