基于Nutch的網(wǎng)頁自動分類與推薦的研究.pdf

1、網(wǎng)頁分類技術(shù)和推薦系統(tǒng)是目前解決信息負載的兩種有效手段。網(wǎng)頁分類技術(shù)目前主要是應(yīng)用于門戶網(wǎng)站，例如新浪、搜狐、58同城等等，推薦系統(tǒng)目前主要的應(yīng)用場所是電商網(wǎng)站。二者對于信息的快速定位都具有各自的優(yōu)勢，網(wǎng)頁分類技術(shù)可以給用戶一個對于信息更直觀的導(dǎo)航；對于推薦系統(tǒng)這種手段而言，它要迅速的創(chuàng)建針對每一個用戶的興趣模型，自動為用戶推薦出大概會想瀏覽的網(wǎng)頁。基于二者上述的優(yōu)點，網(wǎng)頁分類和推薦系統(tǒng)在當(dāng)下互聯(lián)網(wǎng)快速發(fā)展的階段都占據(jù)了重要的位置。

2、r>　　本文提出了一種基于主題的網(wǎng)頁自動分類的模型，并且將分類系統(tǒng)與推薦系統(tǒng)結(jié)合，開發(fā)出了一套便于用戶快速發(fā)現(xiàn)自己喜好信息的系統(tǒng)。首先通過研究Nutch，抽取出了其中爬蟲部分，設(shè)計出了針對專門領(lǐng)域的主題爬蟲，同時加入了主題去噪，這一模型大大過濾了無關(guān)網(wǎng)頁，采集的網(wǎng)頁的有效性大大加強；針對網(wǎng)頁的特殊結(jié)構(gòu)，對網(wǎng)頁錨文本、標(biāo)題、正文分別賦予不同權(quán)重，改進了KNN算法并且設(shè)計了相應(yīng)的KNN分類器；系統(tǒng)通過機器學(xué)習(xí)，自動為網(wǎng)頁賦標(biāo)簽，網(wǎng)頁與網(wǎng)頁之

3、間通過標(biāo)簽確定二者相似度，然后通過建立用戶興趣模型，進行基于用戶興趣的網(wǎng)頁推薦。
　　系統(tǒng)的分類部分的實驗驗證了以主題爬蟲和主題去噪為基礎(chǔ)的基于主題的網(wǎng)頁自動分類模型對于網(wǎng)頁分類的準(zhǔn)確度、分類效率方面有較大的提高；網(wǎng)頁自動分類結(jié)果顯示改進的分類算法設(shè)計出的分類器更加適合針對于網(wǎng)頁的分類，相較于直接使用文本分類算法有顯著的分類準(zhǔn)確度提高；另外，網(wǎng)頁分類系統(tǒng)和網(wǎng)頁推薦系統(tǒng)的結(jié)合，對于用戶定位自己感興趣的網(wǎng)頁提供了極大的方便，縮短了用戶