基于文本聚類的網(wǎng)頁消重算法研究.pdf

1、隨著網(wǎng)絡(luò)技術(shù)的迅速發(fā)展和互聯(lián)網(wǎng)規(guī)模的不斷擴(kuò)大，互聯(lián)網(wǎng)已經(jīng)成為了全球最大、最廣泛使用的信息庫，人們能夠獲得的信息資源也同益豐富。網(wǎng)絡(luò)信息的指數(shù)級(jí)膨脹給信息檢索帶來了巨大的困難，并且網(wǎng)絡(luò)信息的易復(fù)制性使得網(wǎng)絡(luò)中存在大量的重復(fù)信息，因此，發(fā)現(xiàn)并消除重復(fù)信息的研究工作具有重要意義。 本文首先對(duì)傳統(tǒng)的文本聚類方法和網(wǎng)頁消重方法進(jìn)行了研究，總結(jié)了它們各自的優(yōu)缺點(diǎn)。并結(jié)合兩種聚類算法的優(yōu)點(diǎn)，提出Bisecting Kmeans++聚類算法，通

2、過UCI數(shù)據(jù)集的測(cè)試評(píng)估，驗(yàn)證了它在聚類的最大凝聚度，正確率以及時(shí)間開銷方面都比較理想。 然后，本文通過Tidy將Web文檔轉(zhuǎn)換為格式良好的HTML文檔，并利用DOM解析成樹狀結(jié)構(gòu)。由于網(wǎng)頁數(shù)據(jù)存在噪音的特點(diǎn)，文中提出最大正文塊算法用于特定網(wǎng)頁集合的噪聲去除和正文塊發(fā)現(xiàn)，并驗(yàn)證了它的可行性。并在經(jīng)過最大正文塊去噪后的網(wǎng)頁集合對(duì)Bisecting Kmeans++算法和前N項(xiàng)高頻詞MD5值算法進(jìn)行比對(duì)實(shí)驗(yàn)，發(fā)現(xiàn)它在查準(zhǔn)率和查全率上