Web挖掘中的XML文檔聚類研究.pdf

1、信息技術(shù)的快速發(fā)展促使Web上的數(shù)據(jù)爆炸式的增長(zhǎng)，如何從海量的Web數(shù)據(jù)中高效準(zhǔn)確的獲得想要的知識(shí)成為熱門的研究課題。Web挖掘就是從Web信息中獲取潛在的、有價(jià)值的知識(shí)或模式的過(guò)程，分類、聚類、特征選擇等作為Web挖掘的主要技術(shù)已經(jīng)得到長(zhǎng)足的發(fā)展。聚類分析在Web挖掘中占有重要的地位，所謂聚類就是按照某種相似性度量，根據(jù)一定的準(zhǔn)則將一個(gè)對(duì)象集合成若干類，使得同類對(duì)象之間盡可能的相似，不同類對(duì)象之間盡可能的相異。聚類作為Web挖掘的預(yù)處

2、理階段可以通過(guò)分類數(shù)據(jù)來(lái)提高挖掘的效率和精確率。 Web頁(yè)面多數(shù)以HTML文本的形式存在，但隨著Web數(shù)據(jù)的多樣化和復(fù)雜化，HTML文檔已經(jīng)滿足不了信息處理和信息交換的要求。XML是由W3C提出的標(biāo)準(zhǔn)，由于靈活性、開(kāi)放性和自描述性等特點(diǎn)，逐漸成為Web上主流數(shù)據(jù)格式和交換標(biāo)準(zhǔn)。因此XML聚類研究具有重要的意義。 本文對(duì)XML聚類進(jìn)行了系統(tǒng)的分析和研究，針對(duì)XML特性提出了一種能夠包含語(yǔ)義的特征提取方法，在此基礎(chǔ)上提出一些

3、改進(jìn)的聚類算法，并在真實(shí)文檔集和人工文檔集上進(jìn)行了聚類實(shí)驗(yàn)。 本文工作和創(chuàng)新如下： 首先本文對(duì)文檔聚類的聚類算法和XML相關(guān)規(guī)范進(jìn)行了總結(jié)分析，指出了目前文檔聚類領(lǐng)域常用聚類算法的不足。 接著重點(diǎn)研究了XML文檔聚類的關(guān)鍵問(wèn)題-文檔相似性度量方法，分析了經(jīng)典編輯距離法和基于邊集的XML文檔相似度測(cè)度方法，在分析了空間向量模型的基礎(chǔ)上提出了標(biāo)簽與路徑相結(jié)合的XML文檔向量模型，根據(jù)文檔樹的層次賦予向量特征一定的權(quán)值

4、，能夠表達(dá)XML元素嵌套的語(yǔ)義信息，通過(guò)在示例文檔上計(jì)算相似度與編輯距離法和基于邊集的方法等相似度度量方法進(jìn)行了比較，計(jì)算結(jié)果證明此方法對(duì)難分文檔具有更好的區(qū)分能力。 機(jī)器學(xué)習(xí)技術(shù)是Web挖掘的重要技術(shù)支撐，其中集成學(xué)習(xí)和半監(jiān)督學(xué)習(xí)是機(jī)器學(xué)習(xí)近幾年新興崛起的技術(shù)，大量研究和實(shí)驗(yàn)已經(jīng)證明集成學(xué)習(xí)和半監(jiān)督學(xué)習(xí)可以改進(jìn)聚類和分類的性能。 本文基于集成學(xué)習(xí)和半監(jiān)督學(xué)習(xí)對(duì)傳統(tǒng)聚類算法進(jìn)行了改進(jìn)，針對(duì)傳統(tǒng)單一的劃分聚類算法和層次聚類

5、算法的弱點(diǎn)，提出了一種基于Bagging的集成聚類算法，在基聚類器生成階段使用bootstrap抽樣產(chǎn)生原始文檔集的多個(gè)子集，在文檔子集上基于加權(quán)的標(biāo)簽和路徑特征向量運(yùn)行劃分聚類算法，然后使用聚類共識(shí)率來(lái)刪除低質(zhì)量的聚類中心，在生成的聚類中心集合上進(jìn)行層次聚類得到最終的結(jié)果。 由于集成聚類的計(jì)算復(fù)雜度較高，本文對(duì)提出的集成聚類算法進(jìn)行了改進(jìn)，提出一種基于半監(jiān)督學(xué)習(xí)的聚類算法，使用適當(dāng)暫停的模糊劃分聚類FCM算法來(lái)抽樣原始文檔集，