Web中文文本聚類研究.pdf

1、隨著互聯(lián)網(wǎng)的普及，網(wǎng)頁(yè)上的文本信息呈現(xiàn)出爆炸式增長(zhǎng)的趨勢(shì)。如何索引，檢索，管理，挖掘網(wǎng)頁(yè)上的海量文本信息已經(jīng)成為計(jì)算科學(xué)領(lǐng)域所面臨的一個(gè)巨大挑戰(zhàn)。文本聚類技術(shù)的出現(xiàn)為海量文本信息的分類管理及可視化提供了一條有效的途徑。文本聚類技術(shù)作為一種無(wú)監(jiān)督的機(jī)器學(xué)習(xí)方法，近年來在信息檢索、多文本自動(dòng)摘要等互聯(lián)網(wǎng)領(lǐng)域獲得了廣泛的應(yīng)用。
　　 本文的討論對(duì)象是中文網(wǎng)頁(yè)的文本聚類，在查閱了國(guó)內(nèi)外的已有的學(xué)術(shù)成果以及最新的研究發(fā)現(xiàn)的基礎(chǔ)上，較深入地

2、研究其在兩種典型場(chǎng)景中的應(yīng)用：(1)新聞門戶網(wǎng)站中的海量文本數(shù)目的中文文本聚類；(2)中文搜索引擎返回結(jié)果等場(chǎng)景中的實(shí)時(shí)聚類。
　　 在第一個(gè)場(chǎng)景中，本文在MapReduce這個(gè)分布式并行計(jì)算框架上設(shè)計(jì)了文本聚類相關(guān)的一系列分布式改進(jìn)算法。在文本預(yù)處理階段，為了評(píng)價(jià)某一詞語(yǔ)對(duì)文本集中某一文本的重要程度，本文在MapReduce上設(shè)計(jì)實(shí)現(xiàn)了一個(gè)計(jì)算詞語(yǔ)tfidf權(quán)重的新的迭代算法。在文本聚類階段，先采用一個(gè)粗略的距離度量把文本集合

3、中的各個(gè)文本劃分到了可重疊的子集里。然后又在上一步聚類的基礎(chǔ)上進(jìn)一步設(shè)計(jì)了分布式的K-平均文本聚類算法，這一步采用的文本間距離度量比較精確，但算法復(fù)雜度也相當(dāng)較高。最后，利用上面在MapReduce平臺(tái)上給出的一系列新的改進(jìn)算法，實(shí)現(xiàn)了一個(gè)分布式中文文本聚類的系統(tǒng)，該系統(tǒng)能高效而穩(wěn)定的運(yùn)行海量文本聚類任務(wù)。在實(shí)際中文語(yǔ)料上的實(shí)驗(yàn)顯示，本文提出的方法能有效應(yīng)對(duì)大文本集的聚類問題，在一定范圍內(nèi)文本數(shù)大小和聚類時(shí)間成線性關(guān)系，并取得了比較滿意

4、的聚類質(zhì)量。
　　 在第二個(gè)場(chǎng)景中，本文結(jié)合向量空間模型的權(quán)重計(jì)算，提出了一個(gè)基于后綴樹的針對(duì)中文文本片段進(jìn)行聚類的方法。首先在文本預(yù)處理階段，利用中文分詞工具對(duì)中文文本片段集中的每一句挑選出有意義的詞語(yǔ)(一般是動(dòng)詞或名詞)。在用線性算法構(gòu)建中文后綴樹之后，過濾掉具有太高文檔頻率的節(jié)點(diǎn)(短語(yǔ))，并且利用本文所提出的一個(gè)公式計(jì)算節(jié)點(diǎn)(短語(yǔ))的得分，選擇得分高的短語(yǔ)作為最終的文本特征。然后利用文本特征重新定義了中文文本片段之間的相似