大規(guī)模Web信息抽取與文本分類研究.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的迅速普及，Web平臺已經(jīng)發(fā)展成為一個巨大的信息共享空間，如何高效的從此平臺中抽取信息已經(jīng)成為一個亟待解決的問題；與此同時，在這些信息中文本類信息占據(jù)著極其重要的地位，而Web文本信息的結(jié)構(gòu)特點與內(nèi)容特點給傳統(tǒng)的文本分類方法帶來了新的挑戰(zhàn)。針對以上情況，本文對大規(guī)模數(shù)據(jù)環(huán)境下的Web信息抽取以及Web文本分類進行了研究，主要工作如下：
　　首先，從Web信息抽取角度出發(fā)，提出一種基于DOM樹節(jié)點屬性與視覺特征的大規(guī)模

2、Web信息抽取方法。該方法主要包含以下三個模塊：（1）提出剪枝與融合方法，對Web頁面對應(yīng)的DOM樹進行簡化操作；（2）定義DOM樹節(jié)點的密度屬性和內(nèi)容塊的視覺特征，根據(jù)屬性值與特征值對Web頁面內(nèi)容進行抽??；（3）引入MapReduce計算框架，對上述方法進行并行化處理，實現(xiàn)大規(guī)模Web信息的抽取。實驗結(jié)果表明該方法是高效且可行的。
　　其次，從Web文本分類角度出發(fā)，提出一種面向大規(guī)模文本類Web信息的分類方法。該方法主要包含

3、以下三個模塊：（1）針對Web長文本提出一種基于復(fù)雜網(wǎng)絡(luò)的特征選擇方法，網(wǎng)絡(luò)中的節(jié)點對應(yīng)于文本中的詞條，網(wǎng)絡(luò)中的邊對應(yīng)于詞條之間的關(guān)聯(lián)，通過節(jié)點的度與聚集系數(shù)來衡量對應(yīng)詞條的重要性從而選擇特征詞；（2）對于Web長文本，提出基于 kNN的SVM決策樹分類方法；（3）對于Web短文本，通過構(gòu)建長文本各類別的主題詞集合來引導(dǎo)短文本的分類，將短文本的歸類問題轉(zhuǎn)化為基于主題的一次檢索問題。實驗結(jié)果表明該方法在處理大規(guī)模Web文本時表現(xiàn)出了較好的