Web文本挖掘中的文本分類研究.pdf

1、隨著Internet網(wǎng)絡(luò)的高速發(fā)展，信息爆炸時(shí)代也隨之到來(lái)。由于Internet的開放性、動(dòng)態(tài)性、異構(gòu)性使得用戶很難快速、準(zhǔn)確的從WWW上獲取所需的信息，因此如何有效的從網(wǎng)絡(luò)上獲取有價(jià)值的信息成為當(dāng)前研究的熱點(diǎn)。Web文本挖掘技術(shù)就是解決上述問題的一種方法，它借鑒數(shù)據(jù)挖掘的基本思想和理論方法，從大量半結(jié)構(gòu)化、異構(gòu)的Web文檔的集合中發(fā)現(xiàn)潛在的、有價(jià)值的知識(shí)。 文本分類技術(shù)是Web文本挖掘中一項(xiàng)最重要的技術(shù)，隨著中文網(wǎng)頁(yè)數(shù)量的急劇

2、增加，中文文本分類也逐漸成為了Web挖掘研究的熱點(diǎn)，它的關(guān)鍵技術(shù)包括文本分詞、文本表示、文本預(yù)處理、特征選擇以及分類算法，其中特征選擇的好壞對(duì)文本分類的訓(xùn)練時(shí)間、分類的準(zhǔn)確率都有顯著的影響；TFIDF特征選擇是文本分類中使用較普遍而且比較有效的方法，但存在不足，如沒有考慮詞條文檔在分類系統(tǒng)中的分布。本文對(duì)傳統(tǒng)的TFIDF特征選擇算法進(jìn)行了簡(jiǎn)單介紹和分析，并對(duì)TFIDF方法利用詞條信息熵進(jìn)行改進(jìn)，提出了一種新的基于TFIDF的特征選擇算法

3、。而且通過實(shí)驗(yàn)對(duì)傳統(tǒng)的TFIDF方法和本文改進(jìn)后的方法進(jìn)行了比較，證明本文提出的方法有更好的查全率和查準(zhǔn)率。 Web文本分類的方法較多，常用的如：最近鄰分類、貝葉斯分類、決策樹、支持向量機(jī)、向量空間模型、回歸模型和神經(jīng)網(wǎng)絡(luò)等。但傳統(tǒng)的分類方法存在著不足，當(dāng)前Web文本分類的方法大都將網(wǎng)頁(yè)歸屬到某一特定類中，而許多網(wǎng)頁(yè)包含多個(gè)主題，應(yīng)該有多個(gè)歸屬類。本文還提出了一種基于向量空間模型的多主題Web分類方法，該方法通過網(wǎng)頁(yè)與每個(gè)類的相