WEB文本自動(dòng)分類的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著網(wǎng)絡(luò)技術(shù)的迅速發(fā)展，人們從Web上可以獲得的信息資源越來越多，涉及到社會(huì)生活的各個(gè)方面。Web文本分類技術(shù)的產(chǎn)生在網(wǎng)絡(luò)信息檢索中起到舉足輕重的作用。處理海量數(shù)據(jù)涉及到數(shù)據(jù)挖掘和數(shù)據(jù)庫中的知識(shí)，因此Web挖掘技術(shù)和Web信息檢索技術(shù)得到迅速發(fā)展。而文本分類對(duì)于搜索引擎的發(fā)展也起著至關(guān)重要的作用，因此，本論文著重討論了文本分類的方法，促進(jìn)現(xiàn)代信息產(chǎn)業(yè)發(fā)展。
　　 本文對(duì)Web文本自動(dòng)分類中所涉及的各項(xiàng)技術(shù)進(jìn)行了全面的論述，并對(duì)關(guān)

2、鍵技術(shù)進(jìn)行了深入的研究。對(duì)現(xiàn)有的多種中文分詞方法進(jìn)行深入分析，并針對(duì)基于統(tǒng)計(jì)的分詞算法提出了一種改進(jìn)的分詞算法，采用一種插值估計(jì)方法來解決數(shù)據(jù)稀疏問題，通過開放測(cè)試與封閉測(cè)試結(jié)果分析，可得到高召回率的粗分結(jié)果。在對(duì)特征提取方法進(jìn)行深入研究的基礎(chǔ)上，設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)基于支持向量機(jī)的Web文本分類系統(tǒng)。該系統(tǒng)可以在監(jiān)督學(xué)習(xí)下，通過訓(xùn)練集和測(cè)試集對(duì)分類器進(jìn)行訓(xùn)練和測(cè)試。通過實(shí)驗(yàn)結(jié)果可知，該系統(tǒng)的查準(zhǔn)率、查全率和F測(cè)度值等指標(biāo)總體上的平均值都較