網(wǎng)頁(yè)文本分類及其在搜索引擎中的應(yīng)用.pdf

1、網(wǎng)頁(yè)自動(dòng)文本分類是處理和組織大規(guī)模網(wǎng)絡(luò)文本信息的關(guān)鍵技術(shù),是使信息資源得以合理有效組織的重要方法,同時(shí)也是解決主題搜索、個(gè)性化信息檢索、搜索引擎的目錄導(dǎo)航、信息過(guò)濾中相關(guān)問(wèn)題的核心技術(shù)。研究網(wǎng)頁(yè)自動(dòng)文本分類對(duì)于解決人們?nèi)绾斡行Й@取有效網(wǎng)絡(luò)信息,研究新一代搜索引擎有著重要意義。 本文研究了網(wǎng)頁(yè)文本分類及其在搜索引擎應(yīng)用,主要工作如下： 1.網(wǎng)頁(yè)文本分類相關(guān)技術(shù)的研究：包括特征選擇,特征抽取,分類算法,網(wǎng)頁(yè)處理等,在此基礎(chǔ)上

2、設(shè)計(jì)并實(shí)現(xiàn)一個(gè)網(wǎng)頁(yè)文本分類子系統(tǒng),對(duì)網(wǎng)頁(yè)分類各種技術(shù)進(jìn)行整合,使其具有良好的框架和可擴(kuò)展性。 2.提出了一種基于集成學(xué)習(xí)與類指示器的文本分類方法,該方法利用AdaBoost.MH算法框架,在每一輪次中,自適應(yīng)地計(jì)算類指示器,通過(guò)加權(quán)組合所有成員類指示器,獲得對(duì)理想類指示器的一種逼近。利用最終的類指示器所得到的分類器不僅簡(jiǎn)單易于更新,而且泛化能力強(qiáng)。 3.將集成學(xué)習(xí)方法與推拉策略結(jié)合來(lái)修正中心法的分類器偏差,基于AdaBo

3、ost.MR方法,通過(guò)利用其自適應(yīng)維護(hù)權(quán)重分布的特點(diǎn),用每輪的權(quán)重分布,修正傳統(tǒng)中心法分類器偏差,突出被誤分類的文檔的影響,降低其誤分類概率。 4.開(kāi)展文本分類中特征抽取的研究,論述了應(yīng)用詞條聚合進(jìn)行文本分類的特征抽取的基本思想與意義,設(shè)計(jì)了一種具體方案,利用改進(jìn)的TGSOM進(jìn)行詞條聚合,并根據(jù)聚合特征的特點(diǎn),提出了一種新的權(quán)重計(jì)算方法。 5.將文本分類用于主題爬蟲(chóng)：探討了主題爬蟲(chóng)的基本問(wèn)題,主要包括主題模型,網(wǎng)頁(yè)優(yōu)先級(jí)