基于URL分類庫的網(wǎng)頁分類系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn).pdf

1、互聯(lián)網(wǎng)技術(shù)的迅猛發(fā)展，推動(dòng)了網(wǎng)絡(luò)信息的爆炸式增長。它容納了海量的各種類型的數(shù)字化信息，包括文本、圖形、圖像、聲音甚至視頻。這些信息大都是半結(jié)構(gòu)化或非結(jié)構(gòu)化的數(shù)據(jù)，因此，如何在浩瀚而又蕪雜的網(wǎng)絡(luò)信息海洋中迅速有效地獲得所需的信息是信息處理的一大目標(biāo)?；谌斯ぶ悄芗夹g(shù)的網(wǎng)頁分類系統(tǒng)能依據(jù)網(wǎng)頁的文本內(nèi)容的語義將大量的網(wǎng)頁自動(dòng)分門別類，可以大大縮短在線文檔的整理時(shí)間，從而更好地幫助人們把握所需信息。近年來，網(wǎng)頁分類技術(shù)也逐漸與搜索引擎、信息推送

2、、信息過濾等信息處理技術(shù)相結(jié)合，有效地提高了信息服務(wù)的質(zhì)量。
　　 對(duì)網(wǎng)頁分類所涉及到的關(guān)鍵技術(shù)，包括分類有效信息抽取、中文分詞、維數(shù)約簡、文本表示模型、分類算法以及分類評(píng)價(jià)標(biāo)準(zhǔn)等進(jìn)行了全面的介紹及深入的研究和探討。通過分析向量空間分類模型對(duì)訓(xùn)練集依賴程度過大，結(jié)合系統(tǒng)應(yīng)用環(huán)境的特殊性，給出了利用網(wǎng)頁搜集器搭建URL分類庫與向量空間分類模型結(jié)合的方法。削弱了訓(xùn)練集對(duì)分類器的約束力，提高了分類系統(tǒng)的覆蓋率和準(zhǔn)確度。并對(duì)結(jié)果進(jìn)行了實(shí)