WEB文本挖掘系統(tǒng).pdf

1、互聯(lián)網(wǎng)的迅速發(fā)展導(dǎo)致網(wǎng)上信息飛速增長(zhǎng)，形成了我們不能忽視“信息爆炸”的問(wèn)題——信息極大豐富卻導(dǎo)致知識(shí)的難以查詢。目前，WEB已經(jīng)發(fā)展成為擁有3億頁(yè)面的分布式信息空間，而在這些異質(zhì)的3億WEB頁(yè)面的資源中，蘊(yùn)含著大量的人們迫切需要的知識(shí)。本文針對(duì)網(wǎng)頁(yè)采集、網(wǎng)頁(yè)凈化、獲取文檔特征量、WEB文本聚類這幾部分內(nèi)容，進(jìn)行了深入的研究，完成了以下工作： (1)介紹了網(wǎng)頁(yè)采集的基本原理，研究并且比較了目前常用的幾種網(wǎng)絡(luò)信息采集算法。

2、(2)為了有效對(duì)網(wǎng)絡(luò)信息進(jìn)行處理，必須對(duì)采集進(jìn)來(lái)的網(wǎng)頁(yè)進(jìn)行凈化，本文介紹了網(wǎng)頁(yè)凈化基本原理，研究分析了各種網(wǎng)頁(yè)凈化方法。 (3)提出了一種新的網(wǎng)頁(yè)凈化算法——基于dom樹的網(wǎng)頁(yè)凈化算法。該算法通過(guò)比較同一網(wǎng)站網(wǎng)頁(yè)的dom樹來(lái)凈化網(wǎng)頁(yè)。 (4)研究比較了國(guó)內(nèi)當(dāng)前比較流行的中文分詞算法，比如基于字典詞庫(kù)匹配的分詞方法、基于詞的頻度統(tǒng)計(jì)的分詞方法、基于知識(shí)理解的分詞方法。 (5)介紹了如何通過(guò)向量空間模型建立WEB文檔