基于關(guān)鍵詞匹配的網(wǎng)頁(yè)文本過(guò)濾算法的研究和實(shí)現(xiàn).pdf

1、在互聯(lián)網(wǎng)提供的海量、龐雜的信息中，不良信息以不同的表現(xiàn)形式，從不同的角度對(duì)不同人群造成毒害或干擾。因此，對(duì)網(wǎng)絡(luò)訪問(wèn)進(jìn)行必要的、有效的內(nèi)容過(guò)濾是營(yíng)造健康、安全網(wǎng)絡(luò)環(huán)境的重要環(huán)節(jié)。基于互聯(lián)網(wǎng)的不良信息濾技術(shù)就是在這種情況下誕生的。互聯(lián)網(wǎng)信息過(guò)濾(Information Filtering)是指從海量的Web文本中識(shí)別出含有不良信息的非法文本，以將其屏蔽。目前它已成為信息過(guò)濾的一個(gè)新的研究領(lǐng)域。
　　文本是當(dāng)前Internet上信息最主

2、要的表現(xiàn)形式，中文文本過(guò)濾的相關(guān)技術(shù)是本文的研究重點(diǎn)。本文在對(duì)信息過(guò)濾系統(tǒng)的體系結(jié)構(gòu)和文本過(guò)濾的原型進(jìn)行研究的基礎(chǔ)上，給出了一個(gè)基于向量空間模型的文本過(guò)濾邏輯模型。
　　中文文本的特征項(xiàng)抽取和表示是中文文本過(guò)濾基礎(chǔ)。獲取中文文本的表示需經(jīng)過(guò)分詞、停用詞處理、特征項(xiàng)抽取和特征項(xiàng)權(quán)重計(jì)算等過(guò)程，本文對(duì)這幾個(gè)過(guò)程進(jìn)行了詳細(xì)的研究并提出了一種基于TF*IDF的特征項(xiàng)權(quán)重計(jì)算方法。
　　用戶信息需求模型（User Profile）是文

3、本過(guò)濾的依據(jù)，本文探討了獲取用戶信息需求的方式和方法，給出了向量空間模型下用戶模板的表示方法，并對(duì)用反饋技術(shù)對(duì)需求模板進(jìn)行優(yōu)化進(jìn)行了討論。
　　代理服務(wù)器在Intranet管理中具有重要作用。本文基于HTTP代理服務(wù)器在應(yīng)用層實(shí)現(xiàn)了對(duì) Web頁(yè)內(nèi)容的內(nèi)容過(guò)濾。并且，通過(guò)將客戶機(jī)成功訪問(wèn)過(guò)的網(wǎng)頁(yè)內(nèi)容存儲(chǔ)在代理服務(wù)器端，實(shí)現(xiàn)了Web頁(yè)訪問(wèn)的內(nèi)容重現(xiàn)。
　　本文在對(duì)多種信息過(guò)濾方法進(jìn)行分析研究及初步評(píng)估的基礎(chǔ)上，為提高系統(tǒng)過(guò)濾不良