數(shù)據(jù)挖掘在Internet有害信息過濾中的應(yīng)用.pdf

1、近年來，我國互聯(lián)網(wǎng)發(fā)展迅速，對于促進(jìn)經(jīng)濟(jì)發(fā)展和社會(huì)進(jìn)步、提高全民族科學(xué)文化素質(zhì)、加強(qiáng)社會(huì)主義精神文明建設(shè)，起到了重要作用。但與此同時(shí)，互聯(lián)網(wǎng)信息內(nèi)容的安全管理工作也面臨著一些新的情況和問題，境內(nèi)外敵對勢力和一些不法分子，利用互聯(lián)網(wǎng)進(jìn)行各種違法犯罪活動(dòng)問題突出，各種反動(dòng)、淫穢、迷信、暴力等有害信息在互聯(lián)網(wǎng)上的傳播，嚴(yán)重地危害了國家安全和社會(huì)穩(wěn)定，影響了社會(huì)主義精神文明建設(shè)，對青少年的身心健康造成極大傷害，廣大人民群眾和社會(huì)各界反應(yīng)強(qiáng)烈。

2、 據(jù)中國互聯(lián)網(wǎng)信息中心(CNNIC)發(fā)布的“第十六次互聯(lián)網(wǎng)發(fā)展?fàn)顩r統(tǒng)計(jì)報(bào)告”顯示，截止2005年6月30日，我國上網(wǎng)用戶總?cè)藬?shù)已經(jīng)達(dá)到10300萬人，網(wǎng)站總數(shù)達(dá)到677500個(gè)。面對如此眾多的網(wǎng)站，傳統(tǒng)的通過人工瀏覽來進(jìn)行內(nèi)容核查的方式，不僅需要大量的人力和財(cái)力，也難以在有限的時(shí)間內(nèi)發(fā)現(xiàn)網(wǎng)絡(luò)上出現(xiàn)的特定內(nèi)容。因此有必要研制一種計(jì)算機(jī)軟件來幫助人們自動(dòng)搜集網(wǎng)絡(luò)信息、分析信息的內(nèi)容，從而為人工甄別提供便捷有效的技術(shù)手段。 本文

3、對網(wǎng)絡(luò)信息挖掘、文本挖掘、搜索引擎的工作機(jī)理以及WebBrowser、Mshtml組件進(jìn)行了深入研究，在此基礎(chǔ)上，設(shè)訃并實(shí)現(xiàn)了一整套互聯(lián)網(wǎng)有害信息搜索采集系統(tǒng)(ASystemforSearchingandCollectingHarmfulMessagesintheInternet)，所做的主要工作包括： 1、對數(shù)據(jù)挖掘、網(wǎng)絡(luò)信息挖掘、文本挖掘技術(shù)進(jìn)行了分析，提出了如何在BBS、聊天室等交互式欄目中進(jìn)行特征提取，關(guān)鍵詞搜索的方法。

4、 2、分析了網(wǎng)頁的結(jié)構(gòu)和BBS的構(gòu)成，通過設(shè)置網(wǎng)頁的搜索策略和采用深度優(yōu)先搜索算法，完成了對網(wǎng)站和BBS的整站搜索。 3、分析了IE的體系結(jié)構(gòu)和WebBrowser、Mshtml組件的基本功能，對聊天室頁面結(jié)構(gòu)進(jìn)行HTML元素分析，實(shí)現(xiàn)了聊天室的自動(dòng)登陸和對聊天信息的動(dòng)態(tài)監(jiān)控。 4、探討了網(wǎng)絡(luò)搜索引擎的工作原理和檢索模型，通過分析Google、Baidu等搜索引擎的輸出結(jié)果特征，獲得了搜索引擎搜索數(shù)據(jù)的通用代碼。