維文網(wǎng)絡(luò)中不良文本信息檢索、監(jiān)控系統(tǒng)的研究.pdf

1、隨著intemet使用的日益普遍，網(wǎng)絡(luò)上存在的各種不良信息(色情、反動(dòng)、暴力等等)越來越多地干擾著互聯(lián)網(wǎng)的正常秩序。由于缺乏傳統(tǒng)媒體對(duì)信息發(fā)布的有效監(jiān)控，大量本應(yīng)受到嚴(yán)格管制的信息因而隨之泛濫。如何有效控制這些信息的傳播，并保障網(wǎng)絡(luò)的內(nèi)容安全，成為不良信息檢索、監(jiān)控研究的主要內(nèi)容之一。 本文主要針對(duì)維文網(wǎng)頁信息，通過研究維吾爾語的特點(diǎn)和Web信息檢索技術(shù)的思想，討論了維文網(wǎng)絡(luò)中不良文本信息檢索、監(jiān)控系統(tǒng)。 本文首先分析了

2、，deb信息檢索的主要理論基礎(chǔ)和關(guān)鍵技術(shù)，然后利用Spider信息采集技術(shù)，實(shí)現(xiàn)了信息檢索的源信息采集;根據(jù)維吾爾語詞的特點(diǎn)，利用詞干表查找的維文詞干提取算法和結(jié)合模式的維文詞語組合算法，對(duì)維文網(wǎng)頁文本進(jìn)行詞特征表示;采用向量空間模型實(shí)現(xiàn)文本信息的結(jié)構(gòu)化表達(dá);使用聚類分析法，對(duì)結(jié)構(gòu)化文本信息進(jìn)行聚類，得到文本分類結(jié)果。最后，將聚類結(jié)果應(yīng)用于維文網(wǎng)絡(luò)中不良文本信息檢索、監(jiān)控中，使得檢索更為準(zhǔn)確和容易，解決網(wǎng)絡(luò)中存在的不良信息的問題。