基于鏈路層數(shù)據(jù)的中文信息智能過濾系統(tǒng)研究.pdf

1、通過對(duì)網(wǎng)上不良信息的格式，傳送形式及信息過濾技術(shù)的深入研究，分析了傳統(tǒng)過濾系統(tǒng)的弊端及在過濾系統(tǒng)中增加中文策略的可行性與必要性，實(shí)現(xiàn)了一個(gè)基于鏈路層數(shù)據(jù)的中文信息智能過濾系統(tǒng)。系統(tǒng)工作在數(shù)據(jù)鏈路層，對(duì)鏈路層數(shù)據(jù)進(jìn)行拷貝式收集，經(jīng)過包解碼，IP分片重組，TCP會(huì)話還原及應(yīng)用層協(xié)議分析等操作，將信息還原成明文并轉(zhuǎn)換成文本形式?？紤]網(wǎng)上不良信息經(jīng)常夾雜特定分隔符號(hào)的特點(diǎn)，采用改進(jìn)的逆向最大匹配的中文分詞算法，并在分詞算法中引入了回溯機(jī)制和ф<

2、'2>統(tǒng)計(jì)量的方法部分解決了由于分詞詞庫不完備而出現(xiàn)的歧義和錯(cuò)誤。將遺傳理論引入信息智能識(shí)別領(lǐng)域，使用向量空間模型表示文本信息，配合貝葉斯學(xué)習(xí)方法完成特征向量權(quán)重分配，將信息識(shí)別轉(zhuǎn)化為計(jì)算兩個(gè)特征向量的夾角，從而用純數(shù)學(xué)方法代替了人類特有的思維功能。使用用戶反饋參與遺傳演化的方法，使種群中每個(gè)個(gè)體都可以從用戶的每次反饋中進(jìn)行自適應(yīng)學(xué)習(xí)，可以較好地適應(yīng)用戶興趣的變化，使傳統(tǒng)遺傳靜態(tài)演化變成了動(dòng)態(tài)優(yōu)化。利用貝葉斯決策方法來決定未知類型的信息