基于向量空間模型與規(guī)則匹配相結(jié)合的文本層次分類系統(tǒng)的研究.pdf

1、隨著網(wǎng)絡(luò)的普及與發(fā)展，數(shù)字化電子類信息資源極大的豐富和流通。對(duì)Internet上海量信息的有效組織和處理是網(wǎng)絡(luò)時(shí)代所面臨的巨大挑戰(zhàn)。分門(mén)別類地對(duì)其進(jìn)行自動(dòng)分類，是當(dāng)前圖書(shū)情報(bào)及計(jì)算機(jī)界研究的熱點(diǎn)。在這一領(lǐng)域，人們已經(jīng)進(jìn)行了大量的研究。但較為實(shí)用且可行的系統(tǒng)卻不多。為此本系統(tǒng)研究了對(duì)海量數(shù)字資源進(jìn)行特征抽取、表示、分類的方法和相關(guān)技術(shù)，為數(shù)字資源的自動(dòng)化處理提供可參考的依據(jù)和可行的方案。 在該分類系統(tǒng)的構(gòu)建過(guò)程中，本系統(tǒng)著重從以下

2、幾方面進(jìn)行系統(tǒng)開(kāi)發(fā)：探索有效的特征抽取與選擇方法，找出其權(quán)值表示模式，尤其是關(guān)鍵詞詞表的構(gòu)造與維護(hù)。在統(tǒng)計(jì)與規(guī)則兩類不同分類方法中找到其切合點(diǎn)，探索如何將兩種方法進(jìn)行結(jié)合，發(fā)揮其各自的優(yōu)點(diǎn)，提升分類器的效率和準(zhǔn)確性。探索線性分類與層次分類的區(qū)別與聯(lián)系，找出采用層次分類的優(yōu)勢(shì)所在，實(shí)驗(yàn)其可行}生。探索自動(dòng)分類技術(shù)在現(xiàn)實(shí)環(huán)境中的實(shí)用性，解決現(xiàn)實(shí)中存在的一些阻礙因素。在本文中我們分別給出了這些問(wèn)題的解決方案和處理的算法和流程及相應(yīng)的數(shù)據(jù)結(jié)構(gòu)。

3、針對(duì)研究過(guò)程中遇到的問(wèn)題，本系統(tǒng)在應(yīng)用相關(guān)領(lǐng)域的研究成果基礎(chǔ)上，提出了多個(gè)新的算法和思路： 借鑒關(guān)鍵詞輪排原理，結(jié)合相關(guān)統(tǒng)計(jì)模型，從正反兩個(gè)方向?qū)υ汲樵~詞典進(jìn)行壓縮和優(yōu)選，達(dá)到降維和準(zhǔn)確表達(dá)主題的目的； 針對(duì)不同特征選擇及權(quán)值計(jì)算方法的特點(diǎn)，采用多方法結(jié)合以投票方式進(jìn)行特征選擇和權(quán)值賦值，提高標(biāo)引準(zhǔn)確性； 針對(duì)分類體系的特點(diǎn)，研究提出逐級(jí)分類的算法，達(dá)到快速準(zhǔn)確進(jìn)行分類的目的； 驗(yàn)證統(tǒng)計(jì)與決策規(guī)則兩種方