基于聚類的文本機(jī)會發(fā)現(xiàn)關(guān)鍵問題研究.pdf

1、現(xiàn)實(shí)世界中的一個(gè)事件序列可能包括原因、結(jié)果和一些值得注意的事件。通常，最根本的原因是隱藏的，或在重要事件中是未知的。傳統(tǒng)的信息處理方法通常是通過對頻繁出現(xiàn)事件的分析實(shí)現(xiàn)未來可能性的預(yù)測。但是，在這些信息中除頻繁事件之外，還包含著一些極少出現(xiàn)而又具有重要作用的事件，這些事件對未來同樣具有重要的影響作用，而傳統(tǒng)方法卻無法發(fā)現(xiàn)這些重要事件。機(jī)會發(fā)現(xiàn)為實(shí)現(xiàn)獲取觀測結(jié)果中稀少的、重要事件提供了切實(shí)可行的理論和方法。
　　 文本是目前一種重

2、要的信息承載方式。本文以文檔數(shù)據(jù)為研究對象，基于聚類技術(shù)對文本機(jī)會發(fā)現(xiàn)的若干關(guān)鍵問題進(jìn)行研究。
　　 本文通過對機(jī)會發(fā)現(xiàn)現(xiàn)有理論和技術(shù)方法的研究，首先提出了文本機(jī)會的定義，并進(jìn)一步建立了基于聚類的文本機(jī)會發(fā)現(xiàn)過程模型。明確了文本機(jī)會發(fā)現(xiàn)過程是一個(gè)在人的經(jīng)驗(yàn)指導(dǎo)下的計(jì)算機(jī)自動(dòng)進(jìn)行聚類的人機(jī)交互的雙螺旋過程。
　　 其次，分析了現(xiàn)有的經(jīng)典機(jī)會發(fā)現(xiàn)算法KeyGraph的優(yōu)缺點(diǎn)，針對KeyGraph算法計(jì)算復(fù)雜的缺點(diǎn)，提出了一種

3、多遍掃描KeyGraph執(zhí)行模型，提出利用矩陣分解實(shí)現(xiàn)KeyGraph的具體計(jì)算，對KeyGraph的計(jì)算方法改進(jìn)。有效地提高了算法的執(zhí)行效率，減少計(jì)算數(shù)據(jù)量，并降低了時(shí)間空間復(fù)雜度。
　　 第三，文本數(shù)量的急劇增加使得現(xiàn)有機(jī)會發(fā)現(xiàn)算法難以快速、有效地實(shí)現(xiàn)機(jī)會的提取。為解決此問題，本文在現(xiàn)有研究基礎(chǔ)上，通過對目前典型機(jī)會發(fā)現(xiàn)算法的預(yù)處理過程以及算法自身的細(xì)致分析，首先提出了既能降低算法復(fù)雜性，又能夠保留數(shù)據(jù)語義信息的文本機(jī)會發(fā)現(xiàn)

4、預(yù)處理算法，實(shí)現(xiàn)了事件的一致化描述；其次，提出基于進(jìn)化免疫網(wǎng)絡(luò)的文本機(jī)會發(fā)現(xiàn)算法，利用進(jìn)化免疫網(wǎng)絡(luò)壓縮數(shù)據(jù)規(guī)模的優(yōu)點(diǎn)，解決了大規(guī)模文本數(shù)據(jù)機(jī)會發(fā)現(xiàn)所帶來的問題。該提取算法與預(yù)處理算法增加了機(jī)會事件提取的準(zhǔn)確性和有效性，有效地提高了算法的執(zhí)行效率，降低了系統(tǒng)的存儲開銷。
　　 最后，提出了一個(gè)基于免疫的多agent文本機(jī)會發(fā)現(xiàn)系統(tǒng)框架，并基于動(dòng)態(tài)免疫網(wǎng)絡(luò)建立了系統(tǒng)的響應(yīng)模型。
　　 本文以科技文獻(xiàn)應(yīng)用為背景，發(fā)現(xiàn)樣本數(shù)據(jù)集