漢語(yǔ)非相關(guān)文獻(xiàn)知識(shí)發(fā)現(xiàn)的研究與系統(tǒng)實(shí)現(xiàn).pdf

1、隨著科學(xué)技術(shù)的快速發(fā)展，學(xué)科分工愈來(lái)愈細(xì)。不同學(xué)科間表面上沒(méi)有任何聯(lián)系的文獻(xiàn)中，可能隱含著未被發(fā)現(xiàn)的有價(jià)值的關(guān)聯(lián)。挖掘文獻(xiàn)之間的這些隱含的聯(lián)系對(duì)科學(xué)發(fā)展具有重要推動(dòng)作用。近20年來(lái)，情報(bào)工作者對(duì)這一領(lǐng)域展開(kāi)了積極探討，美國(guó)芝加哥大學(xué)的情報(bào)學(xué)教授Don R．Swanson，首先以充分的文獻(xiàn)證據(jù)論證了基于非相關(guān)丈獻(xiàn)的知識(shí)發(fā)現(xiàn)思想。隨后，各國(guó)科學(xué)家都紛紛用不同的方法來(lái)測(cè)試和驗(yàn)證Swanson的思想和結(jié)論，分析所采用的數(shù)據(jù)源皆為Medline記

2、錄。 本文繼承了Swanson的思想，以中國(guó)期刊網(wǎng)1979年到2006年全文數(shù)據(jù)庫(kù)生物醫(yī)藥衛(wèi)生領(lǐng)域的文獻(xiàn)為數(shù)據(jù)源，分別研究開(kāi)放式和閉合式非相關(guān)文獻(xiàn)的知識(shí)發(fā)現(xiàn)算法，并實(shí)現(xiàn)基于漢語(yǔ)的非相關(guān)文獻(xiàn)知識(shí)發(fā)現(xiàn)系統(tǒng)。Swanson算法只對(duì)標(biāo)題進(jìn)行了處理，而本文將其算法進(jìn)行了延伸，分別對(duì)標(biāo)題和摘要都進(jìn)行了處理。并且解決了處理漢語(yǔ)文獻(xiàn)過(guò)程遇到的許多實(shí)際問(wèn)題，如漢語(yǔ)分詞、語(yǔ)詞多義性等等。 在研究開(kāi)放式知識(shí)發(fā)現(xiàn)過(guò)程中，通過(guò)驗(yàn)證“偏頭痛/鎂”這

3、對(duì)假設(shè)在漢語(yǔ)文獻(xiàn)中是否存在關(guān)聯(lián)，來(lái)判斷本文采用的開(kāi)放式知識(shí)發(fā)現(xiàn)算法的可行性。開(kāi)放式知識(shí)發(fā)現(xiàn)系統(tǒng)對(duì)標(biāo)題和摘要分別進(jìn)行了處理，算法都是模擬Swanson的思想。但是因?yàn)槊總€(gè)詞在每篇標(biāo)題中只出現(xiàn)一次(大于一次的忽略)，而在摘要中可能出現(xiàn)大于一次的現(xiàn)象，所以在處理標(biāo)題和摘要時(shí)，具體的算法公式略有區(qū)別。結(jié)論是，無(wú)論處理標(biāo)題還是摘要，通過(guò)開(kāi)始文獻(xiàn)，中間詞，目標(biāo)詞的步驟都能從“偏頭痛”找到“鎂”。使用標(biāo)題計(jì)算與使用摘要計(jì)算相比，優(yōu)點(diǎn)是速度快，缺點(diǎn)是找

4、到的中間詞不如以摘要計(jì)算多，而且找到的目標(biāo)詞“鎂”的排列位置不如以摘要計(jì)算靠前。 閉合式知識(shí)發(fā)現(xiàn)過(guò)程，目的是通過(guò)書(shū)目不相關(guān)聯(lián)的“雷諾氏病/魚(yú)油”、“偏頭痛/鎂”之間的邏輯關(guān)聯(lián)的存在性，驗(yàn)證本文采用的閉合式知識(shí)發(fā)現(xiàn)算法在漢語(yǔ)文獻(xiàn)中的可行性，若可行，則閉合式知識(shí)發(fā)現(xiàn)系統(tǒng)可以用來(lái)驗(yàn)證開(kāi)放式知識(shí)發(fā)現(xiàn)系統(tǒng)提出的假設(shè)是否準(zhǔn)確。系統(tǒng)采用的是Swanson教授本人的閉合式知識(shí)發(fā)現(xiàn)算法，同樣對(duì)標(biāo)題和摘要都進(jìn)行了處理，結(jié)果發(fā)現(xiàn)用標(biāo)題計(jì)算僅能求得部分