面向機(jī)器理解的文本內(nèi)容表示與復(fù)雜度度量研究.pdf

1、文本內(nèi)容的表示與復(fù)雜度的度量是文本機(jī)器理解與網(wǎng)絡(luò)服務(wù)的核心問題，也是一項(xiàng)涉及到語言學(xué)、計(jì)算機(jī)科學(xué)、心理學(xué)、邏輯學(xué)、認(rèn)知學(xué)等多門學(xué)科的難度較大而又極富挑戰(zhàn)性的研究課題。目前的文本知識(shí)表示模型普遍缺少認(rèn)知機(jī)理的支持，不符合人腦思維實(shí)際的認(rèn)知模式；同時(shí)，缺少有效的與人類認(rèn)知過程中的主觀感受相結(jié)合的文本內(nèi)容復(fù)雜度的度量方法。為了解決上述問題，本論文借鑒人類概念學(xué)習(xí)的最新成果，并結(jié)合認(rèn)知心理學(xué)對人類文本理解的研究成果，建立了一種面向機(jī)器理解的文本

2、內(nèi)容的表示方法；并且基于該方法，提出了一種文本內(nèi)容復(fù)雜度的度量方法來為用戶提供更好的知識(shí)服務(wù)。本文具體內(nèi)容與貢獻(xiàn)如下： 1．為了研究基于概念代數(shù)表示的文本內(nèi)容的冪級(jí)數(shù)表示方法，本論文重點(diǎn)解決了三個(gè)基本問題，即：文本底層知識(shí)的快速機(jī)器自動(dòng)獲取方法；文本關(guān)聯(lián)規(guī)則中噪音和冗余知識(shí)的消除方法和文本內(nèi)容冪級(jí)數(shù)的表示與簡化。 1)本論文采用TF-IDF公式提取文本領(lǐng)域關(guān)鍵詞，然后選取文本中屬于領(lǐng)域 關(guān)鍵詞且出現(xiàn)頻率最高的前N

3、個(gè)單詞或詞組作為文本關(guān)鍵詞；結(jié)合經(jīng)典的Apriori算法和滑動(dòng)窗口的方法，獲取文本關(guān)聯(lián)規(guī)則。 2)以實(shí)驗(yàn)的方法，選取合適的滑動(dòng)窗口大小、滑動(dòng)距離、關(guān)聯(lián)規(guī)則的置信度與支持度，以提高關(guān)聯(lián)規(guī)則提取的質(zhì)量；結(jié)合現(xiàn)有的關(guān)聯(lián)規(guī)則去除冗余的方法，提出了文本關(guān)聯(lián)規(guī)則的冗余消除方法。 3)基于人類概念學(xué)習(xí)的代數(shù)表示，提出了文本內(nèi)容的冪級(jí)數(shù)表示方法；根據(jù)文本中關(guān)聯(lián)規(guī)則的分布和人類概念學(xué)習(xí)的線性假設(shè)定理，提出了機(jī)器文本理解的二階假設(shè)。

4、 2．為了研究基于文本內(nèi)容冪級(jí)數(shù)表示的文本復(fù)雜度度量方法， 1)基于人類概念學(xué)習(xí)的代數(shù)復(fù)雜度計(jì)算，提出了文本復(fù)雜度的度量方法。 2)基于人類文本理解過程中對背景知識(shí)的加入和認(rèn)知心理學(xué)中關(guān)于增加記憶的“交互作用表象”(interacting images)技術(shù)，提出了文本復(fù)雜度度量的改進(jìn)算法。 基于冪級(jí)數(shù)表示的文本內(nèi)容復(fù)雜度度量在文本知識(shí)流的評價(jià)與度量，網(wǎng)絡(luò)資源的個(gè)性化推薦、在線問答系統(tǒng)、e-Business中的商