開放式文檔同構(gòu)引擎關(guān)鍵技術(shù)研究與實現(xiàn).pdf

1、本文對開放式文檔同構(gòu)引擎進行深入研究，旨在實現(xiàn)一個用于底層支撐作用的文檔引擎，使高層內(nèi)容安全產(chǎn)品擺脫文檔異構(gòu)化和文檔理解的難題，專注于自身的研究。 本文首先介紹了物理結(jié)構(gòu)層和邏輯結(jié)構(gòu)層的結(jié)構(gòu)定義、統(tǒng)一表示方法和功能，而后分別分析了兩個層次上需要解決的關(guān)鍵難題，進而舉例說明了開放式物理接口開發(fā)的過程和文檔邏輯層的分析過程。 在深入研究前人在分詞和未登錄詞識別的基礎(chǔ)上，本文設(shè)計了一種基于詞典和統(tǒng)計相結(jié)合的詞法分析系統(tǒng)。該算法

2、包括四部分內(nèi)容：詞典分詞算法，詞性標(biāo)注、高效的倒排索引技術(shù)以及基于索引的新詞發(fā)現(xiàn)技術(shù)。經(jīng)過實驗證明，該系統(tǒng)既有詞典分詞的高效，也能保證新詞發(fā)現(xiàn)的準(zhǔn)確率。 在句法分析方面，本課題設(shè)計了規(guī)則和統(tǒng)計結(jié)合的句法分析系統(tǒng)，充分利用了線圖算法高效率，對簡單文法進行線圖分析，根據(jù)PCFG模型對句法樹進行概率計算，選擇合適的句法分析樹。在概率計算的時候，針對語料庫的稀疏問題，采用了Good-Turing 算法進行平滑，在最后的測評中取得比較好的