開放式文檔同構(gòu)引擎關(guān)鍵技術(shù)研究與實(shí)現(xiàn).pdf

1、本文對(duì)開放式文檔同構(gòu)引擎進(jìn)行深入研究，旨在實(shí)現(xiàn)一個(gè)用于底層支撐作用的文檔引擎，使高層內(nèi)容安全產(chǎn)品擺脫文檔異構(gòu)化和文檔理解的難題，專注于自身的研究。 本文首先介紹了物理結(jié)構(gòu)層和邏輯結(jié)構(gòu)層的結(jié)構(gòu)定義、統(tǒng)一表示方法和功能，而后分別分析了兩個(gè)層次上需要解決的關(guān)鍵難題，進(jìn)而舉例說明了開放式物理接口開發(fā)的過程和文檔邏輯層的分析過程。 在深入研究前人在分詞和未登錄詞識(shí)別的基礎(chǔ)上，本文設(shè)計(jì)了一種基于詞典和統(tǒng)計(jì)相結(jié)合的詞法分析系統(tǒng)。該算法

2、包括四部分內(nèi)容：詞典分詞算法，詞性標(biāo)注、高效的倒排索引技術(shù)以及基于索引的新詞發(fā)現(xiàn)技術(shù)。經(jīng)過實(shí)驗(yàn)證明，該系統(tǒng)既有詞典分詞的高效，也能保證新詞發(fā)現(xiàn)的準(zhǔn)確率。 在句法分析方面，本課題設(shè)計(jì)了規(guī)則和統(tǒng)計(jì)結(jié)合的句法分析系統(tǒng)，充分利用了線圖算法高效率，對(duì)簡(jiǎn)單文法進(jìn)行線圖分析，根據(jù)PCFG模型對(duì)句法樹進(jìn)行概率計(jì)算，選擇合適的句法分析樹。在概率計(jì)算的時(shí)候，針對(duì)語(yǔ)料庫(kù)的稀疏問題，采用了Good-Turing 算法進(jìn)行平滑，在最后的測(cè)評(píng)中取得比較好的