基于互信息的統(tǒng)計(jì)語(yǔ)言模型平滑技術(shù).pdf

1、自然語(yǔ)言處理是計(jì)算機(jī)科學(xué)中一個(gè)引人入勝、富有挑戰(zhàn)性的課題。它的任務(wù)是建立一種能夠模擬人類語(yǔ)言認(rèn)知過(guò)程的計(jì)算模型。但是當(dāng)前計(jì)算機(jī)的智能水平還遠(yuǎn)遠(yuǎn)不能與人類相提并論，困擾其發(fā)展的原因有很多，統(tǒng)計(jì)語(yǔ)言模型中數(shù)據(jù)稀疏的處理則是自然語(yǔ)言處理領(lǐng)域必須解決的幾個(gè)難題之一。本論文主要針對(duì)目前正得到廣泛推廣與應(yīng)用的統(tǒng)計(jì)語(yǔ)言模型，研究了建立模型的各種方法以及相關(guān)的平滑技術(shù)，提出了能滿足概率歸一性的建立模型的方法以及結(jié)合互信息、熵和非線性優(yōu)化等理論的基于互信

2、息的統(tǒng)計(jì)語(yǔ)言模型平滑技術(shù)。論文的主要工作如下： 首先本文介紹了統(tǒng)計(jì)語(yǔ)言模型中常用的概率論和信息論方面的相關(guān)知識(shí)，然后介紹了現(xiàn)有的幾類統(tǒng)計(jì)語(yǔ)言模型的平滑技術(shù)，并分析了其平滑原理與實(shí)現(xiàn)方法。 其次，論文研究了統(tǒng)計(jì)語(yǔ)言模型的建立。在文中列舉了多種可以建立模型的方法，但由于在概率歸一性方面的問(wèn)題使得這些方法不能滿足使用。因此，本文提出了一種在語(yǔ)料庫(kù)中的每段前后添加相同符號(hào)來(lái)做過(guò)渡的建立統(tǒng)計(jì)語(yǔ)言模型的方法，從而使得到的模型能夠滿足

3、概率的歸一性。 同時(shí)，本文還提出了一種新的基于互信息的統(tǒng)計(jì)語(yǔ)言模型平滑技術(shù)。該方法基于模型中元素的互信息值，對(duì)互信息值高的事件的概率值進(jìn)行折扣，對(duì)互信息值低的事件的概率值進(jìn)行補(bǔ)償，對(duì)模型中未出現(xiàn)事件的概率值的獲得則回退到低階模型。進(jìn)一步，利用非線性系統(tǒng)理論來(lái)，依據(jù)極小化困惑度方法，確定平滑公式中的系數(shù)值，從理論上保證了此平滑技術(shù)的優(yōu)越性。 論文最后把本文提出的平滑技術(shù)與現(xiàn)有平滑技術(shù)進(jìn)行了比較。通過(guò)實(shí)驗(yàn)測(cè)試平滑后的模型在測(cè)