判別訓(xùn)練在語言模型中的應(yīng)用.pdf

1、本文首先將一些經(jīng)典的判別訓(xùn)練方法在語言模型的訓(xùn)練中重新實現(xiàn)。提出了兩種新的判別訓(xùn)練算法：基于經(jīng)驗風(fēng)險最小化(MSR)訓(xùn)練方法和基于平滑錯誤率最小化( MSER)的方法。為了提高MSR算法的速度，本文在MSR算法中引入了特征之間獨立的假設(shè)，固定特征的更新順序，提出了MSR的改進算法( FMSR)。為了證明FMSR算法的有效性，本文將FMSR算法訓(xùn)練的模型應(yīng)用到日文輸入法中。實驗結(jié)果表明通過FMSR算法訓(xùn)練的語言模型優(yōu)于已有判別訓(xùn)練算法訓(xùn)練

2、的模型，與基礎(chǔ)模型相比相對錯誤率下降了15％-19％。MSER算法通過平滑不可求導(dǎo)的損失函數(shù)來確定算法的優(yōu)化標(biāo)準(zhǔn)，MSER算法采用了boosting算法特征權(quán)重的更新方式通過計算可導(dǎo)的損失函數(shù)的極小值來確定特征權(quán)重。與boosting算法相比，MSER算法的損失函數(shù)更加接近于本文所要涉及的應(yīng)用。同時算法效率要高于FMSR算法，并且實驗結(jié)果接近于FMSR。無論是FMSR還是MSER算法都是判別訓(xùn)練算法在語言模型訓(xùn)練過程中的有意義的嘗試。它