基于統(tǒng)計(jì)模型的中文命名實(shí)體識(shí)別方法研究及應(yīng)用.pdf

1、自然語(yǔ)言處理領(lǐng)域中的許多任務(wù)，都需要建立在準(zhǔn)確有效的命名實(shí)體識(shí)別結(jié)果上。命名實(shí)體識(shí)別研究的發(fā)展常常與自然語(yǔ)言處理技術(shù)相互制約。中文命名實(shí)體識(shí)別的研究進(jìn)程大大晚于英文命名實(shí)體識(shí)別，加之中文因自身沒(méi)有明確分詞符的獨(dú)特結(jié)構(gòu)特點(diǎn)，也加大了中文命名實(shí)體識(shí)別的難度。醫(yī)學(xué)領(lǐng)域繁多的專業(yè)詞匯和句法特征，更加提高了該領(lǐng)域的中文命名實(shí)體識(shí)別的研究門檻。
　　本文通過(guò)對(duì)目前現(xiàn)有命名實(shí)體識(shí)別方法的總結(jié)，選擇在目前較為成熟的基于統(tǒng)計(jì)模型的命名實(shí)體方法中進(jìn)行

2、深入研究。并在分析了當(dāng)前應(yīng)用于醫(yī)學(xué)領(lǐng)域的基于統(tǒng)計(jì)模型的中文命名實(shí)體識(shí)別方法研究后，發(fā)現(xiàn)由于國(guó)內(nèi)尚無(wú)公開(kāi)統(tǒng)一的醫(yī)學(xué)標(biāo)注語(yǔ)料，這類研究無(wú)一例外均采用了各自進(jìn)行人工標(biāo)注訓(xùn)練語(yǔ)料的方法。
　　本文受到深度學(xué)習(xí)領(lǐng)域中，在模型訓(xùn)練時(shí)進(jìn)行fine-tuning的思路啟發(fā)，提出在開(kāi)放領(lǐng)域新聞標(biāo)注語(yǔ)料進(jìn)行模型訓(xùn)練的基礎(chǔ)上，通過(guò)醫(yī)學(xué)專業(yè)詞典對(duì)統(tǒng)計(jì)模型進(jìn)行fine-tuning，以使其能夠在對(duì)中文臨床病歷的命名實(shí)體識(shí)別任務(wù)中有良好表現(xiàn)。該方法有效減少了

3、在命名實(shí)體識(shí)別研究前期，為訓(xùn)練模型而不得不進(jìn)行語(yǔ)料標(biāo)注的工作量。并且避免了由于人工標(biāo)注訓(xùn)練語(yǔ)料帶來(lái)的主觀偏差。經(jīng)實(shí)驗(yàn)證明，該模型優(yōu)化算法對(duì)隱馬爾可夫模型和條件隨機(jī)場(chǎng)模型均有效，分別將其準(zhǔn)確率提高了6.8％和10.5％，召回率分別提高了8.9％和11.1％。
　　最后，在應(yīng)用中本文基于對(duì)1066份現(xiàn)實(shí)中文臨床病歷的命名實(shí)體識(shí)別結(jié)果，利用規(guī)則和字典相結(jié)合的方法對(duì)病歷內(nèi)容進(jìn)行了關(guān)鍵信息抽取。并利用醫(yī)學(xué)邏輯規(guī)則，對(duì)關(guān)鍵信息中的潛在信息進(jìn)行