基于多學(xué)習(xí)方式的信息抽取技術(shù)研究.pdf

1、文本是信息的重要載體之一。隨著計(jì)算機(jī)普及和互聯(lián)網(wǎng)的發(fā)展，產(chǎn)生了海量的文本資源。其產(chǎn)生的速度已經(jīng)遠(yuǎn)遠(yuǎn)超過(guò)人工對(duì)信息和知識(shí)的處理能力。通過(guò)計(jì)算機(jī)輔助，從而高效地從無(wú)結(jié)構(gòu)化的文本中提取有價(jià)值的信息，成為科研人員的重要課題。信息抽取作為自然語(yǔ)言處理領(lǐng)域的關(guān)鍵問(wèn)題之一，通過(guò)將文本中所含有的信息加以處理，轉(zhuǎn)化為結(jié)構(gòu)化的形式加以存儲(chǔ)，從而提高人們從海量文獻(xiàn)中獲取知識(shí)和信息的效率。
　　基于統(tǒng)計(jì)的機(jī)器學(xué)習(xí)方法在信息抽取領(lǐng)域有著廣泛的應(yīng)用。這類(lèi)方法

2、通常利用標(biāo)注語(yǔ)料對(duì)分類(lèi)模型加以訓(xùn)練，從而確定模型參數(shù)，訓(xùn)練好的模型用以對(duì)其他未知結(jié)果數(shù)據(jù)加以判斷。由于此類(lèi)方法存在對(duì)大規(guī)模標(biāo)注樣本的依賴(lài)，當(dāng)訓(xùn)練好的模型應(yīng)用于缺乏標(biāo)注數(shù)據(jù)的新領(lǐng)域時(shí)，其性能會(huì)出現(xiàn)明顯下降。為此本文提出中采用最大熵模型與條件隨機(jī)場(chǎng)模型為基礎(chǔ)，融合監(jiān)督學(xué)習(xí)、主動(dòng)學(xué)習(xí)以及半監(jiān)督學(xué)習(xí)等多種方式，通過(guò)使用少量標(biāo)注語(yǔ)料與大規(guī)模新領(lǐng)域的未標(biāo)注語(yǔ)料對(duì)分類(lèi)器進(jìn)行訓(xùn)練，顯著提高信息抽取領(lǐng)域相關(guān)問(wèn)題對(duì)新領(lǐng)域文本的適應(yīng)性。本文主要研究利用多種學(xué)

3、習(xí)方式相融合來(lái)解決文本信息抽取中三個(gè)核心任務(wù)：命名實(shí)體識(shí)別、語(yǔ)義關(guān)系抽取和語(yǔ)義角色標(biāo)注。信息抽取目前被應(yīng)用到很多領(lǐng)域當(dāng)中，除了常見(jiàn)的用于新聞?lì)I(lǐng)域文本的信息抽取，生物醫(yī)學(xué)也是其中一個(gè)重要應(yīng)用領(lǐng)域。因此，本文對(duì)生物醫(yī)學(xué)領(lǐng)域的信息抽取及其子任務(wù)也進(jìn)行了深入的研究。
　　命名實(shí)體識(shí)別是指識(shí)別某一領(lǐng)域文本中具有特定含義的實(shí)體。例如，在針對(duì)新聞?lì)I(lǐng)域，命名實(shí)體主要包括人名、地名、機(jī)構(gòu)名、其他專(zhuān)有名詞等。該任務(wù)是整個(gè)信息抽取的基礎(chǔ)。本文將中文命名

4、實(shí)體識(shí)別任務(wù)看作一個(gè)序列標(biāo)注問(wèn)題，提出了以條件隨機(jī)場(chǎng)模型為基礎(chǔ)的主動(dòng)學(xué)習(xí)和自學(xué)習(xí)方法。針對(duì)采用主動(dòng)學(xué)習(xí)和自學(xué)習(xí)方法來(lái)解決序列標(biāo)注問(wèn)題時(shí)樣本選擇標(biāo)準(zhǔn)難以確定的問(wèn)題，我們提出了基于信息密度的樣本選擇標(biāo)準(zhǔn)。本文提出的多學(xué)習(xí)方式融合的命名實(shí)體識(shí)別方降低了命名體識(shí)別系統(tǒng)對(duì)標(biāo)注語(yǔ)料的依賴(lài)程度，從而大大提高了命名體識(shí)別系統(tǒng)對(duì)于新領(lǐng)域的適應(yīng)性。
　　生物醫(yī)學(xué)領(lǐng)域命名實(shí)體識(shí)別研究相較于其他領(lǐng)域發(fā)展較為緩慢，這主要是因?yàn)槠漕I(lǐng)域中命名實(shí)體命名的不規(guī)范化

5、以及新詞較快的產(chǎn)生速度有著密切的關(guān)系。在這一問(wèn)題的研究中，我們針對(duì)其標(biāo)注語(yǔ)料少且標(biāo)注難度高的特點(diǎn)，提出了基于廣義期望準(zhǔn)則的生物醫(yī)學(xué)命名體識(shí)別的半監(jiān)督學(xué)習(xí)方法。該方法將廣義期望準(zhǔn)則與條件隨機(jī)場(chǎng)模型相融合，在保障了系統(tǒng)識(shí)別率的基礎(chǔ)上，將所需語(yǔ)料庫(kù)的標(biāo)注方式從樣本標(biāo)注降改進(jìn)為特征標(biāo)注，降低了標(biāo)注難度，提高了標(biāo)注效率。
　　語(yǔ)義關(guān)系抽取是信息抽取領(lǐng)域的另一個(gè)核心任務(wù)，是從無(wú)結(jié)構(gòu)的文獻(xiàn)中抽取出相關(guān)知識(shí)的重要手段。考慮到目前已構(gòu)建的各種知識(shí)庫(kù)

6、中所包含的信息可能有利于語(yǔ)義關(guān)系抽取的研究，我們以生物醫(yī)學(xué)文獻(xiàn)為例提取現(xiàn)有的生物醫(yī)學(xué)領(lǐng)域知識(shí)庫(kù)中的信息作為特征，提出了引入領(lǐng)域概念特征的語(yǔ)義關(guān)系抽取方法。這種方法不僅可以顯著地提高生物醫(yī)藥領(lǐng)域關(guān)系抽取的識(shí)別率，還可以方便地推廣到其他領(lǐng)域的語(yǔ)義關(guān)系抽取。針對(duì)現(xiàn)有關(guān)系抽取系統(tǒng)由于依賴(lài)訓(xùn)練語(yǔ)料而難以移植的問(wèn)題，我們提出了將廣義期望準(zhǔn)則與最大熵模型相融合的半監(jiān)督學(xué)習(xí)方法。該種方法在實(shí)現(xiàn)高精度語(yǔ)義關(guān)系抽取的同時(shí)，大大降低了對(duì)標(biāo)注語(yǔ)料的依賴(lài)性。