定義問答檢索關(guān)鍵技術(shù)研究.pdf

1、問答式信息檢索(簡稱問答檢索)是信息檢索領(lǐng)域的一個重要研究方向。定義問答檢索是問答檢索的一個重要分支,其根據(jù)指定的目標(biāo)概念,從開放領(lǐng)域(或指定)的文本中檢索得到該概念的釋義文本。由于概念的種類及其屬性繁多且描述概念的方式較多,造成對其進(jìn)行描述的釋義文本形式差別巨大,從而使得當(dāng)前定義問答檢索方法對釋義文本的識別具有一定困難。
　　 當(dāng)前方法以孤立語法標(biāo)識為特征的對釋義文本進(jìn)行形式化不利于釋義文本中釋義語義的表示和計算,因?yàn)槠湫问交?/p>

2、過程沒有涉及到語義內(nèi)容。不同種類概念及描述方式之間的差異造成釋義文本的語言形式差別大,以所有定義樣例為基礎(chǔ)的學(xué)習(xí)及模式匹配的識別率低。傳統(tǒng)的基于統(tǒng)計分析方法的定義識別中未能有效地計算語義特征在學(xué)習(xí)語料中出現(xiàn)的模糊性,降低了定義的識別率。當(dāng)前定義問答檢索的傳統(tǒng)評價主要基于人工方式,一些基于自動評價的算法的形式化只以詞匯為基礎(chǔ),沒有考慮答案文本的語法和語義特征,從而降低評價語義上的準(zhǔn)確性。
　　 針對釋義文本中語義內(nèi)容形式化問題、候

3、選答案的評分過程中識別率低的問題、語義計算過程中涉及模糊性的問題和定義問答檢索方法自動評價中的語義問題,本文探索使用釋義內(nèi)容單元(ECU)形式化釋義文本,并將基于案例推理的消極學(xué)習(xí)法應(yīng)用于定義評分過程,然后使用云模型進(jìn)行候選答案評分,最后在定義問答檢索方法的自動評價過程中使用金字塔模型。
　　 歸納起來,本文的主要創(chuàng)新成果包括:
　　 ①提出了基于案例推理的定義問答檢索方法。在文本檢索領(lǐng)域,基于案例推理的學(xué)習(xí)方法通常用來

4、處理復(fù)雜的文本檢索問題(如法律案例檢索)。因此,本文首次將其用于定義問答檢索。本文首先將概念的釋義文本進(jìn)行依存語法解析獲得其句法樹,然后根據(jù)釋義元語言將句法樹轉(zhuǎn)換為釋義內(nèi)容單元作為釋義文本的形式化表示,從而構(gòu)建定義案例。該方法檢索與候選答案(查詢案例)相似的定義案例集合,然后使用該集合對候選答案進(jìn)行評分,減少相關(guān)性較低的定義案例對評分的影響。通過BCU-ECU方法增加案例檢索過程將其構(gòu)造為BCU-CASE方法,實(shí)驗(yàn)對比BCU-CASE、

5、BCU-ECU和DT基準(zhǔn)方法的F值的宏平均。實(shí)驗(yàn)結(jié)果顯示,BCU-CASE比DT提高24％,BCU-CASE比BCU-ECU提高6％?；诎咐评淼亩x問答檢索方法有效,且優(yōu)于DT,其能改善一般基于統(tǒng)計分析的定義問答檢索方法的性能。
　　 ②提出了基于云模型的定義問答評分算法。自然語言的不確定性,尤其是模糊性和隨機(jī)性一直是自然語言量化過程需要解決的主要問題,云模型通常用于量化自然語言的模糊性和隨機(jī)性,因此,本文首次將其用于定義問

6、答評分。本文以定義案例的釋義內(nèi)容單元為基礎(chǔ)建立云模型的定量論域,然后將查詢案例的釋義內(nèi)容單元作為云滴計算其特征值,以特征值為基礎(chǔ)計算查詢案例的評分值。通過將BCU-CASE方法的案例識別階段的算法替換為該評分算法從而獲得CLOUD-CASE方法,實(shí)驗(yàn)通過對比CLOUD-CASE、BCU-CASE和DT基準(zhǔn)方法的F值的宏平均。實(shí)驗(yàn)結(jié)果顯示,CLOUD-CASE比DT提高27％,CLOUD-CASE比BCU-CASE提高3％。基于云模型的定

7、義問答評分算法有效,且優(yōu)于DT,云模型具有優(yōu)于基于統(tǒng)計分析的案例識別性能。
　　 ③提出了基于釋義內(nèi)容單元的釋義文本形式化方法。本文首先利用依存句法樹結(jié)構(gòu)的層次性句法和釋義元語言對釋義文本進(jìn)行分析,獲得用于釋義的單元結(jié)構(gòu)。實(shí)驗(yàn)基于BCU方法使用釋義內(nèi)容單元對句子進(jìn)行形式化從而構(gòu)建BCU-ECU方法。實(shí)驗(yàn)結(jié)果顯示,BCU-ECU與DT基準(zhǔn)方法的F值的宏平均,前者比后者提高18％,釋義內(nèi)容單元形式化有效,且能夠改善定義問答檢索方法的

8、性能。
　　 ④提出了基于金字塔模型的定義問答檢索的自動評價算法APDQE。在自動摘要的評價領(lǐng)域,金字塔算法已經(jīng)被用來作為評價的標(biāo)準(zhǔn)之一。因此,本文首次將其用于定義問答的自動評價。為了建立金字塔模型,本文以標(biāo)準(zhǔn)答案的釋義內(nèi)容單元為基礎(chǔ)建立金字塔,然后獲得被測答案中每個釋義內(nèi)容單元的權(quán)重值,最后計算出標(biāo)準(zhǔn)答案的得分。實(shí)驗(yàn)通過.APDQE、POURPRE和人工評價不同定義問答檢索算法的輸出結(jié)果,以此基礎(chǔ)計算APDQE和POIJRPR