基于超大規(guī)模問(wèn)答對(duì)庫(kù)和語(yǔ)音界面的非受限領(lǐng)域自動(dòng)問(wèn)答系統(tǒng)研究.pdf

1、互聯(lián)網(wǎng)實(shí)現(xiàn)了知識(shí)和信息在世界范圍的平等共享和快速傳播，而以Google、百度為代表的第二代搜索引擎實(shí)現(xiàn)了互聯(lián)網(wǎng)上數(shù)十億網(wǎng)頁(yè)的基于關(guān)鍵詞的快速檢索，滿足了最基本的信息檢索需求。近年來(lái)，人們展開(kāi)了關(guān)于下一代搜索引擎的積極探索，其中自動(dòng)問(wèn)答系統(tǒng)因能簡(jiǎn)潔直接地回答用戶以自然語(yǔ)言方式提出的問(wèn)題而得到了廣泛的關(guān)注和深入的研究。在這種背景下，本論文以研制非受限領(lǐng)域的問(wèn)答系統(tǒng)為目標(biāo)，基于對(duì)近幾年來(lái)互聯(lián)網(wǎng)上以空前速度積累中的超大規(guī)模問(wèn)答對(duì)資源必將給傳統(tǒng)的

2、問(wèn)答系統(tǒng)研究帶來(lái)深遠(yuǎn)影響的預(yù)期，深入地開(kāi)展基于問(wèn)答對(duì)庫(kù)的自動(dòng)問(wèn)答系統(tǒng)技術(shù)研究工作。本論文在借鑒前人成果選用基于關(guān)鍵詞的文檔信息檢索技術(shù)為初始基線系統(tǒng)的基礎(chǔ)上，首次深入研究了在超大規(guī)模的問(wèn)答對(duì)庫(kù)條件下基線問(wèn)答系統(tǒng)各環(huán)節(jié)的最佳配置，得出了一系列有價(jià)值的結(jié)論，并進(jìn)一步對(duì)問(wèn)答系統(tǒng)最核心的問(wèn)答對(duì)排序函數(shù)進(jìn)行了針對(duì)性的設(shè)計(jì)和有監(jiān)督的優(yōu)化，大幅度提高了問(wèn)答系統(tǒng)的性能。此外，本論文還提出并開(kāi)展了基于問(wèn)答對(duì)庫(kù)的問(wèn)答系統(tǒng)的語(yǔ)音界面擴(kuò)展研究，首次實(shí)現(xiàn)了可實(shí)施

3、的、非受限領(lǐng)域的、可完全通過(guò)語(yǔ)音交互的自動(dòng)問(wèn)答系統(tǒng)。本論文具體的研究?jī)?nèi)容和相關(guān)成果如下： 首先，本文分析了互聯(lián)網(wǎng)上超大規(guī)模的問(wèn)答對(duì)庫(kù)資源積累給問(wèn)答系統(tǒng)研究帶來(lái)的機(jī)遇和挑戰(zhàn)?；ヂ?lián)網(wǎng)上積累的數(shù)以百萬(wàn)計(jì)的 FAQ 頁(yè)面以及百度知道等知識(shí)共享型網(wǎng)站的興起所形成的每日數(shù)萬(wàn)的問(wèn)答對(duì)積累速度，都為問(wèn)答系統(tǒng)研究提供了前所未有的數(shù)據(jù)資源，也對(duì)傳統(tǒng)的問(wèn)答系統(tǒng)技術(shù)路線提出了新的挑戰(zhàn)。本文以真實(shí)的數(shù)據(jù)統(tǒng)計(jì)表明：76.5％的工作生活中的常見(jiàn)問(wèn)題可以在38

4、0萬(wàn)從互聯(lián)網(wǎng)上抽取的問(wèn)答對(duì)中找到至少一個(gè)正確答案，倍增問(wèn)答對(duì)庫(kù)規(guī)模預(yù)期還可以繼續(xù)獲得8～10％的相對(duì)性能提升，足以證明互聯(lián)網(wǎng)上問(wèn)答對(duì)庫(kù)的價(jià)值以及基于問(wèn)答對(duì)庫(kù)的自動(dòng)問(wèn)答系統(tǒng)的優(yōu)勢(shì)和前景。 其次，面向基于問(wèn)答對(duì)庫(kù)的自動(dòng)問(wèn)答技術(shù)需要，本文開(kāi)展了互聯(lián)網(wǎng)上問(wèn)答對(duì)的自動(dòng)抽取技術(shù)研究和實(shí)際問(wèn)答對(duì)庫(kù)的構(gòu)建工作。針對(duì) FAQ 頁(yè)面，本文提出了基于決策樹(shù)和馬爾科夫鏈模型的問(wèn)答對(duì)自動(dòng)抽取技術(shù)，抽取精度接近 99％，完全達(dá)到了實(shí)用水平。同時(shí)基于百度知道

5、網(wǎng)站，本文完成了 390 萬(wàn)高質(zhì)量問(wèn)答對(duì)庫(kù)的建設(shè)，為后續(xù)問(wèn)答系統(tǒng)相關(guān)實(shí)驗(yàn)的開(kāi)展奠定了堅(jiān)實(shí)的基礎(chǔ)。 第三，本文驗(yàn)證了超大規(guī)模問(wèn)答對(duì)庫(kù)條件下基于問(wèn)答對(duì)庫(kù)的自動(dòng)問(wèn)答系統(tǒng)的最佳基線系統(tǒng)配置。本文首先完成了1000個(gè)用戶問(wèn)題在 380 萬(wàn)問(wèn)答對(duì)庫(kù)上的問(wèn)答系統(tǒng)性能評(píng)測(cè)數(shù)據(jù)庫(kù)，并在此基礎(chǔ)上完成了借鑒于傳統(tǒng)基于關(guān)鍵詞的文檔檢索技術(shù)的基線問(wèn)答系統(tǒng)中各個(gè)重要環(huán)節(jié)的驗(yàn)證試驗(yàn)，得到了一系列新穎而有價(jià)值的結(jié)論：1) 傳統(tǒng)文檔檢索的三個(gè)主要排序函數(shù) (TF

6、IDF，BM25 以及基于語(yǔ)言模型的檢索函數(shù)) 中最簡(jiǎn)單的 TFIDF 是最適合于問(wèn)答系統(tǒng)中的問(wèn)答對(duì)排序；2) 問(wèn)答對(duì)中的三個(gè)不同的信息域 (問(wèn)題 Q、問(wèn)題描述 D 和答案 A)中 Q 域?qū)?wèn)答系統(tǒng)具有絕對(duì)重要的貢獻(xiàn)，A 域次之；3) 在中文分詞處理方面，D 和 A 域是進(jìn)行有詞典分詞的性能更佳，但 Q 域上是將文本全部切分成單字后構(gòu)建的闖答系統(tǒng)性能最佳。實(shí)驗(yàn)表明，最終完成基線問(wèn)答系統(tǒng)能在僅返回一個(gè)答案的條件下能正確回答 43.88％的

7、用戶問(wèn)題。第四，在上述基線系統(tǒng)基礎(chǔ)上，本文深入地分析了基于用戶輸入的自然語(yǔ)言問(wèn)句檢索排序闖答對(duì)的任務(wù)與傳統(tǒng)的基于關(guān)鍵詞檢索排序文檔任務(wù)之間的差別。在 TFIDF 基礎(chǔ)上，本文設(shè)計(jì)了專(zhuān)門(mén)針對(duì)問(wèn)答系統(tǒng)的統(tǒng)一排序函數(shù)，并引入四個(gè)參數(shù)分別控制共現(xiàn)詞的詞頻和IDF、未共現(xiàn)詞的IDF以及文檔長(zhǎng)度等因素對(duì)問(wèn)答對(duì)排序的影響，實(shí)驗(yàn)表明，這一函數(shù)有效地提高了問(wèn)答系統(tǒng)的性能。同時(shí)考慮到更多的屬性可以用于問(wèn)答對(duì)排序函數(shù)的設(shè)計(jì)，本文進(jìn)一步引入了線性加權(quán)函數(shù)的排序

8、函數(shù)形式來(lái)有效運(yùn)用更多屬性。本文從每個(gè)用戶問(wèn)題和問(wèn)答對(duì)的組合中提取了包括詞語(yǔ)語(yǔ)義距離、詞語(yǔ)編輯距離、詞性、以及二元詞語(yǔ)共現(xiàn)情況等多維特征，并引入了基于改進(jìn)爬山算法的有監(jiān)督學(xué)習(xí)策略來(lái)實(shí)現(xiàn)了排序函數(shù)中各維屬性權(quán)值的自動(dòng)訓(xùn)練，最終使得問(wèn)答系統(tǒng)的性能進(jìn)一步得到了顯著提升，在僅返回一個(gè)答案條件下，系統(tǒng)能正確回答的用戶問(wèn)題比例達(dá)到了 52.37％，相對(duì)基線系統(tǒng)提升幅度達(dá)到 19.35％。本文同時(shí)還對(duì)問(wèn)答系統(tǒng)的置信度進(jìn)行了分析，實(shí)驗(yàn)表明拒絕返回一部分

9、認(rèn)為不可信的答案可以提高 (但不顯著) 答復(fù)正確率，同時(shí)改變有監(jiān)督學(xué)習(xí)的訓(xùn)練目標(biāo)定義，可以有效提高問(wèn)答系統(tǒng)的置信度估計(jì)水平。 最后，本文還首次嘗試將語(yǔ)音界面引入基于問(wèn)答對(duì)庫(kù)的非受限領(lǐng)域自動(dòng)問(wèn)答系統(tǒng)，實(shí)現(xiàn)了問(wèn)答系統(tǒng)的研究及應(yīng)用的擴(kuò)展。本文首先對(duì)完全基于語(yǔ)音交互界面的問(wèn)答系統(tǒng)的價(jià)值和挑戰(zhàn)進(jìn)行了分析，指出了基于問(wèn)答對(duì)庫(kù)技術(shù)路線的優(yōu)勢(shì)以及語(yǔ)音識(shí)別和問(wèn)答系統(tǒng)間的內(nèi)在沖突。為了研制語(yǔ)音界面的問(wèn)答系統(tǒng) SpeechQoogle，本文引入大詞匯

10、連續(xù)語(yǔ)音識(shí)別技術(shù)和連續(xù)語(yǔ)音合成技術(shù)分別完成了對(duì)語(yǔ)音輸入用戶問(wèn)句的識(shí)別和對(duì)系統(tǒng)生成文本答案的語(yǔ)音合成。進(jìn)一步，本文通過(guò)定制語(yǔ)音識(shí)別中的語(yǔ)言模型和聲學(xué)模型，使得識(shí)別性能基本達(dá)到問(wèn)答系統(tǒng)的應(yīng)用需求，同時(shí)通過(guò)實(shí)驗(yàn)分析了語(yǔ)音識(shí)別結(jié)果中的置信度、多候選以及拼音層面的識(shí)別結(jié)果對(duì)問(wèn)答系統(tǒng)的作用，小幅度提高了語(yǔ)音界面的問(wèn)答系統(tǒng)的性能。最終36.7％的常見(jiàn)問(wèn)題可以完全通過(guò)語(yǔ)音方式與我們研制的 SpeechQoogle 問(wèn)答系統(tǒng)交互獲得正確答案，證明了基于問(wèn)