基于交互式問答的日常對話系統(tǒng).pdf

1、近年來,搜索技術(shù)的發(fā)展推進了以搜索為基礎(chǔ)的在線問答系統(tǒng)的出現(xiàn),以及更高級的交互式問答系統(tǒng)在各個領(lǐng)域的應用。交互式問答系統(tǒng)是指人與系統(tǒng)之間能夠用自然語言的形式,進行交互的、上下文相關(guān)的、在一個會話過程中連續(xù)的對話。目前的交互式問答系統(tǒng)多是針對某一具體領(lǐng)域的,系統(tǒng)的表現(xiàn)性能,很大程度上依賴于該領(lǐng)域知識庫的規(guī)模。系統(tǒng)的回復即是在該知識庫中搜索到的與用戶問句匹配的答案。領(lǐng)域不同,對應的知識庫不同。但是,以日常對話為內(nèi)容的問答,是基于任一領(lǐng)域的日

2、常問答系統(tǒng)都涉及到的。而且,系統(tǒng)在日常對話方面回答的優(yōu)劣,在很大程度上，會影響到用戶對整個系統(tǒng)性能的評價。如何提高交互式問答系統(tǒng)在日常對話中的人性化和智能化,是本課題的主要研究內(nèi)容。
　　本課題主要從以下幾個方面著手:
　　(1)按類別組織構(gòu)建日常對話問答庫
　　將日常對話功能視為交互式問答系統(tǒng)的一個獨立模塊,建立該模塊的對話知識庫。按照日常對話所討論對象的范圍,將知識庫分為19個類別,選用AIML語言編寫。通過ALI

3、CE系統(tǒng)的接口,對用戶的問句,使用基于模式匹配的算法在知識庫中搜索匹配答案,給出回復。AIML語言支持兩種正則表達式模糊匹配,一定程度上，擴大了系統(tǒng)可應答范圍。
　　(2)用戶對話按照對話場景進行層次分類,給出基于類別的回復處理對于在日常對話庫中無法準確匹配的問句,按其所屬的對話場景進行分類,針對類別給出對應的處理方法,或者基于類別的模糊回答。本課題中,收集、觀察并分析了用戶與系統(tǒng)間的問答記錄,根據(jù)人機對話場景、系統(tǒng)的回答模式和用

4、戶的提問方式,確定了日常對話分類的類別。經(jīng)過初步試驗,對日常對話分類類別進行了調(diào)整,最后通過兩層分類實現(xiàn)。分類所用語料為經(jīng)過多人標注的真實環(huán)境下的人機問答對話記錄。第一層分類用金融詞匯對問句進行過濾,得到日常類對話。第二層分類是對日常類對話進行細分類。通過分析日常類對話在各個類別的分布,將最初的19個類別調(diào)整為最終的14個類別標簽。對問句提取的特征,包括:詞、擴展詞、詞性、語義、問句模板、正負情感詞、句子結(jié)構(gòu)等,使用信息增益方法進行特征

5、選擇,并分別用樸素貝葉斯、k最近鄰和支持向量機的分類方法進行分類測試。在收集到的1002條問句的測試集上，最終的分類準確率達到了68.84％,召回率為63.50%,F1值為61.99%。在日常對話知識庫中匹配失敗的問句,針對其分類類別進行對應場景下的處理方式。
　　(3)用戶問句復述識別
　　識別同一用戶的重復提問,并給出人性化提示,而不是反復給出相同的檢索答案,是系統(tǒng)智能性得到提高的一個表現(xiàn)方面。問句復述的判定,還可以用來