漢語口語對話系統(tǒng)的語言分析.pdf

1、自然語言處理已歷時幾十年了，熱潮莫過于機器翻譯。機器翻譯的熱潮過去后，語言處理逐漸進入平靜、現(xiàn)實的務(wù)實階段。近期人們將目標(biāo)定在文本的自動分摘要、信息的自動檢索和過濾以及限定領(lǐng)域的人機對話系統(tǒng)等方面。本文介紹口語人機對話系統(tǒng)語言分析的研究。 語言處理中，實用性很強、高效的是統(tǒng)計方法。但基于規(guī)則的方法可以細(xì)致刻言內(nèi)在結(jié)構(gòu)的各個方面，如果能綜合運用情景、上下文和常識獲取語義特征，定領(lǐng)域的情況下，分析的準(zhǔn)確率將會顯著提高。 本文

2、根據(jù)漢語口語缺省多、插入語多、短句多和語序靈活等語言特點，設(shè)計了以規(guī)則為主、結(jié)合概率信息的語言綜合分析方法。在漢語分詞和詞性標(biāo)注的基基于合一文法利用圖算法進行部分句法分析，最后結(jié)合上下文、情景、常識率信息獲取語義特征。該方法有效提高了漢語口語對話系統(tǒng)語言分析的準(zhǔn)確同時考慮了效率和領(lǐng)域切換等實用方面的問題。并實現(xiàn)了上海市交通信息查詢——SHJTQ，同時完成了相關(guān)的測試評價工作，從而確保了系統(tǒng)的正確性、有。 詞切分和詞性標(biāo)注方面，本

3、文通過建立索引和采用合適的Hash算法，改進了詞組織形式，極大提高了分詞和詞性標(biāo)注的效率。從而減少系統(tǒng)實時響應(yīng)時間。句法分析方面，本文根據(jù)漢語口語特點進行了如下改進和嘗試：(1)、采用部分分析而不是常規(guī)的完全句法分析，從而有效分析含有插入語、缺省、語序變化、多個短句等不規(guī)正語句；(2)、采用基于合一文法的語法體系，通過特征校驗限制句法規(guī)則歸約，減少句法分析的歧義；通過特征傳遞獲取短語的語義語法信息，以便進一步獲取整句的語義特征；(3)、

4、實現(xiàn)了特征和句法規(guī)則的預(yù)編譯，使得句法知識庫具有良好的開放性，減少了領(lǐng)域切換時所需工作量。 語義分析的難點在于如何處理缺省、指代、否定等復(fù)雜語言現(xiàn)象。本文從所限定的領(lǐng)域特點出發(fā)，嘗試給出一些實用的處理方法：(1)、采用合一算法根據(jù)上下文、情景求解缺省；(2)、采用史列表方法結(jié)合語法語義限制規(guī)則求解指代；(3)、將否定分為句間否定和句中否定，根據(jù)“否定候選集—對比刪除”流程確定否定詞的具體轄域。這些方法充分利用了上下文、情景和常識