面向多領(lǐng)域大規(guī)模知識(shí)庫(kù)的自然語(yǔ)言自動(dòng)問(wèn)答研究.pdf

1、隨著計(jì)算機(jī)和網(wǎng)絡(luò)的飛速發(fā)展，我們已經(jīng)進(jìn)入了數(shù)據(jù)信息爆炸式增長(zhǎng)的時(shí)代，如何從海量的非結(jié)構(gòu)化信息中提取真正滿(mǎn)足用戶(hù)需求的信息，已經(jīng)成為一個(gè)越來(lái)越重要的研究課題。自然語(yǔ)言問(wèn)答系統(tǒng)應(yīng)運(yùn)而生，它是一個(gè)能夠?qū)τ?jì)算機(jī)用戶(hù)或移動(dòng)用戶(hù)以自然語(yǔ)言形式描述的問(wèn)句做出高效、準(zhǔn)確回答的問(wèn)答系統(tǒng)。
　　本文研究的課題是面向多領(lǐng)域大規(guī)模知識(shí)庫(kù)的自然語(yǔ)言自動(dòng)問(wèn)答研究。本文主要研究人物、地理、機(jī)構(gòu)、音樂(lè)和電影這五類(lèi)的自然語(yǔ)言自動(dòng)問(wèn)答。除構(gòu)建知識(shí)庫(kù)外，其精髓是如何進(jìn)

2、行準(zhǔn)確高效的自然語(yǔ)言問(wèn)句語(yǔ)義理解。與傳統(tǒng)的搜索引擎不同，自然語(yǔ)言自動(dòng)問(wèn)答系統(tǒng)不是簡(jiǎn)單的關(guān)鍵詞組合匹配，而是需要理解用戶(hù)意圖，因此，自然語(yǔ)言自動(dòng)問(wèn)答系統(tǒng)面臨著很多困難，主要有兩點(diǎn):一是需要構(gòu)建大規(guī)模知識(shí)庫(kù)以及能夠高效查詢(xún)的查詢(xún)體系;二是系統(tǒng)的輸入是日常使用的自然語(yǔ)言，需要對(duì)自然語(yǔ)言問(wèn)句進(jìn)行理解分析，得到用戶(hù)意圖。
　　針對(duì)上述問(wèn)題，本文提出了一系列解決方法，主要有以下四點(diǎn):
　　一是構(gòu)建知識(shí)庫(kù)。對(duì)知識(shí)存儲(chǔ)模型做了深入研究，根據(jù)

3、存儲(chǔ)模型需要滿(mǎn)足能夠大規(guī)模存儲(chǔ)數(shù)據(jù)且高效查詢(xún)、又能支持知識(shí)推理的特點(diǎn)，決定使用RDF存儲(chǔ)模型存儲(chǔ)知識(shí)。本文按類(lèi)別爬取了百科數(shù)據(jù)和豆瓣數(shù)據(jù)，構(gòu)建RDF知識(shí)庫(kù);
　　二是進(jìn)行命名實(shí)體識(shí)別。自然語(yǔ)言問(wèn)句理解首先需要識(shí)別命名實(shí)體，本文使用機(jī)器學(xué)習(xí)的方法進(jìn)行命名實(shí)體識(shí)別，研究了兩種機(jī)器學(xué)習(xí)方法:SVM統(tǒng)計(jì)模型和CRF統(tǒng)計(jì)模型，以及兩種統(tǒng)計(jì)模型特征模板的選取問(wèn)題，同時(shí)研究了選取不同的特征模板對(duì)命名實(shí)體識(shí)別準(zhǔn)確率的影響，最終根據(jù)實(shí)驗(yàn)數(shù)據(jù)選取合適

4、的模板和統(tǒng)計(jì)模型;
　　三是自然語(yǔ)言問(wèn)句理解。本文在問(wèn)句已經(jīng)被劃分類(lèi)別、分詞和進(jìn)行命名實(shí)體識(shí)別的基礎(chǔ)上，利用類(lèi)別信息和詞性標(biāo)注，提出構(gòu)建問(wèn)句語(yǔ)義圖的方法來(lái)描述用戶(hù)意圖，針對(duì)漢語(yǔ)的一個(gè)實(shí)體可以有多種表述方式的問(wèn)題，提出了實(shí)體消歧和屬性詞消歧的方法;
　　四是構(gòu)建查詢(xún)機(jī)制。針對(duì)RDF知識(shí)庫(kù)需要用SPARQL語(yǔ)言進(jìn)行查詢(xún)的問(wèn)題，構(gòu)建了自動(dòng)生成SPARQL查詢(xún)語(yǔ)句的查詢(xún)機(jī)制。
　　為了驗(yàn)證本文方法的高效性，本文使用數(shù)據(jù)堂提供的