社區(qū)問答系統(tǒng)中答案排序和問題檢索算法研究與應(yīng)用.pdf

1、社區(qū)問答(Community Question Answering，CQA)系統(tǒng)是一種較高級別的信息檢索系統(tǒng)。與搜索引擎不同，CQA系統(tǒng)中存在大量由社區(qū)成員長期維護的問題和答案，信息質(zhì)量較高;CQA系統(tǒng)返回的信息通常更符合用戶的真實需求，而搜引擎通常返回若干相關(guān)網(wǎng)頁。目前，利用CQA系統(tǒng)知識獲取已經(jīng)成為一個研究熱點，但如何高效的從CQA系統(tǒng)中檢索信息仍是一個研究難點。本文的研究內(nèi)容主要圍繞CQA系統(tǒng)的答案排序和問題檢索任務(wù)，工作分為以下

2、三個方面:
　　1)提出了改進主題模型。傳統(tǒng)的LDA主題模型未考慮到垃圾主題和相似主題的存在，影響主題相似度計算的準確率，第三章提出了垃圾主題過濾算法和主題相似度檢測算法用于移除垃圾主題和檢測相似主題，以構(gòu)造語義關(guān)系更強的主題向量。在中文語料庫上的實驗結(jié)果驗證了改進主題模型能夠提升文本分類的準確率，第三章還將改進主題模型應(yīng)用到CQA系統(tǒng)中，在SemEval問答數(shù)據(jù)集上的實驗結(jié)果一方面確定了答案排序和問題檢索任務(wù)的最優(yōu)特征組合，另一

3、方面驗證了改進主題模型同樣能夠提升答案分類的準確率。
　　2)提出了一種針對CQA系統(tǒng)的信息增強方法。第四章利用原始問題、相似問題和答案三者的關(guān)系，構(gòu)造答案與原始問題的標注數(shù)據(jù)集，作為額外的訓練集融入到原始數(shù)據(jù)集中，額外數(shù)據(jù)集是對原始數(shù)據(jù)集的信息增強，在CQA系統(tǒng)兩個子任務(wù)上的實驗結(jié)果驗證了信息增強方法的高效性。第四章還探索了五種神經(jīng)網(wǎng)絡(luò)對答案排序和問題檢索任務(wù)的建模方法和應(yīng)用效果，發(fā)現(xiàn)BiLSTM網(wǎng)絡(luò)和Attention網(wǎng)絡(luò)整體

4、上具有較高的答案分類準確率和MRR值，實驗發(fā)現(xiàn)數(shù)據(jù)清洗對神經(jīng)網(wǎng)絡(luò)影響較大，在大多數(shù)場景中數(shù)據(jù)清洗都是必要的，但對某些場景（如小規(guī)模數(shù)據(jù)集，BiLSTM網(wǎng)絡(luò)等）數(shù)據(jù)清洗會降低網(wǎng)絡(luò)的性能。
　　3)設(shè)計了CQA系統(tǒng)的實現(xiàn)流程圖。首先分析了系統(tǒng)存在的問題，然后介紹了設(shè)計中涉及的關(guān)鍵技術(shù)，最后分模塊闡述CQA系統(tǒng)中各個問題的解決方案。各問題與解決方案可以概括為:針對海量知識庫的信息抽取計算復雜度較高的問題，提出了一種兩階段文本排序方法;針