用戶生成答案質(zhì)量評價中的特征表示及融合研究.pdf

1、隨著Web2.0的飛速發(fā)展,網(wǎng)絡(luò)社區(qū)累積了海量的用戶生成內(nèi)容(User Generated Content,UGC)。社區(qū)問答系統(tǒng)正是產(chǎn)生UGC的典型代表之一,海量的UGC資源對于促進問答技術(shù)的發(fā)展帶來了新的機遇,同時也給網(wǎng)絡(luò)社區(qū)問答資源的挖掘帶來了新的挑戰(zhàn)。因此,如何有效的從海量的用戶生成內(nèi)容中識別高質(zhì)量的信息已經(jīng)成為了社區(qū)問答系統(tǒng)研究中的一項極為重要的工作。
　　本文以自動評價社區(qū)問答系統(tǒng)中用戶生成答案的質(zhì)量為目標(biāo),從社區(qū)問答

2、系統(tǒng)中答案的文本信息和非文本信息的特征表示與融合兩方面入手,針對社區(qū)問答系統(tǒng)中用戶生成答案的質(zhì)量評價方法展開研究。具體地,本文的研究內(nèi)容主要包含如下3個方面。
　　本文首先分析了社區(qū)問答系統(tǒng)文本信息的特點,在此基礎(chǔ)上通過實驗比較了兩種不同粒度的文本特征。以表層語言學(xué)特征和社會化特征為基礎(chǔ)的非文本特征已被廣泛的應(yīng)用于評價社區(qū)問答系統(tǒng)的答案質(zhì)量。本文針對此類非文本特征,在大規(guī)模的問答語料中進行了詳細地統(tǒng)計分析。在此基礎(chǔ)上,采用邏輯斯蒂

3、回歸模型對各個特征在最佳答案識別的效用上進行了分析。
　　本文將社區(qū)問答系統(tǒng)答案質(zhì)量評價問題看做是一個分類問題。在分析了基于傳統(tǒng)分類方法中的SVM模型和邏輯斯蒂回歸模型等主流方法在答案質(zhì)量評價問題中的不足之后,本文提出了分別基于隨機特征子空間和基于內(nèi)容結(jié)構(gòu)與社會化信息的兩種協(xié)同訓(xùn)練方法。實驗結(jié)果表明本文提出的協(xié)同訓(xùn)練方法只需要少量的標(biāo)注樣本就能取得跟主流的有監(jiān)督學(xué)習(xí)方法相當(dāng)甚至更好的答案質(zhì)量評價性能。
　　社區(qū)問答系統(tǒng)的答案

4、信息屬于典型的短文本信息,詞語頻度統(tǒng)計的效力極為有限使得傳統(tǒng)的基于詞語共現(xiàn)關(guān)系的文本特征在答案質(zhì)量評價問題中的表現(xiàn)很不理想。雖然融合被廣泛使用的非文本特征對于提升答案質(zhì)量評價的性能在一定程度上起了積極的作用,但是其提升能力極為有限。本文在分析了文本特征和非文本特征的特點以及當(dāng)前主流的分類模型在統(tǒng)合不同特征的能力的局限性之后,提出了基于多模式深度學(xué)習(xí)的答案質(zhì)量評價方法。在百度知道和Yahoo!Answers兩個數(shù)據(jù)集上的實驗結(jié)果表明,本文