問(wèn)題微博的自動(dòng)識(shí)別技術(shù)研究.pdf

1、隨著微博、Twitter、Facebook等社交網(wǎng)絡(luò)的發(fā)展，人們?cè)絹?lái)越多地通過(guò)社交網(wǎng)絡(luò)進(jìn)行信息互動(dòng)和信息尋求，在狀態(tài)域中提問(wèn)已經(jīng)成為流行的信息尋求行為之一。直接在社交網(wǎng)絡(luò)中提問(wèn)不但可以避免生成查詢、選擇答案，還可以獲得可信的、個(gè)性化的回答，因此社交網(wǎng)站中問(wèn)題的識(shí)別與答案推薦具有重要的實(shí)際意義與研究?jī)r(jià)值。本文首次提出對(duì)新浪微博中的信息尋求行為和問(wèn)題識(shí)別技術(shù)進(jìn)行研究，主要包含以下內(nèi)容:
　　第一，構(gòu)建數(shù)據(jù)集。對(duì)新浪微博進(jìn)行采樣，分析選

2、取的微博樣本，給出“問(wèn)題微博”的定義，并把問(wèn)題微博分為12大類。此外，歸納總結(jié)當(dāng)前國(guó)內(nèi)外不同領(lǐng)域中的問(wèn)題識(shí)別技術(shù)方案，并分析問(wèn)題微博識(shí)別的難點(diǎn)。
　　第二，提出基于序列模式的問(wèn)題自動(dòng)識(shí)別技術(shù)。從詞義和語(yǔ)法兩個(gè)層面上提取微博序列特征，將微博轉(zhuǎn)化為詞義序列和語(yǔ)法序列，并使用頻繁序列模式挖掘算法獲取滿足支持度和置信度的序列模式。實(shí)驗(yàn)得到基于詞義和語(yǔ)法序列特征的問(wèn)題識(shí)別精度分別為55.7％和76.5％。結(jié)果表明，當(dāng)最小支持度較高、置信度適

3、中時(shí)得到的詞義序列模式取得的F1值較好;相反，在最小支持度適中，置信度較高時(shí)獲得的語(yǔ)法序列模式更有利于問(wèn)題的識(shí)別。
　　第三，特征提取是問(wèn)題識(shí)別的關(guān)鍵技術(shù)。本文詳細(xì)研究了微博疑問(wèn)詞、長(zhǎng)度、區(qū)分度詞語(yǔ)等8種內(nèi)部文本特征;利用外部資源如百度知道、百度百科、微博搜索等提取外部輔助特征;使用LDA主題分類計(jì)算微博的主題分布特征。問(wèn)題微博識(shí)別是二元分類問(wèn)題，通過(guò)實(shí)驗(yàn)比較不同特征及不同分類器對(duì)微博的分類效果，結(jié)果表明樸素貝葉斯分類器的問(wèn)題識(shí)別