面向金融問答的論壇觀點(diǎn)挖掘.pdf

1、近年來，隨著在線服務(wù)的飛速發(fā)展，互聯(lián)網(wǎng)形成了一個巨大、內(nèi)容豐富的信息庫，在線服務(wù)主要包括：百科知識、個人博客、在線論壇等等。其中，在線論壇作為一個特殊的網(wǎng)絡(luò)虛擬空間，在這里用戶可以提出問題、討論問題、并愿意與其他用戶一起分享知識及觀點(diǎn)，并在一定的獎懲機(jī)制下激發(fā)用戶空前的興趣。
　　在這樣的背景下，用戶如果對某一個產(chǎn)品或者信息感興趣的話，就需要去各個網(wǎng)站、論壇瀏覽或者搜索相關(guān)的信息，不僅費(fèi)時費(fèi)力，而且獲取的信息往往凌亂不全面。而我們

2、的金融觀點(diǎn)問答系統(tǒng)，正是滿足了用戶這樣的需要，系統(tǒng)將金融信息作為主題和切入點(diǎn)，針對用戶的提問檢索相關(guān)金融觀點(diǎn)后，主動為用戶進(jìn)行分類整理和統(tǒng)計，信息量大且友好。
　　本課題構(gòu)建了面向金融觀點(diǎn)的自動問答系統(tǒng)，主要解決以下三方面的問題：
　　1．論壇中金融觀點(diǎn)挖掘：
　　論壇中數(shù)據(jù)的組織形式通常為一個主貼、若干個跟帖，整個帖子中可能包含多個討論對象以及觀點(diǎn)評論，但也充斥著這種噪音，導(dǎo)致觀點(diǎn)所占的比例較少，為了有效識別這些觀點(diǎn)

3、評論，本課題采用了兩個步驟進(jìn)行過濾和分類。
　　第一步采用規(guī)則匹配的方法對明顯不是觀點(diǎn)的內(nèi)容進(jìn)行過濾，有效減少進(jìn)入分類器的句子數(shù)量，這樣不但能降低分類的代價，而且能提高正確率；第二步構(gòu)造觀點(diǎn)分類器，對句子提取了各種類型的布爾特征，使用信息增益進(jìn)行特征選擇，通過支持向量機(jī)方法進(jìn)行分類性能測試。對新測試數(shù)據(jù)的分類精度達(dá)到83.11％。
　　2．觀點(diǎn)傾向判別：
　　對于已經(jīng)識別為觀點(diǎn)的句子，需要進(jìn)一步判別其傾向，觀點(diǎn)傾向總共

4、分為四類，包括積極、消極、中立以及比較?？紤]到傾向性標(biāo)注語料數(shù)量有限，并且特征分布稀疏，本課題采用基于圖的半監(jiān)督學(xué)習(xí)方法對分類為觀點(diǎn)的未標(biāo)注傾向語料進(jìn)行擴(kuò)展：學(xué)習(xí)方法采用句子相似度建立圖模型，相似度計算包括兩個句子中詞的相似度、詞的語義相似度、句子間語義相似度、比較類模板相似度以及正負(fù)情感詞相似度等；采用改進(jìn)后的迭代標(biāo)注傳播算法對語料傾向進(jìn)行相似性傳遞，并且極大減少圖傳遞的時間復(fù)雜度；之后在擴(kuò)展語料的基礎(chǔ)上進(jìn)行訓(xùn)練，十種類型的特征，包括

5、詞、擴(kuò)展詞、二元詞、語義、正負(fù)情感詞、正負(fù)模板、比較類模板以及句子結(jié)構(gòu)特征等，使用信息增益進(jìn)行特征選擇，通過支持向量機(jī)方法進(jìn)行分類性能測試，同等條件下，取得了比全監(jiān)督分類方法更高的準(zhǔn)確率。
　　此外，還需識別句子的評論對象，若句子不存在承前省略的情況，可直接匹配一個或多個對象；若存在承前省略，則需要通過規(guī)則匹配的方法向前回溯找到一個或多個對象，采用規(guī)則在人工標(biāo)注的語料中測試，正確率達(dá)到86%。
　　3．實時觀點(diǎn)庫：