WEB文本挖掘中關(guān)鍵問題的研究.pdf

1、隨著互聯(lián)網(wǎng)和通訊網(wǎng)的迅猛發(fā)展，網(wǎng)絡(luò)文本成為信息的主要載體及人們生活中不可或缺的主要信息來源，文本挖掘技術(shù)的研究意義和實用價值越來越突出。另一方面，隨著Web2.0時代的到來，出現(xiàn)了越來越多的由用戶創(chuàng)作的網(wǎng)絡(luò)數(shù)字內(nèi)容。用戶數(shù)字內(nèi)容的大量產(chǎn)生和傳播使得短文本計算、Web文本信息抽取、文本情感分析等逐漸成為Web文本挖掘研究的熱點問題。針對這些問題，本文進(jìn)行了以下研究： (1)基于統(tǒng)計語言模型的短文本計算。針對短文本包含字符少、文本語

2、言不規(guī)范、文本數(shù)量巨大的特點，本文提出了一種基于N-gram的特征提取和RPCL(Rival Penalized Competitive Learning)的短文本聚類算法。首先進(jìn)行基于字符級的N-gram特征提取，即從未分詞的語料中抽取中文塊。中文塊可以是一個漢字、一個詞或者字符串，這樣，中文塊不但可以表達(dá)短文本的語義信息，而且能夠保留語序結(jié)構(gòu)和字符之間的依賴。然后通過統(tǒng)計子串約減和互信息過濾得到候選中文塊集合。最后，使用一種神經(jīng)網(wǎng)絡(luò)

3、聚類算法RPCL對短文本進(jìn)行聚類。實驗結(jié)果表明，這種基于N-gram的特征提取和RPCL的短文本聚類算法能夠有效的對短文本聚類，并能有效的降低特征的維度。 (2)面向廣告推薦和情感分析的Web文本信息抽取。針對廣告推薦中的復(fù)合詞抽取問題，本文提出了基于隱馬爾科夫模型的半監(jiān)督中文復(fù)合詞抽取算法。從少量種子復(fù)合詞出發(fā)，通過設(shè)定一個BEMI(Begin，End，Middle，Independent)模板，使用隱馬爾科夫模型識別與種子復(fù)

4、合詞具有相同或相似信息的復(fù)合詞。算法采用Bootstrapping的學(xué)習(xí)方法，通過自學(xué)習(xí)不斷增大復(fù)合詞列表的規(guī)模。實驗結(jié)果表明，本算法可以滿足廣告系統(tǒng)關(guān)鍵詞推薦的信息抽取需求，并具有較高的準(zhǔn)確率和可以接受的召回率。 針對文本分析問題中情感詞抽取的問題，本文提出了基于最大熵和LMR(Left，Middle，Right)模板的中文情感詞抽取算法。通過對文本設(shè)定一個滑動窗口，使用LMR模板標(biāo)記詞的位置信息，使用詞、詞的先后位置信息、詞

5、性信息作為特征，對情感詞進(jìn)行識別和抽取。實驗結(jié)果表明，本算法具有較高的召回率和準(zhǔn)確率，同時在某些特征組合的情況下，情感詞抽取具有良好的魯棒性。 (3)基于監(jiān)督和半監(jiān)督的文本情感分類。針對網(wǎng)絡(luò)上大量流行音樂、網(wǎng)友原創(chuàng)、改編的音樂，本文提出了一種對音樂歌詞的情感分類方法。首先，通過對歌詞語料庫的詞進(jìn)行統(tǒng)計發(fā)現(xiàn)其分布基本符合齊夫定律，但與中文分類通用語料庫(863計劃文本分類測試數(shù)據(jù))中詞語分布略有差異。由于對歌詞表現(xiàn)的情感進(jìn)行的分類

6、不同于按照主題對普通文本的分類任務(wù)，所以需要抽取更多表現(xiàn)情感色彩的特征。本文在N元模型的框架下采取了三種不同的預(yù)處理方法(不同N-gram模板、消去停用詞、按詞性過濾)抽取更多的歌詞情感語義特征，并提出了帶有高斯先驗和指數(shù)先驗的最大熵模型的分類算法對歌詞的情感特征進(jìn)行建模。實驗結(jié)果表明，具有高斯先驗和指數(shù)先驗的最大熵模型非常適合用于歌詞情感分析問題。 針對實際的情感分類中標(biāo)注數(shù)據(jù)不足的情況，本文提出了一種基于半監(jiān)督學(xué)習(xí)的文本情感

7、分類算法。假設(shè)空間中存在一個情感流形結(jié)構(gòu)，將待分類文本看作是這個情感流形上抽樣的點。首先，利用這些點的鄰域信息進(jìn)行構(gòu)圖，每個點與它近鄰的邊的權(quán)重使用它的近鄰線性加權(quán)表示；然后，將該圖看作是一個概率轉(zhuǎn)移矩陣，各類別的標(biāo)簽在此矩陣上擴(kuò)散完成情感分類過程。在電影評論和中文歌詞語料集上的實驗結(jié)果表明，該算法在文本情感分類上具有良好的性能。 (4)文本觀點檢索。以本文作者2008年參加的COAE2008中的面向主題的中文文本觀點檢索任務(wù)為