面向個性化主題的半監(jiān)督文本聚類算法研究.pdf

1、隨著互聯(lián)網(wǎng)在全球范圍的普及，上網(wǎng)人數(shù)不斷增加，互聯(lián)網(wǎng)中積累的數(shù)據(jù)也在成指數(shù)級別的增長。這些數(shù)據(jù)中有相當(dāng)大的一部分?jǐn)?shù)據(jù)為文本數(shù)據(jù)。怎樣有效地分析這些文本數(shù)據(jù)，并從中挖掘有價值信息成為一個熱點研究的問題。在數(shù)據(jù)挖掘中，作為文本分析的重要技術(shù)措施之一的半監(jiān)督文本聚類方法，能夠有效利用少量監(jiān)督信息來提高聚類的性能。因此，這種方法被廣泛關(guān)注。大部分現(xiàn)有的半監(jiān)督文本聚類算法忽視或者不能很好的利用用戶的個體意愿，從而沒有辦法很好地實現(xiàn)個性化的文本劃分

2、，或者因為監(jiān)督信息的形式對用戶來說難以實現(xiàn)而導(dǎo)致算法的應(yīng)用范圍十分有限。此外，在實際的操作過程中，相對于龐大的文本數(shù)據(jù)，用戶能提供的監(jiān)督信息相當(dāng)稀少，使得這些少量的監(jiān)督信息對聚類過程的影響也十分有限。
　　基于對半監(jiān)督文本聚類相關(guān)研究背景及現(xiàn)有的半監(jiān)督聚類算法所存在問題的分析，本文研究內(nèi)容和研究成果體現(xiàn)在：
　?。?）本文提出了一種新的監(jiān)督信息格式，即感興趣和不感興趣這種關(guān)鍵詞的格式。這種新的監(jiān)督信息格式不僅便于用戶提供，而

3、且在一定程度上解決了用戶個性化的體現(xiàn)問題及監(jiān)督信息的形式問題。
　?。?）根據(jù)用戶提供的有限的監(jiān)督信息、文本和潛在主題中詞的分布，對監(jiān)督信息進行學(xué)習(xí)和擴充來解決監(jiān)督信息匱乏的問題。
　　LDA 在解決聚類問題上具有良好的性能，并且能夠挖掘出文本間潛在的主題。因此，本文將LDA引入到半監(jiān)督文本聚類問題中，使用罐子模型來模擬結(jié)合新的監(jiān)督信息形式的文本聚類過程。本文針對新提出的監(jiān)督信息形式并利用詞的分布對其擴展，提出了一種可擴展的

4、基于用戶偏好的半監(jiān)督文本聚類算法（ extended LDA ， exLDA ）。為了驗證算法的有效性，本文從新聞數(shù)據(jù)集20-newsgroups 中的不同角度選取五組真實數(shù)據(jù)集進行實驗，首先從監(jiān)督信息形式角度分析監(jiān)督信息的合理性和有效性，最后從監(jiān)督信息的擴展上驗證了擴展監(jiān)督信息對聚類結(jié)果的影響。在真實數(shù)據(jù)集上的實驗表明，同傳統(tǒng)和最新的半監(jiān)督文本聚類算法比較，在解決文本聚類的問題上，本文提出的exLDA算法具有更高的準(zhǔn)確度，同時能滿足用