非負矩陣分解及在社區(qū)檢測和搜索結果聚類中的應用.pdf

1、一方面，隨著互聯(lián)網(wǎng)上數(shù)據(jù)和信息的迅速增長，人們被淹沒在數(shù)據(jù)的海洋里。如何從這些海量的數(shù)據(jù)中獲取人們想要的信息，成為當今數(shù)據(jù)挖掘和機器學習面臨的主要任務。由于大數(shù)據(jù)的4V特征(Volume、Variety、Value、Velocity)，使得如何對這些海量的數(shù)據(jù)進行降維處理成為人們關心的主要問題之一。非負矩陣分解由于其能發(fā)現(xiàn)數(shù)據(jù)內(nèi)在的維度和結構、具有較好的可解釋性、可以直接對數(shù)據(jù)進行聚類分析等優(yōu)點，受到了人們的廣泛關注。另一方面，現(xiàn)實世界

2、的諸多系統(tǒng)都可以表示為復雜網(wǎng)絡的形式，而從復雜網(wǎng)絡中發(fā)現(xiàn)連接緊密的社區(qū)結構（即對節(jié)點進行聚類分析）具有重要的意義。近年來，復雜網(wǎng)絡社區(qū)檢測引起了人們極大的興趣，隨著復雜網(wǎng)絡社區(qū)檢測方法研究的深入，涌現(xiàn)出許多基于非負矩陣分解方法的社區(qū)發(fā)現(xiàn)模型，并取得了一些鼓舞人心的結果。
　　但基于非負矩陣分解的社區(qū)發(fā)現(xiàn)模型仍然存在以下問題:
　　(1)非負矩陣分解模型本身對初值敏感，面對網(wǎng)絡社區(qū)檢測問題需要考慮網(wǎng)絡自身結構特性設計有效的初值

3、選擇策略。(2)現(xiàn)有的用于網(wǎng)絡社區(qū)檢測的非負矩陣分解模型的有效性還有待進一步提高，已有模型沒有考慮對分解出的基向量進行正交約束，以增強分解結果的稀疏性。(3)現(xiàn)有的基于網(wǎng)絡社區(qū)檢測的非負矩陣分解方法沒有考慮節(jié)點自身的特性，如當網(wǎng)絡表示視頻之間的共觀看關系時，節(jié)點上的屬性即是視頻的標題短文本，需要研究基于非負矩陣分解的社會媒體短文本聚類及網(wǎng)絡和節(jié)點屬性相結合的非負矩陣分解方法。
　　針對以上問題，本論文的貢獻如下:
　　(1)

4、提出了一種新的矩陣分解初始化方法(CALS)，該方法使用Pagerank方法對原始矩陣進行排序，考慮節(jié)點的重要性和節(jié)點間的距離雙重因素選取k（社區(qū)個數(shù)）個初始值對基矩陣進行初始化。然后，使用最小二乘方法求解出隸屬度矩陣。在人工和真實數(shù)據(jù)集上的實驗結果表明:CALS不僅可以提高算法的穩(wěn)定性，而且提高了非負矩陣分解方法用于社區(qū)檢測的精度。
　　(2)提出了一種基于正交約束的非負矩陣分解模型(ALSOC)，正交約束的引入實現(xiàn)了分解的低秩

5、性、稀疏性?；谧钚《说姆椒ǖ牡蠼夥椒ㄔ谡鎸崝?shù)據(jù)集和人工合成數(shù)據(jù)集上的都表現(xiàn)出較好的性能。相關實驗結果證明了:ALSOC方法不僅可以保證結果的稀疏性，還可以提高算法的準確性。
　　(3)本文初步嘗試了非負矩陣分解方法在短文本聚類上的效果，并將非負矩陣分解方法用于優(yōu)酷UGC(User Generated Content)數(shù)據(jù)的搜索結果聚類。在優(yōu)酷內(nèi)部搭建一個視頻主題分析原型系統(tǒng)，以便對搜索結果進行二次整理，提高搜索結果的多樣性