基于聚類分析的網(wǎng)絡(luò)用戶興趣挖掘方法研究.pdf

1、網(wǎng)絡(luò)應(yīng)用的深入發(fā)展使網(wǎng)絡(luò)信息服務(wù)系統(tǒng)的服務(wù)模式從集中統(tǒng)一的被動型向分布式個性化的主動型演進。實現(xiàn)這種服務(wù)模式轉(zhuǎn)換的一個前提條件是對網(wǎng)絡(luò)用戶需求規(guī)律的深入理解，進而依據(jù)這些規(guī)律指導(dǎo)信息服務(wù)系統(tǒng)的信息資源組織與調(diào)整，使用戶的需求信息與系統(tǒng)提供的盡可能一致。網(wǎng)絡(luò)用戶興趣作為網(wǎng)絡(luò)用戶信息需求規(guī)律的一種形態(tài)，是構(gòu)造新一代信息服務(wù)系統(tǒng)中資源組織自適應(yīng)機制的工作基礎(chǔ)。
　　本文圍繞用戶興趣模式提取這一目標，以用戶訪問的網(wǎng)頁中文文本信息為對象，利

2、用復(fù)雜網(wǎng)絡(luò)理論、圖論、隨機過程理論、人工免疫網(wǎng)絡(luò)原理及中文語義計算等方法與技術(shù)，較為深入的研究基于文本聚類的用戶興趣挖掘算法及相關(guān)問題，以期在降低聚類算法的計算復(fù)雜度，實現(xiàn)軟聚類及探索新的處理方法等方面進行有益的嘗試。主要研究內(nèi)容包括下述四個方面：
　?。?）用戶興趣挖掘模型。網(wǎng)絡(luò)用戶興趣模式是用戶個體和用戶群體使用網(wǎng)絡(luò)行為規(guī)律的描述，網(wǎng)絡(luò)興趣挖掘模型則是獲取用戶興趣模式的一組規(guī)范處理流程。針對Web用戶訪問Web站點的行為過程，

3、本文依據(jù)全信息理論中的信息過程模型，提出了一種網(wǎng)絡(luò)用戶興趣挖掘概念模型，其核心是從信息認知角度描述挖掘用戶興趣模式的處理過程，這種信息認知是由語法認識和語義認知二個層次來描述。該挖掘模型的重要特點是將多層次多角度的用戶興趣處理過程統(tǒng)一到一個框架
　　中。為了具體指導(dǎo)網(wǎng)絡(luò)用戶興趣挖掘工作，文本給出基于聚類分析的用戶興趣模式及遷移模式的挖掘模型。應(yīng)用實踐表明所提出兩個模型是合理的。
　?。?）文本聚類中的降維處理算法。針對文本特

4、征集維數(shù)較大這一典型問題，利用小世界網(wǎng)絡(luò)模型具有描述自然界和人造系統(tǒng)的動態(tài)屬性和結(jié)構(gòu)特征之間關(guān)系的特點，本文采用K-最近鄰耦合方式構(gòu)造文本詞語網(wǎng)絡(luò)圖，該文本詞語網(wǎng)絡(luò)中的節(jié)點表示文本中的詞語，邊表示詞語間的某種空間距離上的相鄰關(guān)系。引入詞語聚類系數(shù)變化量和平均最短路徑變化量度量詞語的重要性。通過計算詞語的這兩個變化量來確定詞語是否存在小世界特征，進而實現(xiàn)特證詞的選擇。該方法的特點從基于空間距離的文本組織結(jié)構(gòu)中選擇特征詞。實驗結(jié)果表明該方法

5、是有效的，為文本特征提取提供一條新的解決途徑。
　?。?）文本聚類算法研究。雖然已有許多成熟聚類方法較好地實現(xiàn)文本聚類分析，但由于詞語的多義性，文本特征的稀疏性以及文本類別分布的多樣性，使得聚類結(jié)果很難保證生成文本類別與人們所期望的類保持高度一致。為此，仍需從多種技術(shù)途徑研究聚類算法。
　　鑒于傳統(tǒng)基于優(yōu)化方法的聚類算法普遍存在需要事先知道聚類類別數(shù)，對類邊界不清晰的數(shù)據(jù)處理不當(dāng)及易陷入局部極大等問題，將人工免疫系統(tǒng)（Art

6、ificalImmuneSystem，AIS）方法引入到文本聚類處理之中，提出自適應(yīng)多克隆聚類算法，其主要處理環(huán)節(jié)是引入重組算子來增加抗體種群中個體的多樣性，以擴大解的搜索范圍，避免過早出現(xiàn)早熟現(xiàn)象；引入非一致變異算子增強局部求解的自適應(yīng)性，優(yōu)化局部求解性能，加快解的收斂速度；用親和度函數(shù)調(diào)節(jié)聚類類別。另外，利用Markov鏈證明算法的收斂性。針對文本數(shù)據(jù)，對上述算法進行適當(dāng)?shù)牟眉?，提出基于人工免疫網(wǎng)絡(luò)的文本聚類算法，實驗結(jié)果表明算法聚

7、類的有效性高。
　　現(xiàn)實生活中許多事物都可以用一個復(fù)雜的網(wǎng)絡(luò)來描述，在這些實際網(wǎng)絡(luò)中都存在著一個共同的性質(zhì)：社團結(jié)構(gòu)。復(fù)雜網(wǎng)絡(luò)中的社團結(jié)構(gòu)發(fā)現(xiàn)本質(zhì)上就是網(wǎng)絡(luò)上節(jié)點的聚類處理，本文將復(fù)雜網(wǎng)絡(luò)理論中的方法引入到文本聚類分析中，提出基于社團結(jié)構(gòu)發(fā)現(xiàn)的文本聚類算法，利用知網(wǎng)（Hownet）語義相似度計算公式，定義文本相似性度量方法，依據(jù)文本相似性構(gòu)造文本關(guān)聯(lián)圖，利用稱為Newman聚類算法實現(xiàn)文本的聚類分析。這種方法的特點是可處理大規(guī)模問

8、題。
　　針對目前的大多數(shù)文本聚類算法都將文本進行嚴格歸為一類和計算復(fù)雜度高的問題，考慮后綴樹模型能有效的表示特征詞間的關(guān)系、具有增量式更新以及遍歷時間短等特點，本文將后綴樹模型引入文本聚類中，提出了基于語義計算的后綴樹聚類算法，該算法通過對特征詞語義相似度和權(quán)重的判斷構(gòu)建后綴樹，選擇基類節(jié)點構(gòu)造基類連通圖，求解樹連通性以便實現(xiàn)聚類處理。為了降低算法的時間和空間復(fù)雜度，進一步提出基于語義后綴網(wǎng)的聚類算法，本算法的改進之處是：通過計

9、算特征詞間的語義相似度來構(gòu)建后綴網(wǎng)，使后綴網(wǎng)的節(jié)點數(shù)和分支數(shù)減小，并通過特征詞的權(quán)重判斷來選擇基類。實驗結(jié)果表明這兩種算法都能實現(xiàn)文本的軟聚類，時間復(fù)雜度小，且聚類的類簇標識可讀性強。
　?。?）網(wǎng)絡(luò)用戶興趣模式及變遷模式發(fā)現(xiàn)。用戶興趣模式實際形式是用一組有顯著類別的特征詞集合組成。本文通過計算文本簇中的大部分文本中出現(xiàn)同一個詞語或者出現(xiàn)一類詞義相似的詞語的詞頻來選擇生成用戶興趣模式的。用戶興趣的遷移模式是用戶興趣模式隨時間動態(tài)變

10、化的一種描述。針對文本存在多主題性這一問題，提出了一種基于隱馬爾可夫原理的用戶興趣序列獲取方法，該方法以用戶訪問序列和用戶興趣為對象，建立基于用戶興趣序列的隱馬爾可夫模型，采用其解碼問題相關(guān)算法實現(xiàn)用戶最優(yōu)興趣序列的獲取。采用序列模式挖掘算法獲得用戶興趣序列的頻繁模式。這些頻繁模式就是用戶興趣的遷移模式，其本質(zhì)是一種具有順序特征的用戶興趣關(guān)聯(lián)規(guī)則。為了提高挖掘效率，采用基于頻繁鏈表-存取樹（FlaAT）結(jié)構(gòu)的挖掘算法獲取頻繁模式，該算法