基于加權(quán)異構(gòu)信息網(wǎng)絡(luò)的多維文本數(shù)據(jù)分析技術(shù)研究.pdf

1、在一個(gè)信息爆炸的時(shí)代，如何在含有大量文本的數(shù)據(jù)中，準(zhǔn)確把握脈絡(luò)和重點(diǎn)，快速的獲得有用的信息，并且合理的管理和使用這些信息，進(jìn)而實(shí)現(xiàn)對(duì)數(shù)據(jù)體系更準(zhǔn)確的判斷和預(yù)測(cè)，已經(jīng)成為當(dāng)今亟待解決的問題。在不同種類的數(shù)據(jù)形式中，本文針對(duì)一種特定的含有文本的數(shù)據(jù)，即多維文本數(shù)據(jù)，開展研究。
　　多維文本數(shù)據(jù)在商業(yè)、科學(xué)等領(lǐng)域都廣泛存在，其數(shù)據(jù)實(shí)體既包含多維結(jié)構(gòu)化數(shù)據(jù)，也包含描述性文本數(shù)據(jù)，大多數(shù)情況下，描述性文本數(shù)據(jù)中蘊(yùn)含了很多重要信息。信息網(wǎng)絡(luò)是

2、我們分析研究中經(jīng)常使用的模型工具，韓家煒等人開創(chuàng)性的提出可以利用信息網(wǎng)絡(luò)分析方法，從數(shù)據(jù)庫中發(fā)現(xiàn)知識(shí)。
　　近年來，對(duì)于多維文本數(shù)據(jù)的研究大多在分類和聚類、情感分析、意見挖掘等方面，而新興的信息網(wǎng)絡(luò)分析方法的研究主要針對(duì)不含有文本屬性的信息處理方面。目前這兩類研究已經(jīng)各自形成了較為系統(tǒng)的研究體系，并積累了一定的研究成果，而我們的研究是嘗試推動(dòng)兩者交匯融合，改變以往屬性數(shù)據(jù)和文本數(shù)據(jù)各自分別分析的不足。信息網(wǎng)絡(luò)分析方法，分析的不僅僅

3、是單一的實(shí)體節(jié)點(diǎn)，還包括節(jié)點(diǎn)間的相互聯(lián)系，以及節(jié)點(diǎn)所蘊(yùn)含的信息內(nèi)容。本文中的信息網(wǎng)絡(luò)，即是將具有文本內(nèi)容、相互之間又具有聯(lián)系的數(shù)據(jù)實(shí)體，抽象為圖結(jié)構(gòu)，以節(jié)點(diǎn)表示實(shí)體，以節(jié)點(diǎn)之間的邊來表達(dá)實(shí)體之間的關(guān)聯(lián)。利用信息網(wǎng)絡(luò)分析方法對(duì)多維文本數(shù)據(jù)中的結(jié)構(gòu)化屬性數(shù)據(jù)和非結(jié)構(gòu)化文本數(shù)據(jù)進(jìn)行綜合分析，互相促進(jìn)，充分利用含有文本內(nèi)容的多維文本數(shù)據(jù)的全部信息，為多維文本數(shù)據(jù)分析技術(shù)探索有效的分析手段。
　　構(gòu)建文本特征維度是對(duì)多維文本數(shù)據(jù)進(jìn)行分析的重

4、要基礎(chǔ)和研究方法。文本特征維度，是指可以將文本文檔集合映射成樹節(jié)點(diǎn)，每個(gè)節(jié)點(diǎn)代表一個(gè)分類，特征維度樹的根節(jié)點(diǎn)代表全體文檔集合，每一層的節(jié)點(diǎn)代表相應(yīng)的小類集合，使文本數(shù)據(jù)有維度層次的性質(zhì)。本文探索如何利用信息網(wǎng)絡(luò)分析方法在多維文本數(shù)據(jù)中自動(dòng)構(gòu)建文本特征維度，提高分析結(jié)果的可讀性。
　　一個(gè)有維度的文本數(shù)據(jù)集可以進(jìn)行鉆取、切片等OLAP操作，本文基于信息網(wǎng)絡(luò)分析方法對(duì)多維文本數(shù)據(jù)集進(jìn)行多社團(tuán)發(fā)現(xiàn)并生成了特征維度樹，提出了一種新的基于加

5、權(quán)異構(gòu)信息網(wǎng)絡(luò)多社團(tuán)發(fā)現(xiàn)的維度生成方法，將維映射為文本特征維，層映射為每次迭代計(jì)算生成的加權(quán)異構(gòu)信息網(wǎng)絡(luò)，度量映射為集合的特征短語。本文所作的工作如下:
　　1.探索多維文本數(shù)據(jù)有效分析和建立文本特征維度的方法
　　提出一種基于加權(quán)異構(gòu)信息網(wǎng)絡(luò)多社團(tuán)發(fā)現(xiàn)的維度生成方法。與TopicCube、MCX等單一文本數(shù)據(jù)分析方法等相比，本文的維度生成方法利用了信息網(wǎng)絡(luò)分析方法來進(jìn)行結(jié)構(gòu)化屬性類數(shù)據(jù)、非結(jié)構(gòu)化文本類數(shù)據(jù)的綜合分析，使用特

6、征短語做度量，實(shí)現(xiàn)了生成非結(jié)構(gòu)化文本類數(shù)據(jù)的文本特征維度，使得維度結(jié)果簡(jiǎn)單直觀。通過實(shí)驗(yàn)驗(yàn)證該方法具有良好的發(fā)現(xiàn)效果。
　　2.提出加權(quán)異構(gòu)信息網(wǎng)絡(luò)模型的構(gòu)建方法
　　提出一種基于關(guān)聯(lián)路徑的信息網(wǎng)絡(luò)構(gòu)建方法。針對(duì)難以進(jìn)行更精細(xì)分析的文本對(duì)象時(shí)，尋找密切關(guān)聯(lián)的新屬性對(duì)象代表原文本對(duì)象進(jìn)行分析，基于新舊對(duì)象關(guān)聯(lián)共生的屬性，對(duì)新對(duì)象的分析就是對(duì)原文本對(duì)象的進(jìn)一步分析，達(dá)成創(chuàng)造新的證據(jù)支持對(duì)原文本對(duì)象進(jìn)行分析的目的。提出的加權(quán)異構(gòu)信

7、息網(wǎng)絡(luò)構(gòu)建算法，將文本對(duì)象用向量空間模型表示，根據(jù)文檔中特征短語出現(xiàn)的位置和詞頻，計(jì)算所有文檔之間的內(nèi)容相似度，構(gòu)造文檔-文檔的關(guān)聯(lián)邊;根據(jù)作者之間的合作路徑關(guān)系，修正計(jì)算所有文檔之間的相似度;用文檔間相似度的評(píng)價(jià)修正作者間相似度的權(quán)重，迭代計(jì)算同類節(jié)點(diǎn)間的權(quán)重，根據(jù)所有節(jié)點(diǎn)間關(guān)聯(lián)邊構(gòu)造出加權(quán)異構(gòu)信息網(wǎng)絡(luò)。
　　3.提出加權(quán)異構(gòu)信息網(wǎng)絡(luò)的按粒度進(jìn)行多社團(tuán)發(fā)現(xiàn)的維度生成算法
　　提出一種針對(duì)加權(quán)異構(gòu)信息網(wǎng)絡(luò)的按粒度進(jìn)行多社團(tuán)發(fā)