基于文本信息檢索的知識發(fā)現(xiàn)技術(shù)研究.pdf

1、知識發(fā)現(xiàn)是當(dāng)前一個極負挑戰(zhàn)的研究領(lǐng)域.知識發(fā)現(xiàn)的理論、方法和應(yīng)用的研究為越來越多的國內(nèi)外研究者所關(guān)注.文本數(shù)據(jù),是知識發(fā)現(xiàn)研究的一種重要的數(shù)據(jù)對象,而文本信息檢索也是知識發(fā)現(xiàn)的一個重要的應(yīng)用領(lǐng)域.該文以文本信息檢索為背景,對文本數(shù)據(jù)的空間索引、快速角分類神經(jīng)網(wǎng)絡(luò)以及加權(quán)關(guān)聯(lián)規(guī)則發(fā)現(xiàn)中的頻繁加權(quán)項目集的發(fā)現(xiàn)等知識發(fā)現(xiàn)領(lǐng)域中的問題進行了系統(tǒng)的研究.并根據(jù)研究獲得的成果,實現(xiàn)了一個新聞信息檢索系統(tǒng).首先,為在文本信息檢索中實現(xiàn)"快速的檢索與指

2、定的文本信息內(nèi)容接近的信息"的查詢請求,該文提出以空間索引作為文本信息的表示特征的解決方案.通過為文本集中的文本信息建立空間索引,"檢索與指定的文本信息內(nèi)容接近的信息"這一檢索請求轉(zhuǎn)換成低維歐氏空間中點與點之間距離的判定.為構(gòu)造文本信息的空間索引,對空間索引方法進行了回顧:首先討論了該問題的精確求解算法MDS;然后介紹了該問題的快速求解算法FastMap.MDS方法的時間復(fù)雜度是O(n<'2>),而FastMap建立的數(shù)據(jù)的空間索引具有

3、較高的stress值.閾于MDS和FastMap算法的不足,提出了MDS-NN和FastMap-MDS兩種新型的文本信息的空間索引構(gòu)造方法.由于上述空間索引方法僅基于數(shù)據(jù)之間的距離信息,因此可以很容易應(yīng)用到需要為其它類型的多媒體數(shù)據(jù)對象(如圖像、聲音等)建立空間索引的需求中.其次,為實現(xiàn)文本信息檢索的個性化推薦,對快速角分類前向神經(jīng)網(wǎng)絡(luò)進行了研究.對以CC4為代表的角分類前向神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法,提出了基于泛化距離的幾何解釋,并對CC4網(wǎng)

4、絡(luò)的計算傾向性進行了嚴格的數(shù)學(xué)分析.在上述研究和分析的基礎(chǔ)之上,提出了基于實數(shù)的L-離散化的角分類神經(jīng)網(wǎng)絡(luò)ExtendCC4、混合神經(jīng)元神經(jīng)網(wǎng)絡(luò)RealCC、基于文本信息余弦相似度的角分類神經(jīng)網(wǎng)絡(luò)TextCC等三種可以接受實向量輸入的快速角分類神經(jīng)網(wǎng)絡(luò).為使角分類神經(jīng)網(wǎng)絡(luò)能夠進行數(shù)據(jù)隸屬的多類別判定,對角分類神經(jīng)網(wǎng)絡(luò)的隱層與輸出層之間的連接矩陣的學(xué)習(xí)算法進行了新的規(guī)定.第三,為了從用戶的查詢歷史數(shù)據(jù)中獲得一段時間內(nèi)用戶比較穩(wěn)定的查詢行為

5、,對加權(quán)關(guān)聯(lián)規(guī)則中的頻繁加權(quán)項目集的快速發(fā)現(xiàn)算法進行了研究.為提供更多的決策支持信息,與通常的關(guān)聯(lián)規(guī)則的研究不同,加權(quán)關(guān)聯(lián)規(guī)則研究需要考慮每個項目和項目集的權(quán)重信息.給出了頻繁加權(quán)項目集的快速發(fā)現(xiàn)算法WeightedFP.實驗顯示,與已有的同類算法相比,WeightedFP的效率顯著提高.最后,為了在文本信息檢索中實現(xiàn)查詢結(jié)果的個性化推薦,用戶焦點被用于用戶特征的組織.給出了用戶焦點的形式化描述.頻繁加權(quán)項目集快速發(fā)現(xiàn)算法Weighte