基于XML的Web文本挖掘應用研究.pdf

1、隨著互聯(lián)網(wǎng)的發(fā)展，WWW上信息量在快速的增長，網(wǎng)絡在為人們提供了大量信息的同時，也使得我們陷入一個矛盾，那就是一方面人們迫切地需要從Web上快速、有效地獲取知識，另一方面是Web上信息的數(shù)量太龐大并且信息內容結構復雜，處理這些信息具有很多困難。為了解決這個矛盾，Web挖掘技術提供了一種途徑，目前Web挖掘的研究正處在不斷發(fā)展的階段，需要在理論、實現(xiàn)方法與技術上進行大量的研究。Web挖掘技術是傳統(tǒng)數(shù)據(jù)挖掘技術在Web環(huán)境下的應用，其從大量

2、的Web文檔集合和用戶瀏覽Web的數(shù)據(jù)信息中發(fā)現(xiàn)蘊涵的、未知的、具有潛在應用價值的、非平凡的模式。 本文主要針對以上課題展開研究，主要內容如下： 論文分析了現(xiàn)有的數(shù)據(jù)挖掘、Web文本挖掘和XML的基本概念、方法和技術。通過對半結構化數(shù)據(jù)的處理及其關鍵技術(如數(shù)據(jù)抽取方法、轉換算法、挖掘方法等)的研究，提出了一種基于XML的Web文本挖掘實用方案。 首先，將www上半結構化的HTML網(wǎng)頁中的數(shù)據(jù)通過數(shù)據(jù)抽取、清洗和

3、格式轉換，得到有效的XML格式的數(shù)據(jù)。 然后，利用SQL SERVER2005的集成服務(SQL SERVER IntegrationServices，"SSIS")和分析服務(SQL SERVER Analysis Services，"SSAS")實現(xiàn)數(shù)據(jù)的轉換、裝載和挖掘。 最后，使用Visual Studio. NET和DMX(Data Mining eXtension)設計簡潔的圖形用戶界面以方便用戶瀏覽挖掘結果