基于XML的Web內(nèi)容挖掘技術研究.pdf

1、自從Internet誕生以來，互聯(lián)網(wǎng)上的信息正以指數(shù)形式飛速增長。如何在WWW這個全球最大的數(shù)據(jù)集合中發(fā)現(xiàn)用戶的有用信息己成為數(shù)據(jù)挖掘研究的熱點，Web數(shù)據(jù)挖掘也由此應運而生。 Web是一個巨大的、廣泛分布的、高度異構的、半結構化的、超文本、超媒體的、相互聯(lián)系并且不斷進化的信息倉庫；是一個巨大的文檔積累的集合，包括了豐富、動態(tài)的超鏈接信息以及Web頁面的訪問和使用信息。由于現(xiàn)行的網(wǎng)絡環(huán)境以HTML語言為基礎構建，它是一種只能描述

2、形式而不能揭示內(nèi)容的語言，因此，Web上的半結構化數(shù)據(jù)和異構數(shù)據(jù)源問題給Web數(shù)據(jù)挖掘帶來了困難。W3C開發(fā)的XML(eXtensibleMarkupLanguage)可擴展標記語言，支持豐富的數(shù)據(jù)結構，特別強調(diào)數(shù)據(jù)語義與元素之間的關系，因此基于XML的Web數(shù)據(jù)挖掘可以充分利用XML的特點，為Web數(shù)據(jù)挖掘帶來了新的契機。 首先，本文詳細闡述了基于XML語言的Web數(shù)據(jù)挖掘技術。通過介紹Web數(shù)據(jù)挖掘和XML的基本知識，分析了

3、XML語言在Web數(shù)據(jù)挖掘中的優(yōu)勢，在理論上提出了設計思想、建立了系統(tǒng)模型。 其次，本文通過三種途徑建立用戶模型，將XML和個性化技術應用到Web內(nèi)容挖掘，設計了一個基于XML的Web內(nèi)容挖掘系統(tǒng)(WCMS)，討論了WCMS的關鍵技術及實現(xiàn)，并進行了科技文獻分類查詢的系統(tǒng)應用。WCMS主要包含了Web文本預處理和Web文本挖掘兩個功能，利用權威頁面確定、XML以及特征提取等技術逐步地縮小數(shù)據(jù)量并得到能夠準確表達文本內(nèi)容的特征詞條

4、集合，用支持向量機的方法降低高維數(shù)據(jù)的維數(shù)，使文本挖掘處理的數(shù)據(jù)更加精煉。本文重點研究WCMS系統(tǒng)的Web文本預處理過程和方法。提出用XML技術將Web頁面上的信息進行結構化，進而再將這些Web文本表示成計算機能夠處理的形式，提取出對文本挖掘有用的信息，縮減數(shù)據(jù)量，形成一個文本特征庫來做為Web文本挖掘的基礎。Web文本預處理的結果對Web文本挖掘的質(zhì)量和效率有著很重要的影響。因此，Web文本預處理階段是至關重要的，需要進行詳細而完善的