貝葉斯網(wǎng)絡(luò)在Web數(shù)據(jù)挖掘中的研究及應(yīng)用.pdf

1、隨著Internet的迅猛發(fā)展，如何在Web這個全球最大的數(shù)據(jù)集合中找到有價值的信息，并從中提取出知識內(nèi)容已經(jīng)成為目前數(shù)據(jù)挖掘、信息檢索和知識管理等研究領(lǐng)域的重要課題。Web挖掘是指對Web文檔的內(nèi)容、Web上可利用資源的使用情況以及資源之間的關(guān)系進行分析，從中發(fā)現(xiàn)有效的、新穎的、潛在有用的、并且最終可理解的模式。作為機器學習主要技術(shù)之一的貝葉斯網(wǎng)絡(luò)表示了世界中客體間的因果聯(lián)系與條件概率分布，其所蘊涵的不確定性知識及規(guī)則是進行不精確推理

2、的主要工具。它的結(jié)構(gòu)就蘊涵了規(guī)則，而伴隨各節(jié)點的條件概率則表達了某種知識。貝葉斯網(wǎng)絡(luò)在統(tǒng)計學、決策分析、人工智能等領(lǐng)域已有越來越多的應(yīng)用。 由于XML能夠使不同來源的結(jié)構(gòu)化的數(shù)據(jù)很容易地結(jié)合在一起，因此使搜索多樣的不兼容數(shù)據(jù)庫能夠成為可能，從而為解決Web數(shù)據(jù)挖掘難題帶來了希望。本文以股票數(shù)據(jù)的抽取為例介紹了一種運用XML技術(shù)對Web上數(shù)據(jù)抽取與存儲的方法。該方法不需開發(fā)人員掌握屬于特定系統(tǒng)的專門查詢語言，對目標Web頁面的簡單

3、更改有一定的處理能力，而且對于不同頁面的不同數(shù)據(jù)的抽取只需對XSL變換代碼進行少許更改。 在對貝葉斯統(tǒng)計方法、基于KL距離和相互信息方法、基于最小描述長度原理等評分函數(shù)方法進行詳細的推導(dǎo)、分析后，本文提出了一種附加復(fù)雜度約束條件的最大信息熵評分函數(shù)，并設(shè)計了一種基于模擬退火的貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)學習算法。通過此算法使用股票歷史數(shù)據(jù)分析訓(xùn)練出網(wǎng)絡(luò)的拓撲結(jié)構(gòu)，并學習得到網(wǎng)絡(luò)各節(jié)點的條件概率表，用得到的貝葉斯模型預(yù)測股票的價格走勢及股票價格