基于機器學習的主題Web挖掘技術.pdf

1、隨著網絡信息資源的急劇增長,人們越來越多地關注如何快速有效地從海量的網絡信息中,獲取潛在的、有價值的信息,使之有效地在管理和決策中發(fā)揮作用.但當用戶面對這個海量、異構、半結構化的信息庫時,常常發(fā)現(xiàn)要查找到所需的信息要耗費大量的時間和精力,甚至難以找到,造成了"信息過載、知識匱乏"的現(xiàn)象.主題Web挖掘是近幾年內興起的一個被廣泛關注的研究課題.它利用主題頁面在Web上的分布特點,根據(jù)用戶或系統(tǒng)定義的目標主題,以智能的方法在線爬行Web頁面

2、,收集與目標主題相關的頁面,并對收集到的頁面進行智能分析和處理,最后將處理的頁面集合以靈活方便的檢索方式提供給用戶使用.許多項目的研究結果表明,主題Web挖掘方法能夠保持較高的主題相關度,提高查詢的精度.這為提高用戶查詢效率,提供了一個新的研究方向. 本文的貢獻和創(chuàng)新工作主要體現(xiàn)在以下幾個方面:1.本文研究和分析了Web挖掘技術和機器學習理論.Web挖掘根據(jù)挖掘對象的不同被分為三類,Web內容挖掘、Web結構挖掘、Web使用記錄

3、挖掘.文中介紹了主題Web挖掘的理論及當前的研究現(xiàn)狀,結合主題Web頁面在網絡中的分布特征,闡明了進行主題Web挖掘的依據(jù)及存在的困難.機器學習是人工智能領域的一個重要分支,它主要研究計算機怎樣模擬或實現(xiàn)人類的學習行為,有目的地自動增進其性能,以獲取新的知識或技能,重新組織已有的知識結構使之不斷改善自身的性能.本中主要研究了機器學習理論,對機器學習的模型、分類、及發(fā)展歷程作了介紹.同時,對機器學習在Web挖掘領域的應用前景作了描述.2.

4、Web爬蟲是一類可以通過下載Web頁面、分析頁面內容、并跟隨其中的鏈接來遞歸遍歷Web的計算機程序.主題Web爬蟲能夠根據(jù)用戶或信息檢索定義的目標主題,以智能的方式在線爬行Web,在有限的時間和空間資源條件下,收集到盡可能多的主題相關Web頁面.如何有效地控制主題爬蟲爬行策略是影響Web挖掘成功的最重要因素之一.本文結合機器學習理論,引入反例樣本學習理念,提出一種新的主題爬蟲爬行策略.實驗證明該策略能有效的提高查詢的收獲率.3.Web頁