主題驅(qū)動(dòng)的Web資源發(fā)現(xiàn)研究：模型、算法及應(yīng)用.pdf

1、萬維網(wǎng)信息的爆炸性增長(zhǎng)使Web已經(jīng)成為世界上最大的信息庫.面對(duì)這個(gè)海量、異構(gòu)、半結(jié)構(gòu)化的信息庫,Web用戶經(jīng)常發(fā)現(xiàn)要查找到所需的信息需要耗費(fèi)大量的精力,甚至難以找到,造成了"信息過載,知識(shí)匱乏"的問題.為了解決這個(gè)問題,在Web信息檢索領(lǐng)域產(chǎn)生了一個(gè)新的研究課題,即"主題驅(qū)動(dòng)的Web資源發(fā)現(xiàn)".它的基本思想可以概括為:根據(jù)用戶定義的目標(biāo)主題,以智能化的主題爬蟲從Web上收集主題相關(guān)的頁面集,然后采用機(jī)器學(xué)習(xí)或信息檢索的方法對(duì)收集到的信息

2、進(jìn)行智能處理和分析,最后以方便、有效的檢索方式滿足用戶的信息檢索需求.它的理論和技術(shù)基礎(chǔ)主要包括機(jī)器學(xué)習(xí)、信息檢索、概率統(tǒng)計(jì)理論和Web新技術(shù).在很多應(yīng)用領(lǐng)域,例如基于Web的行業(yè)分析、在線商業(yè)競(jìng)爭(zhēng)分析和自動(dòng)構(gòu)建專題數(shù)字圖書館等,主題驅(qū)動(dòng)的Web資源發(fā)現(xiàn)系統(tǒng)都富有應(yīng)用前景,與現(xiàn)有的Web搜索引擎可以形成良好的互補(bǔ).該文首先介紹了主題驅(qū)動(dòng)的Web資源發(fā)現(xiàn)的一些基本概念和主要的研究?jī)?nèi)容,然后對(duì)其中的三個(gè)關(guān)鍵問題進(jìn)行了深入的研究,包括主題爬蟲