基于貝葉斯推理的搜索引擎設(shè)計(jì)與實(shí)現(xiàn).pdf

1、伴隨Internet和Web技術(shù)的飛速發(fā)展,語音、視頻、網(wǎng)絡(luò)日志、互聯(lián)網(wǎng)搜索索引、互聯(lián)網(wǎng)文本文件等技術(shù)的廣泛使用帶來了數(shù)據(jù)量的急劇增長,這預(yù)示著大數(shù)據(jù)時代的到來。正是因?yàn)檫@個世界的不斷信息化、數(shù)字化的發(fā)展，搜索引擎技術(shù)就成為了人們獲取網(wǎng)絡(luò)信息資源的重要途徑，它的重要性深入人心。而普通的通用搜索引擎已經(jīng)很難快速、準(zhǔn)確的找到用戶需要的網(wǎng)頁，所以垂直搜索引擎的產(chǎn)生就成為了必然。
　　本文探討了如何將樸素貝葉斯算法加入網(wǎng)絡(luò)爬蟲系統(tǒng)中，并利

2、用一個已搭建好的通用爬蟲系統(tǒng) Heritrix，使用樸素貝葉斯算法對網(wǎng)頁進(jìn)行分類，即使是抽象的主題查詢也能保證查詢結(jié)果的查準(zhǔn)率和查全率。在對網(wǎng)頁分類的過程中，首先要處理網(wǎng)頁內(nèi)容，所以我在設(shè)計(jì)中加入了中文分詞算法。前人的研究中主要是集中在基于規(guī)則和基于統(tǒng)計(jì)的分詞方法，歸納起來這些方法主要面臨的困難有：分詞規(guī)范、歧義切分和未定登錄詞的識別。為了解決這些問題，我們引入上下文信息的分詞方法，一方面由于得到上下文信息的指導(dǎo)，與基于詞典的方法一樣很

3、好的解決了分詞規(guī)范和歧義切分的問題，在獲取上下文信息中使用統(tǒng)計(jì)的方法，又很好的避免了未登錄詞對系統(tǒng)造成的影響。
　　算法中使用的貝葉斯學(xué)習(xí)就是根據(jù)先驗(yàn)信息以概率的方法來預(yù)測未知事件發(fā)生的可能性。所以在運(yùn)用于主題爬蟲的分類時，需要收集一些網(wǎng)頁用作訓(xùn)練數(shù)據(jù)，提取特征詞屬于每個類別的先驗(yàn)概率。樸素貝葉斯規(guī)定，給定的目標(biāo)值性之間的相互條件必須是獨(dú)立的，應(yīng)用到文本分類時，則規(guī)定詞匯在確定文本類別作用上是相互獨(dú)立的。互聯(lián)網(wǎng)這個非平穩(wěn)系統(tǒng)符合這