搜索引擎的數(shù)據(jù)分析系統(tǒng)

1、搜索引擎的數(shù)據(jù)分析系統(tǒng)搜索引擎的數(shù)據(jù)分析系統(tǒng)來源:史占強(qiáng)作者:zjkszq19892012071208:41我來投稿參與評論數(shù)據(jù)分析系統(tǒng)，是搜索引擎整個(gè)工作流程的第二個(gè)系統(tǒng)，也就是既搜索引擎蜘蛛抓取系統(tǒng)的后一個(gè)系統(tǒng)，搜索引擎的數(shù)據(jù)分析系統(tǒng)主要用來處理蜘蛛抓取回來的網(wǎng)頁，今天呢，小強(qiáng)會(huì)給你詳細(xì)的講解，搜索引擎的數(shù)據(jù)分析系統(tǒng)的工作流程及幾個(gè)重要的知識(shí)點(diǎn)。我們剛剛說了，數(shù)據(jù)分析系統(tǒng)主要是分析蜘蛛抓取回來的內(nèi)容，那么怎樣分析呢主要涵蓋以下幾點(diǎn)。

2、網(wǎng)頁結(jié)構(gòu)化網(wǎng)頁結(jié)構(gòu)化什么是網(wǎng)頁結(jié)構(gòu)化呢我們要知道網(wǎng)頁，是由html組成，搜索引擎蜘蛛最后抓取回來的，也都是html的代碼頁面，簡單的說，網(wǎng)頁結(jié)構(gòu)化，就是刪掉html代碼，然后留下其中的內(nèi)容，如下圖，圖1是網(wǎng)頁結(jié)構(gòu)化之前，圖2就是網(wǎng)頁結(jié)構(gòu)化之后。網(wǎng)頁結(jié)構(gòu)化之后網(wǎng)頁的內(nèi)容消噪網(wǎng)頁的內(nèi)容消噪在網(wǎng)頁結(jié)構(gòu)后之后，依然存在著一些搜索引擎不需要的內(nèi)容，比如說導(dǎo)航欄的菜單文字，底部的版權(quán)信息等，這些呢，都是搜索引擎不需要的，搜索引擎只需要內(nèi)容，那么在這

3、個(gè)時(shí)候就會(huì)對網(wǎng)頁結(jié)構(gòu)化之后的內(nèi)容進(jìn)行消噪處理，簡單的說，消噪就是把內(nèi)容之外的文字全部刪掉，比如菜單上的文字，底部版權(quán)的文字等等。那么搜索引擎的數(shù)據(jù)分析系統(tǒng)怎么判斷哪些是菜單文字哪些是版權(quán)信息呢其實(shí)很簡單，就是對比，比如一個(gè)內(nèi)容頁，除了內(nèi)容不一樣，其他的內(nèi)容幾乎一樣，比如導(dǎo)航，每個(gè)頁面都有導(dǎo)航，而且文字也一樣，版權(quán)也是，當(dāng)然也會(huì)根據(jù)html的源碼去分析。對頁面的查重對頁面的查重對頁面的查重其實(shí)很好理解，就是搜索引擎蜘蛛在抓取你這個(gè)網(wǎng)站所有