比較購物搜索引擎的研究與應(yīng)用.pdf

1、在網(wǎng)上購物領(lǐng)域，隨著電子商務(wù)網(wǎng)站的服務(wù)商數(shù)量和產(chǎn)品數(shù)量的迅速增加，廣大消費者面臨著更多的困惑:在如此眾多的商品中，如何才能找到適合自己需要的網(wǎng)站和物品呢？哪兒的商品更便宜？如何獲得性價比最高的商品和服務(wù)？這些問題都讓用戶感到茫然。比較購物是一種采取信息獲取技術(shù)開發(fā)的購物代理軟件。這種軟件通過收集眾多的網(wǎng)上商家信息，對各種商品的價格、性能、配送方式以及服務(wù)等進行比較，向用戶提供不同在線銷售商的商品信息。因此是一個省時省力又省錢的購物途徑，

2、得到了大多數(shù)電子商務(wù)用戶的好評。
　　 本文主要研究網(wǎng)頁數(shù)據(jù)的抓取和解析，網(wǎng)頁數(shù)據(jù)的抓取是由網(wǎng)絡(luò)蜘蛛Spider完成的，而網(wǎng)頁數(shù)據(jù)的解析是指從抓取到的網(wǎng)頁中提取出結(jié)構(gòu)化的信息。在網(wǎng)頁數(shù)據(jù)抓取部分，本文對通用搜索引擎中的Spider抓取網(wǎng)頁數(shù)據(jù)的一般傳統(tǒng)框架進行了改進，根據(jù)專業(yè)搜索引擎的特點，提出了一種優(yōu)化的網(wǎng)頁數(shù)據(jù)抓取框架，即在Spider抓取URL鏈接時，增加了“URL提取干預(yù)”，從而提高了專業(yè)搜索引擎抓取網(wǎng)頁數(shù)據(jù)的效率。在網(wǎng)

3、頁數(shù)據(jù)解析部分，本文實現(xiàn)了一個擴展性良好的WEB信息抽取模塊。
　　 為了解決網(wǎng)頁數(shù)據(jù)的抓取和數(shù)據(jù)處理之間的速度矛盾，本文設(shè)計了一種生產(chǎn)者-消費者模型，即在數(shù)據(jù)抓取和數(shù)據(jù)處理之間建立了網(wǎng)頁數(shù)據(jù)緩存機制，有利于搜索引擎整體性能的提高。
　　 另外，針對目前國內(nèi)的大多數(shù)比較購物網(wǎng)站只為用戶提供了商品價格的比較，缺乏對不同購物網(wǎng)站上用戶體驗和用戶評價的比較，信息參考尚為欠缺這一問題，本文在對網(wǎng)頁數(shù)據(jù)進行處理時，抽取了商品的好評