理論科研成果垂直搜索引擎的研究與實(shí)現(xiàn).pdf

1、信息技術(shù)的進(jìn)步引起數(shù)據(jù)的海量增長，海量的信息數(shù)據(jù)分布在全球各個(gè)服務(wù)器上，且每時(shí)每刻都在迅速增長、更新，分散的信息數(shù)據(jù)難以統(tǒng)一管理。海量的信息數(shù)據(jù)為互聯(lián)網(wǎng)用戶提供豐富信息的同時(shí)，也使得人們獲取自己所需的信息變得困難，獲取準(zhǔn)確的信息就好比大海撈針。雖然有Google，Bing，百度等這些優(yōu)秀的搜索引擎，但由于互聯(lián)網(wǎng)上數(shù)據(jù)量龐大，搜索引擎不能夠收集全部的信息網(wǎng)頁，不能及時(shí)維護(hù)和更新不能有效的理解用戶查詢需求，查詢返回結(jié)果的準(zhǔn)確率不高、時(shí)效性不

2、強(qiáng)、重復(fù)率偏高。因此，用戶對(duì)搜索引擎技術(shù)提出了新的需求，搜索引擎系統(tǒng)必須能夠提供給用戶更及時(shí)、更詳細(xì)、更準(zhǔn)確、更深層次的的信息，于是垂直搜索引擎技術(shù)應(yīng)運(yùn)而生。
　　本文研究并實(shí)現(xiàn)了一個(gè)面向理論科研成果的垂直搜索引擎，針對(duì)特定期刊論文網(wǎng)站，具體而言針對(duì)理論科研成果網(wǎng)站的垂直專業(yè)搜索引擎，在研究了垂直搜索引擎技術(shù)的基本原理、核心爬蟲技術(shù)和網(wǎng)頁爬取處理流程的基礎(chǔ)上，設(shè)計(jì)并實(shí)現(xiàn)了理論科研成果垂直搜索引擎的信息采集模塊、爬蟲爬行模塊、信息索