版權說明:本文檔由用戶提供并上傳,收益歸屬內容提供方,若內容存在侵權,請進行舉報或認領
文檔簡介
1、在互聯(lián)網高速發(fā)展的今天,網絡信息呈指數(shù)增長,搜索引擎在互聯(lián)網的應用中一直占據著主要的地位。但是通用搜索引擎給人們帶來便利的同時,也給人們帶來了檢索上的煩勞。具體表現(xiàn)為:檢索返回的信息量十分龐大,用戶需要花大量的時間在這些繁雜的信息中尋找到自己感興趣的信息;通用搜索引擎并沒有考慮到用戶專業(yè)知識需求,無差別的返回檢索結果,將造成檢索過程的不便。
垂直搜索引擎作為未來搜索引擎的一個發(fā)展趨勢,專注于某一個領域的搜索,在現(xiàn)代行業(yè)分工以及
2、社會分工的逐漸細化的情況下,發(fā)揮著重要作用。用戶對某一個專業(yè)信息有著很強的需求,垂直搜索引擎就是為了解決某(這)類專業(yè)信息檢索的問題,其主要通過主題爬蟲技術等,使得垂直搜索引擎在解決某些專業(yè)問題的時候比通用搜索引擎更加實用。
本文在介紹了搜索引擎和垂直搜索引擎的基礎上,重點分析研究了heritrix網絡爬蟲,通過定制heritrix爬蟲達到了主題網絡信息的抓取、通過引入ELFHash算法,使得heritrix能夠多線程抓取網頁
3、、通過消除對robots.txt的限制加快heritrix的抓取速率。
本文采用lucene來建立索引和檢索,在分析研究lucene基本框架結構的基礎上,對lucene自帶的中分分詞和排序做了修改。在針對電子信息搜索引擎需求下,設計出基于電子信息專業(yè)詞典和統(tǒng)計結合的中文分詞算法和修改了lucene的自帶排序算法,使得檢索的結果更加符合用戶的需求。除此文章還對下載的網頁信息做了內容的分析處理,以便lucene能夠建立索引。
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網頁內容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
- 4. 未經權益所有人同意不得將文件中的內容挪作商業(yè)或盈利用途。
- 5. 眾賞文庫僅提供信息存儲空間,僅對用戶上傳內容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內容本身不做任何修改或編輯,并不能對任何下載內容負責。
- 6. 下載文件中如有侵權或不適當內容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 政策信息垂直搜索引擎研究與實現(xiàn).pdf
- 招聘信息垂直搜索引擎的研究與實現(xiàn).pdf
- 垂直搜索引擎設計與實現(xiàn).pdf
- 招聘信息垂直搜索引擎系統(tǒng)設計與實現(xiàn).pdf
- 事件垂直搜索引擎的研究與實現(xiàn).pdf
- 垂直搜索引擎的架構與實現(xiàn).pdf
- 垂直搜索引擎的研究.pdf
- 高校就業(yè)信息平臺的垂直搜索引擎實現(xiàn).pdf
- 可定制的垂直搜索引擎研究與實現(xiàn).pdf
- 垂直搜索引擎爬蟲系統(tǒng)的研究與實現(xiàn).pdf
- 基于Lucene垂直搜索引擎的研究與實現(xiàn).pdf
- 面向能源的垂直搜索引擎研究與實現(xiàn).pdf
- 基于Nutch的垂直搜索引擎研究與實現(xiàn).pdf
- web垂直搜索引擎實現(xiàn)過程的研究
- 就業(yè)垂直搜索引擎的架構與實現(xiàn).pdf
- 綜合風險垂直搜索引擎的研究與實現(xiàn).pdf
- 基于Nutch的學校信息垂直搜索引擎的研究與實現(xiàn).pdf
- 基于nutch的農業(yè)垂直搜索引擎研究與實現(xiàn)
- 基于lucene的商品垂直搜索引擎研究與實現(xiàn)
- 手機產品垂直搜索引擎的設計與實現(xiàn).pdf
評論
0/150
提交評論