電子信息垂直搜索引擎的研究與實現(xiàn).pdf

1、在互聯(lián)網高速發(fā)展的今天，網絡信息呈指數(shù)增長，搜索引擎在互聯(lián)網的應用中一直占據著主要的地位。但是通用搜索引擎給人們帶來便利的同時，也給人們帶來了檢索上的煩勞。具體表現(xiàn)為：檢索返回的信息量十分龐大，用戶需要花大量的時間在這些繁雜的信息中尋找到自己感興趣的信息；通用搜索引擎并沒有考慮到用戶專業(yè)知識需求，無差別的返回檢索結果，將造成檢索過程的不便。
　　垂直搜索引擎作為未來搜索引擎的一個發(fā)展趨勢，專注于某一個領域的搜索，在現(xiàn)代行業(yè)分工以及

2、社會分工的逐漸細化的情況下，發(fā)揮著重要作用。用戶對某一個專業(yè)信息有著很強的需求，垂直搜索引擎就是為了解決某（這）類專業(yè)信息檢索的問題，其主要通過主題爬蟲技術等，使得垂直搜索引擎在解決某些專業(yè)問題的時候比通用搜索引擎更加實用。
　　本文在介紹了搜索引擎和垂直搜索引擎的基礎上，重點分析研究了heritrix網絡爬蟲，通過定制heritrix爬蟲達到了主題網絡信息的抓取、通過引入ELFHash算法，使得heritrix能夠多線程抓取網頁

3、、通過消除對robots.txt的限制加快heritrix的抓取速率。
　　本文采用lucene來建立索引和檢索，在分析研究lucene基本框架結構的基礎上，對lucene自帶的中分分詞和排序做了修改。在針對電子信息搜索引擎需求下，設計出基于電子信息專業(yè)詞典和統(tǒng)計結合的中文分詞算法和修改了lucene的自帶排序算法，使得檢索的結果更加符合用戶的需求。除此文章還對下載的網頁信息做了內容的分析處理，以便lucene能夠建立索引。