2023年全國碩士研究生考試考研英語一試題真題(含答案詳解+作文范文)_第1頁
已閱讀1頁,還剩53頁未讀, 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報或認(rèn)領(lǐng)

文檔簡介

1、隨著互聯(lián)網(wǎng)的迅速發(fā)展,其所承載的信息量呈爆炸式增長,因此,如何有效地利用這些豐富的信息資源逐漸成為研究人員關(guān)注的課題。搜索引擎在當(dāng)今互聯(lián)網(wǎng)領(lǐng)域起著十分重要的作用,它是獲取知識信息的主要工具。同時,隨著用戶需求的進(jìn)一步擴(kuò)大,獲取更加準(zhǔn)確、更加深層的專業(yè)信息,成為搜索引擎的一項(xiàng)新要求。
   針對目前新的需求變化,本文提出了一個基于webharvet的中文新聞搜索引擎。
   首先詳細(xì)介紹了搜索引擎的系統(tǒng)結(jié)構(gòu),然后從網(wǎng)絡(luò)爬蟲

2、、索引引擎、Web服務(wù)器以及其中涉及到的一些算法進(jìn)行詳細(xì)的說明。并在此基礎(chǔ)上,開發(fā)了一個基于webharvet的中文新聞搜索引擎。
   簡而言之,新聞搜索引擎是按照初始的URL列表到指定的Web頁面中進(jìn)行頁面解析,并把解析到的新聞創(chuàng)建建索引后存入到數(shù)據(jù)庫.用戶在客戶端訪問web服務(wù)器上的索引并取出數(shù)據(jù)庫中相應(yīng)的新聞信息。除了常見的搜索引擎相關(guān)組件之外,系統(tǒng)設(shè)計了一個并發(fā)網(wǎng)絡(luò)爬蟲,在考慮到性能需求的同時兼顧了新聞數(shù)據(jù)抓取的精確度

3、,并在此基礎(chǔ)上添加了過濾,文本去重,持久化等一系列組件。在構(gòu)建爬蟲相關(guān)組件中采用了許多成熟的設(shè)計模式來進(jìn)行各個模塊的整合和功能優(yōu)化。而索引部分采用了Lunece構(gòu)建索引,通過Ikanalyzer進(jìn)行中文分詞和詞法分析,并針對不斷更新的數(shù)據(jù)進(jìn)行索引的合并和優(yōu)化。另外,結(jié)合用戶需求,添加了用戶評分和權(quán)限等相關(guān)操作,主要目的是為開發(fā)一個面向用戶的體驗(yàn)良好的中文新聞搜索引擎。
   在介紹搜索引擎的章節(jié)中,詳細(xì)地描述了相關(guān)技術(shù)點(diǎn),同時列

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 眾賞文庫僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論