基于WebHarvest的中文財經(jīng)新聞搜索引擎的設(shè)計與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的迅速發(fā)展，其所承載的信息量呈爆炸式增長，因此，如何有效地利用這些豐富的信息資源逐漸成為研究人員關(guān)注的課題。搜索引擎在當(dāng)今互聯(lián)網(wǎng)領(lǐng)域起著十分重要的作用，它是獲取知識信息的主要工具。同時，隨著用戶需求的進(jìn)一步擴(kuò)大，獲取更加準(zhǔn)確、更加深層的專業(yè)信息，成為搜索引擎的一項(xiàng)新要求。
　　 針對目前新的需求變化，本文提出了一個基于webharvet的中文新聞搜索引擎。
　　 首先詳細(xì)介紹了搜索引擎的系統(tǒng)結(jié)構(gòu)，然后從網(wǎng)絡(luò)爬蟲

2、、索引引擎、Web服務(wù)器以及其中涉及到的一些算法進(jìn)行詳細(xì)的說明。并在此基礎(chǔ)上，開發(fā)了一個基于webharvet的中文新聞搜索引擎。
　　 簡而言之，新聞搜索引擎是按照初始的URL列表到指定的Web頁面中進(jìn)行頁面解析，并把解析到的新聞創(chuàng)建建索引后存入到數(shù)據(jù)庫.用戶在客戶端訪問web服務(wù)器上的索引并取出數(shù)據(jù)庫中相應(yīng)的新聞信息。除了常見的搜索引擎相關(guān)組件之外，系統(tǒng)設(shè)計了一個并發(fā)網(wǎng)絡(luò)爬蟲，在考慮到性能需求的同時兼顧了新聞數(shù)據(jù)抓取的精確度

3、，并在此基礎(chǔ)上添加了過濾，文本去重，持久化等一系列組件。在構(gòu)建爬蟲相關(guān)組件中采用了許多成熟的設(shè)計模式來進(jìn)行各個模塊的整合和功能優(yōu)化。而索引部分采用了Lunece構(gòu)建索引，通過Ikanalyzer進(jìn)行中文分詞和詞法分析，并針對不斷更新的數(shù)據(jù)進(jìn)行索引的合并和優(yōu)化。另外，結(jié)合用戶需求，添加了用戶評分和權(quán)限等相關(guān)操作，主要目的是為開發(fā)一個面向用戶的體驗(yàn)良好的中文新聞搜索引擎。
　　 在介紹搜索引擎的章節(jié)中，詳細(xì)地描述了相關(guān)技術(shù)點(diǎn)，同時列