基于Nutch的維文與哈文搜索引擎的研究與實現(xiàn).pdf

1、隨著Internet的迅猛發(fā)展，Internet上的資源越來越豐富，基于Internet的各類信息檢索服務獲得了迅速的發(fā)展。雖然常用的搜索引擎可以滿足大部分用戶的需要，但是主流的搜索引擎并沒有解決少數(shù)民族語言文字方面的關鍵問題，并不能完全滿足少數(shù)民族語種的網(wǎng)絡信息檢索需求。為了能夠方便用戶快速檢索維語和哈薩克語等少數(shù)民族語言的網(wǎng)頁，開發(fā)一個支持的維文與哈文搜索的搜索引擎是新疆少數(shù)民族面臨的一個急待解決的重要問題。所以，本論文著重討論了用

2、開源的nutch為平臺，在此基礎上開發(fā)并實現(xiàn)-款支持維文與哈文的搜索引擎應用。
　　 論文的主要工作包括：
　　 首先，論文介紹了搜索引擎的定義、歷史、種類與發(fā)展趨勢等等內容，并對傳統(tǒng)搜索引擎的基本原理進行了解釋，對其關鍵組成模塊，如爬蟲系統(tǒng)、索引器系統(tǒng)、查詢分析系統(tǒng)、網(wǎng)頁打分機制等進行了簡單的分析。
　　 其次，論文對開源的搜索引擎nutch進行了詳細的介紹，如：nutch的組成、nutch的工作流程、map-

3、reduce技術、hadoop分布式文件系統(tǒng)、nutch插件系統(tǒng)等，并進一步對nutch的安裝，開發(fā)環(huán)境搭建等做了介紹。
　　 第三，在對開發(fā)基礎平臺nutch做了詳細介紹，并搭建了開發(fā)環(huán)境之后，論文從設計角度對系統(tǒng)的總體架構、數(shù)據(jù)收集模塊、分詞模塊、索引模塊、查詢模塊進行了介紹。
　　 第四，從實際開發(fā)角度入手，論文介紹了怎樣去開發(fā)并實現(xiàn)一個基于nutch的維文與哈文搜索引擎，涉及到了開發(fā)環(huán)境的搭建、開發(fā)方法及思路、修

4、改nutch源碼、改進hadoop算法、編寫插件、錯誤處理等與實際開發(fā)相關的問題。論文最后對已經(jīng)實現(xiàn)的維文與哈文搜索引擎應用進行了測試，并給出了相關結論。
　　 搜索引擎是一個龐大且復雜的數(shù)據(jù)檢索系統(tǒng)，開發(fā)維文與哈文搜索引擎具有很大的現(xiàn)實意義，但是實現(xiàn)起來比較困難?；陂_源的搜索引擎應用nutch作為開發(fā)平臺，在此基礎上設計并實現(xiàn)支持維吾爾、哈薩克語言文字的搜索引擎的確是一個切實可行的方案。論文從搜索引擎基礎入手，詳細介紹了nu