面向糖業(yè)的專業(yè)搜索引擎研究與設(shè)計(jì).pdf

1、分類號(hào)密級(jí)UDC編號(hào)桂林電子科技大學(xué)碩士學(xué)位論文題目:面向糖業(yè)的專業(yè)搜索引擎研究與設(shè)計(jì)(英文)ResearchDesignofSugarientedProfessionalSearchEngine研究生姓名：張賢指導(dǎo)教師姓名、職務(wù)：周婭教授申請(qǐng)學(xué)科門類：工學(xué)碩士學(xué)科、專業(yè)：計(jì)算機(jī)應(yīng)用技術(shù)提交論文日期：2009年4月1日論文答辯時(shí)間：2009年6月11日2009年6月11日摘要摘要隨著Inter技術(shù)的飛速發(fā)展，互聯(lián)網(wǎng)絡(luò)上的信息量正以幾何級(jí)

2、數(shù)的速度飛速增長(zhǎng)，怎樣在這浩如煙海的網(wǎng)絡(luò)信息中找到用戶需要的信息已經(jīng)成為Inter上一個(gè)非常重要的研究課題。Google、Baidu等通用型搜索引擎系統(tǒng)在檢索專業(yè)內(nèi)容時(shí)，用戶往往找不到他們真正需要的內(nèi)容。本文旨在研究開發(fā)面向某一行業(yè)的搜索引擎以滿足特定領(lǐng)域信息檢索的需求。本課題是在與廣西東糖集團(tuán)合作研究開發(fā)的“甲糖煮糖自動(dòng)控制系統(tǒng)”的基礎(chǔ)上展開的深入研究，在Java的全文索引引擎工具包Lucene基礎(chǔ)上，通過對(duì)Lucene設(shè)計(jì)原理進(jìn)行分

3、析，設(shè)計(jì)開發(fā)了一個(gè)面向糖業(yè)的專業(yè)搜索引擎。提出面向糖業(yè)的專業(yè)搜索引擎的研究思路，對(duì)開源項(xiàng)目Lucene的實(shí)現(xiàn)機(jī)制及自帶的中文分詞算法和網(wǎng)頁排序算法進(jìn)行了深入研究，通過分析Lucene的系統(tǒng)結(jié)構(gòu)、數(shù)據(jù)流和索引文件格式，指出Lucene的中文分詞器功能太弱、網(wǎng)頁排序算法性能不高等缺點(diǎn)，對(duì)Lucene的中文分詞技術(shù)和網(wǎng)頁排序算法進(jìn)行擴(kuò)展與優(yōu)化，順利地開發(fā)運(yùn)用到面向糖業(yè)的專業(yè)搜索引擎中。在對(duì)Lucene的擴(kuò)展方面，主要作了以下兩方面的研究工作：

4、(1)中文分詞算法的重新設(shè)計(jì)。為進(jìn)一步提高分詞的切分速度，充分發(fā)揮現(xiàn)代計(jì)算機(jī)內(nèi)存空間大的優(yōu)勢(shì)，重新設(shè)計(jì)了分詞詞典結(jié)構(gòu)，并在該分詞詞典結(jié)構(gòu)上設(shè)計(jì)實(shí)現(xiàn)多次Hash中文分詞算法，使其不但結(jié)構(gòu)支持首字Hash查找，而且還支持對(duì)剩余詞進(jìn)行Hash查找。通過理論分析得出該算法時(shí)間復(fù)雜度比同類算法的時(shí)間復(fù)雜度相對(duì)要低，并且在系統(tǒng)實(shí)現(xiàn)運(yùn)行中可發(fā)現(xiàn)該算法有較好的分詞效果。(2)基于Lucene的網(wǎng)頁排序算法進(jìn)行改進(jìn)。融合當(dāng)前幾種著名的算法思想，將關(guān)鍵詞與

5、文檔的關(guān)系、用戶行為、鏈接關(guān)系、網(wǎng)頁響應(yīng)時(shí)間和刷新頻率作為影響網(wǎng)頁排序順序的因素考慮進(jìn)來，并分別賦予不同的權(quán)值一并進(jìn)行計(jì)算。經(jīng)過實(shí)驗(yàn)分析表明，改進(jìn)后的Lucene網(wǎng)頁排序算法搜索到的結(jié)果能更好地滿足用戶的需求，排序效果有明顯改進(jìn)。本文還詳細(xì)介紹了面向糖業(yè)的專業(yè)搜索引擎的具體實(shí)現(xiàn)過程，對(duì)系統(tǒng)的Web信息抓取、文本預(yù)處理、中文分詞、信息索引、信息檢索等各功能模塊進(jìn)行詳細(xì)介紹。在系統(tǒng)設(shè)計(jì)實(shí)現(xiàn)的過程中，將所設(shè)計(jì)的多次Hash中文分詞算法運(yùn)用在中