基于文本挖掘的輕量級(jí)搜索引擎.pdf

1、互聯(lián)網(wǎng)的信息總量在人類進(jìn)入互聯(lián)網(wǎng)時(shí)代后出現(xiàn)了爆炸式的增長(zhǎng)，一般的跨國(guó)互聯(lián)網(wǎng)的公司每天的數(shù)據(jù)吞吐量都在幾十PB，如何有效的利用這些信息資源日益成為人們關(guān)注和研究的焦點(diǎn)。互聯(lián)網(wǎng)的信息的數(shù)據(jù)格式也從web2.0時(shí)代可以呈現(xiàn)了多樣化的發(fā)展，有視頻，音頻，鏈接和圖像等等。如何在面對(duì)著這些海量信息時(shí)候，很好的利用這些信息，并且挖掘出對(duì)自己有用的資料或者信息是互聯(lián)網(wǎng)IT公司所面臨的重大問(wèn)題，因此，一個(gè)性能優(yōu)越可以承擔(dān)數(shù)億網(wǎng)名的訪問(wèn)量的的搜索引擎就顯得

2、非常必要。搜索引擎就是為了解決這樣的難題應(yīng)用而生。通過(guò)網(wǎng)絡(luò)爬蟲(chóng)獲取大量的相關(guān)資料和信息，采用機(jī)器學(xué)習(xí)或者數(shù)據(jù)挖掘的算法進(jìn)行數(shù)據(jù)挖掘，進(jìn)一步分類和提取，將用戶最想要的搜索信息返回給用戶。
　　搜索引擎作為互聯(lián)網(wǎng)發(fā)展至關(guān)重要的一種應(yīng)用，已經(jīng)成為互聯(lián)網(wǎng)各個(gè)領(lǐng)域的制高點(diǎn)，搜索引擎領(lǐng)域也是互聯(lián)網(wǎng)應(yīng)用中不多見(jiàn)的以核心技術(shù)為其命脈的領(lǐng)域。當(dāng)今時(shí)代比較成功的商業(yè)搜索引擎是美國(guó)的Google搜索引擎，其次緊隨其后是最大的中文搜索引擎中國(guó)的百度公司。

3、美國(guó)微軟公司和雅虎合作推出的必應(yīng)搜索引擎也在美國(guó)占據(jù)了30％的市場(chǎng)份額，目前中國(guó)奇虎公司在中國(guó)的市場(chǎng)份額僅次于百度，也是一個(gè)異軍突起的新生搜索引擎，上述的搜索引擎基本構(gòu)成了主流的成功的并且成熟的商業(yè)搜索引擎。
　　目前主流搜索引擎主要使用的Memcache緩存系統(tǒng)已經(jīng)出現(xiàn)了性能瓶頸，一些公司幾千臺(tái)的Memcached集群很常見(jiàn).Memcached和redis都基于內(nèi)存,Memcached偏向cache，Redis更多扮演數(shù)據(jù)庫(kù)的角

4、色，支持更豐富的數(shù)據(jù)類型;論到單個(gè)核上的性能，在單條數(shù)據(jù)不大的情況下，Re dis會(huì)更好。因?yàn)镽edis是單線程的，只能使用一個(gè)核。而Memcached是多線程的，所以對(duì)一個(gè)實(shí)例來(lái)說(shuō)，性能上肯定是Redis占優(yōu)勢(shì)。Redis和Memcached不同的地方在于前者并沒(méi)有選擇libevent。libevent為了迎合通用性造成代碼龐大(目前Redis代碼還不到libevent的1/3)及犧牲了在特定平臺(tái)的不少性能。Redis用libeven

5、t中兩個(gè)文件修改實(shí)現(xiàn)了自己的epoll event loop。所以本論文采用的Redis更多扮演的是數(shù)據(jù)庫(kù)的功能，其自帶數(shù)據(jù)持久化。在小型數(shù)據(jù)量和單線程模式的效率是遠(yuǎn)遠(yuǎn)領(lǐng)先于傳統(tǒng)的數(shù)據(jù)庫(kù)系統(tǒng)Memcached內(nèi)存對(duì)象緩存系統(tǒng)。
　　本論文的引擎屬于目錄式的搜索引擎，重點(diǎn)著力解決上述緩存和性能優(yōu)化問(wèn)題。主要用于為某中小學(xué)教育資源網(wǎng)站提供資源搜索服務(wù)。從架構(gòu)設(shè)計(jì)模式到底層細(xì)節(jié)各個(gè)層次優(yōu)化如下:
　　(1)系統(tǒng)架構(gòu)層面，采用TCP

6、傳輸協(xié)議和Epoll多路轉(zhuǎn)接。傳統(tǒng)的搜索引擎基于POSIX平臺(tái)的服務(wù)器采用UDP傳輸協(xié)議和poll的I/O多路轉(zhuǎn)接，連接不穩(wěn)定，傳輸數(shù)據(jù)不可靠，系統(tǒng)層面因?yàn)閜oll多次執(zhí)行系統(tǒng)態(tài)到內(nèi)核態(tài)的拷貝，資源消耗巨大。而本論文的連接可靠穩(wěn)定，監(jiān)聽(tīng)輪詢大大降低了服務(wù)器負(fù)載。從架構(gòu)執(zhí)行層面要優(yōu)于傳統(tǒng)的搜索引擎。
　　(2)改進(jìn)了距離編輯算法，并且應(yīng)用到中文中，使得用戶搜索詞糾錯(cuò)機(jī)制可以實(shí)現(xiàn)中文文本糾錯(cuò)，進(jìn)行糾錯(cuò)及聯(lián)想推薦，提供候選詞集，降低用戶

7、學(xué)習(xí)成本和提高用戶的工作效率，而傳統(tǒng)的搜索引擎沒(méi)有提供糾錯(cuò)候選項(xiàng)和糾錯(cuò)功能。
　　(3)改進(jìn)了傳統(tǒng)的索引技術(shù)，提出了內(nèi)存磁盤協(xié)同并行索引改進(jìn)算法，可以迅速精準(zhǔn)定位到網(wǎng)頁(yè)庫(kù)中的用戶查詢文檔，同時(shí)在文本挖掘的過(guò)程中計(jì)算網(wǎng)頁(yè)文檔關(guān)聯(lián)度上提高了效率，也節(jié)省了內(nèi)存消耗。
　　(4)處理用戶歷史查詢記錄緩存時(shí)采用Redis這種基于內(nèi)存可持久化，日志型的數(shù)據(jù)庫(kù)取代傳統(tǒng)的Memcached分布式高速緩存系統(tǒng)，提升緩存的處理效率。