基于自然語(yǔ)言理解的中文搜索引擎.pdf

1、進(jìn)入21世紀(jì)，“信息爆炸”時(shí)代已經(jīng)到來(lái)。海量信息的產(chǎn)生和存儲(chǔ)一方面豐富了網(wǎng)絡(luò)資源給人們的生活帶來(lái)了極大的便利；另一方面，信息的過(guò)濾、篩選成為了人們合理利用信息的重要方面。搜索引擎就是一種幫助人們?cè)诤棋木W(wǎng)絡(luò)資源中尋找所需信息的工具。本文對(duì)中文搜索引擎的設(shè)計(jì)和開發(fā)進(jìn)行了深入研究，并以高等藝術(shù)教育網(wǎng)站作為平臺(tái)實(shí)現(xiàn)了支持中文自然語(yǔ)言理解的搜索引擎。
　　 為了用戶方便的使用搜索引擎尋找互聯(lián)網(wǎng)上的信息，搜索引擎的使用方法應(yīng)當(dāng)更加人性化，

2、并可以為不同領(lǐng)域的非計(jì)算機(jī)專業(yè)人員提供便利。人們?cè)絹?lái)越希望可以使用人類所掌握、熟悉的自然語(yǔ)言操控計(jì)算機(jī)程序。帶有自然語(yǔ)言理解的搜索引擎自然成為了一個(gè)重要的研究方向。本文所研究目的就是使得搜索引擎可以在一定程度上理解人類的自然語(yǔ)言，從自然語(yǔ)言中抽取出關(guān)鍵內(nèi)容并用于檢索，最終達(dá)到搜索引擎和自然語(yǔ)言用戶之間的良好銜接，可以在兩者之間建立起更高效，更深層的信息傳遞。
　　 本文使用Lucene作為研究平臺(tái)，在此基礎(chǔ)上開發(fā)出帶有自然語(yǔ)言理

3、解的高等藝術(shù)教育網(wǎng)站的搜索引擎。中文文本的特點(diǎn)是沒有空格作為詞匯與詞匯之間的間隔，因此本文采用了詞庫(kù)匹配的方法對(duì)自然語(yǔ)言文本進(jìn)新了分詞。在詞典的設(shè)計(jì)上，我們采用了以首字為鍵的散列表結(jié)構(gòu)。在進(jìn)行查詢結(jié)果的排序時(shí)，將用戶輸入的文本和現(xiàn)有的文本都映射成一個(gè)n維的向量，然后在兩個(gè)向量之間定義了相似性的度量方法，并按照該方法對(duì)搜索引擎的返回結(jié)果進(jìn)行排序。在實(shí)現(xiàn)時(shí)，網(wǎng)站的整體架構(gòu)使用Java語(yǔ)言平臺(tái)，但是其中也有一些功能模塊以C++語(yǔ)言編寫的DLL