基于Lucene的企業(yè)文檔搜索引擎研究與應(yīng)用.pdf

1、隨著企業(yè)信息化建設(shè)的快速發(fā)展,企業(yè)所產(chǎn)生的電子文檔越來(lái)越多,面對(duì)浩瀚的企業(yè)內(nèi)部數(shù)據(jù),如何有效獲取有用信息成為一個(gè)非常重要的問(wèn)題；另外,由于企業(yè)文檔涉及商業(yè)信息,利用商用搜索引擎檢索會(huì)讓公司蒙受損失。因此,設(shè)計(jì)高效、可靠的企業(yè)文檔搜索引擎,檢索企業(yè)相關(guān)信息成為當(dāng)前研究的熱點(diǎn)。
　　 本文在企業(yè)文檔搜索引擎總體設(shè)計(jì)的基礎(chǔ)上,充分結(jié)合了詞典分詞速度快和統(tǒng)計(jì)分詞的新詞識(shí)別能力的特點(diǎn),提出了基于詞典的統(tǒng)計(jì)分詞算法,相比Lucene自帶的分

2、詞算法具有較大改進(jìn),減少了關(guān)鍵字所對(duì)應(yīng)的文檔數(shù)量,提高了分詞的準(zhǔn)確性和索引質(zhì)量。在向量空間模型的基礎(chǔ)上引入分類和加權(quán)方法,充分利用了向量空間模型計(jì)算文檔的相關(guān)性,使用分類技術(shù)對(duì)文檔進(jìn)行分類從而縮小文檔集合的范圍,降低了計(jì)算規(guī)模,利用加權(quán)處理以突出不同文檔集合的重要性,進(jìn)一步提高了重要文檔的得分,提高了搜索準(zhǔn)確度。
　　 然后,在基于Lucene的企業(yè)文檔搜索引擎系統(tǒng)中應(yīng)用基于詞典和統(tǒng)計(jì)的分詞算法、基于分類加權(quán)的向量空間模型的排序