垂直搜索引擎關(guān)鍵技術(shù)研究及分布式實(shí)現(xiàn).pdf

1、垂直搜索引擎的出現(xiàn)是互聯(lián)網(wǎng)服務(wù)向多樣化和專業(yè)化發(fā)展的必然趨勢。垂直搜索引擎的發(fā)展建立在通用搜索引擎的基礎(chǔ)上，提供精細(xì)化的垂直領(lǐng)域信息挖掘與搜索服務(wù)。
　　本文進(jìn)行垂直搜索引擎關(guān)鍵技術(shù)及分布式研究，從文檔主題分類技術(shù)、垂直資源挖掘、主題Ranking模型研究以及分布式設(shè)計四個方面展開研究工作。文檔主題分類技術(shù)研究著重于借助LDA模型挖掘文檔的主題信息、識別文本的語義，強(qiáng)化搜索引擎的理解能力。而垂直資源挖掘研究則重點(diǎn)關(guān)注網(wǎng)絡(luò)的結(jié)構(gòu)信息

2、和近鄰信息，并進(jìn)行主題網(wǎng)絡(luò)爬蟲設(shè)計。主題Ranking模型研究旨在強(qiáng)化垂直搜索引擎的主題偏向性，保證搜索結(jié)果更具有專業(yè)性。研究分布式垂直搜索引擎設(shè)計則是為了使系統(tǒng)能夠適應(yīng)實(shí)際的大數(shù)據(jù)應(yīng)用場景而提出分布式解決方案。
　　本文首先闡述了垂直搜索引擎的研究背景、意義以及發(fā)展現(xiàn)狀，并結(jié)合通用搜索引擎的技術(shù)背景對垂直搜索引擎的關(guān)鍵技術(shù)和技術(shù)特性進(jìn)行了描述。本文將LDA模型應(yīng)用于垂直搜索引擎中的主題資源挖掘和用戶語義解讀，研究了不同文檔主題分

3、布的訓(xùn)練語料庫對LDA模型主題分類性能的影響。然后在LDA主題模型的基礎(chǔ)上進(jìn)行了拓展應(yīng)用研究，基于貝葉斯公式提取主題種子詞庫，并研究得到了基于T-PMI的主題詞擴(kuò)展方法。垂直搜索引擎區(qū)別于通用搜索引擎的一大特點(diǎn)是搜索主題的確定性，主題先驗信息可以幫助我們更好地理解用戶查詢，本文為此給出了一種主題分詞算法，一定程度上解決了分詞多義性的情況。
　　其次，本文在Shark-Search算法和HITS算法的基礎(chǔ)上改進(jìn)得到了一種基于結(jié)構(gòu)信息

4、和近鄰信息的鏈接分析算法，以此確立主題爬蟲的方向和范圍，并提出了自適應(yīng)主題爬蟲策略，可以在實(shí)際的爬取過程中，根據(jù)反饋調(diào)整爬蟲的方向。本文在PageRank算法基礎(chǔ)上引入了主題相關(guān)度，給出了主題敏感PageRank算法，該算法摒棄了隨機(jī)游走模型，認(rèn)為用戶瀏覽行為應(yīng)該具有主題導(dǎo)向，來自同一主題頁面的鏈接更容易被用戶點(diǎn)擊到，因此該算法修正了PageRank算法的鏈接模型，增強(qiáng)了主題相關(guān)網(wǎng)頁的優(yōu)先級。
　　最后本文設(shè)計了一種分布式垂直搜索