主題搜索引擎關(guān)鍵技術(shù)研究.pdf

1、隨著Internet近期的高速發(fā)展，web上的信息資源已經(jīng)達(dá)到ZB級。面對如此海量數(shù)據(jù)資源，如何快速、有效獲取主體化的專業(yè)知識和信息資源成為一個難題，而此時搜索引擎的出現(xiàn)解決了信息迷失問題。但目前存在的通用搜索引擎對于信息需求集中、主題明確的行業(yè)客戶缺乏導(dǎo)向。近期，出現(xiàn)了針對具體領(lǐng)域信息完全收錄和及時更新的主題搜索引擎。
　　 本文對國內(nèi)外主題搜索引擎技術(shù)的發(fā)展和主題搜索引擎的現(xiàn)狀進(jìn)行分析，并對搜索引擎的工作原理和兩大主題搜索技

2、術(shù)：內(nèi)容過濾和信息提取進(jìn)行了詳細(xì)介紹。重點研究了網(wǎng)頁抓取時如何通過URL和內(nèi)容兩方面進(jìn)行主題過濾，對PageRank算法進(jìn)行深入研究，結(jié)合向量空間算法提出更有針對性的主題過濾方法并通過研究如何將過濾后的網(wǎng)頁進(jìn)行信息提取，提出主題信息抽取的方法。
　　 本文基于開源搜索引擎Nutch，將人工智能、信息提取、數(shù)據(jù)挖掘等研究領(lǐng)域知識有機(jī)結(jié)合，并對PageRank、空間向量算法進(jìn)行結(jié)合和改進(jìn)，通過HTML結(jié)構(gòu)抽取與本體信息抽取相結(jié)合的方