基于Agent的專題搜索引擎爬蟲的研究.pdf

1、隨著WWW技術(shù)的廣泛應(yīng)用，傳統(tǒng)的通用搜索引擎正面臨巨大的挑戰(zhàn)，存在著查全率不高、檢索的精度不高、更新不及時(shí)、不能很好地表達(dá)用戶需求，呈現(xiàn)給用戶的搜索結(jié)果中包含大量與用戶無關(guān)的信息，同時(shí)，對(duì)于越來越多的不同領(lǐng)域的客戶群，他們急需的是能夠提供高效檢索其業(yè)內(nèi)信息的專題搜索引擎。 專題搜索引擎(Topic-Specific Search Engine)，通過定點(diǎn)采集、定題采集、網(wǎng)站結(jié)構(gòu)挖據(jù)等的方法來提高檢索的查全率和查準(zhǔn)率，保證其較高的

2、時(shí)效性、專業(yè)性并提供更好的個(gè)性化服務(wù)，從而可高效地發(fā)掘特定領(lǐng)域的信息，提供有特色的檢索服務(wù)。因此網(wǎng)絡(luò)爬蟲的設(shè)計(jì)是專題搜索引擎的核心，本文闡述了基于agent的專題搜索引擎的爬蟲的設(shè)計(jì)及相關(guān)關(guān)鍵技術(shù)，本文的主要工作有： 1.在分析搜索引擎技術(shù)、agent自適應(yīng)技術(shù)和機(jī)器學(xué)習(xí)研究現(xiàn)狀基礎(chǔ)上提出了一種基于agent專題搜索的爬蟲框架CFATSS(Crawler Frame of Agent-basedTopic-Specific Se

3、arch)。 2.提出了一種基于詞表和統(tǒng)計(jì)相結(jié)合的分詞算法，利用改進(jìn)的Salton的向量空間模型VSM(Vectot Space Model)，將web結(jié)構(gòu)挖掘和內(nèi)容挖掘結(jié)合起來，設(shè)計(jì)了一種基于支持向量機(jī)特定主題的自動(dòng)分類算法。 3.提出了一種基于Q學(xué)習(xí)的搜索策略算法，該算法結(jié)合網(wǎng)頁(yè)評(píng)價(jià)技術(shù)及鏈接結(jié)構(gòu)技術(shù)，并利用agent自適應(yīng)性，通過減少一定程度上的搜索貪婪性從而比較有效地避免了傳統(tǒng)的啟發(fā)式搜索引擎的容易過早陷入Web