基于聚類分析的搜索引擎自動(dòng)性能評(píng)價(jià)研究.pdf

1、隨著互聯(lián)網(wǎng)的快速普及，通過網(wǎng)絡(luò)共享的信息資源正以指數(shù)級(jí)的速度遞增。要從眾多的網(wǎng)頁中找到我們需要的信息，無疑像大海撈針一樣困難，搜索引擎技術(shù)就是為了幫助人們快速地找到所需的信息。而搜索引擎的檢索性能評(píng)價(jià)作為信息檢索研究中的核心課題之一，客觀可靠的檢索性能評(píng)價(jià)方式是必須考慮和設(shè)計(jì)的內(nèi)容。
　　 傳統(tǒng)的搜索引擎性能評(píng)價(jià)方法需要人工標(biāo)注標(biāo)準(zhǔn)答案集，需花費(fèi)了大量的人力物力，并且評(píng)價(jià)結(jié)果依賴人工標(biāo)注的準(zhǔn)確性，效率較低。基于聚類分析的思路，提

2、出了一種搜索引擎性能評(píng)價(jià)指標(biāo)和自動(dòng)進(jìn)行搜索引擎性能評(píng)價(jià)的方法，此方法能自動(dòng)計(jì)算信息類查詢的覆蓋范圍，并根據(jù)其覆蓋范圍對(duì)檢索結(jié)果進(jìn)行聚類，通過評(píng)估函數(shù)實(shí)現(xiàn)檢索性能的自動(dòng)評(píng)價(jià)，并對(duì)如何利用類間距和類內(nèi)距兩個(gè)指標(biāo)來定義合適的評(píng)估函數(shù)進(jìn)行了分析。實(shí)驗(yàn)結(jié)果表明，基于聚類指標(biāo)的評(píng)價(jià)方法與人工標(biāo)注的評(píng)價(jià)方法的評(píng)價(jià)結(jié)果是相一致的。
　　 具體來說，本文的工作主要包括以下幾點(diǎn)：
　　 1)在大規(guī)模日志分析的網(wǎng)絡(luò)搜索引擎用戶行為研究的基礎(chǔ)上

3、，對(duì)Sogou實(shí)驗(yàn)室提供的查詢?nèi)罩具M(jìn)行分析，提取了查詢?nèi)罩局械男畔㈩惒樵儾⑻岢隽擞?jì)算查詢覆蓋度的方法；
　　 2)使用不同的搜索引擎(谷歌、百度、Bing)對(duì)提取出來的信息類查詢進(jìn)行檢索，運(yùn)用一些網(wǎng)頁抓取器將檢索返回的結(jié)果網(wǎng)頁下載保存進(jìn)行預(yù)處理；
　　 3)構(gòu)建了一個(gè)完整的檢索系統(tǒng)評(píng)價(jià)實(shí)驗(yàn)平臺(tái)，對(duì)檢索結(jié)果進(jìn)行聚類分析，通過類內(nèi)距和類間距等聚類指標(biāo)定義不同的評(píng)估函數(shù)對(duì)檢索性能進(jìn)行評(píng)價(jià)；
　　 4)使用抽樣方法進(jìn)行人