基于主題的分布式信息檢索集合選擇方法.pdf

1、隨著計(jì)算機(jī)技術(shù)的不斷進(jìn)步，人類(lèi)創(chuàng)造的數(shù)據(jù)正以爆炸式的速度增長(zhǎng)，傳統(tǒng)的集中式的信息檢索在面對(duì)海量數(shù)據(jù)時(shí)往往不堪重負(fù)，分布式的信息檢索系統(tǒng)開(kāi)始越來(lái)越受到人們的重視。集合選擇的目標(biāo)是在分布式信息檢索中，對(duì)于一個(gè)給定的查詢(xún)，在保證檢索結(jié)果準(zhǔn)確度的情況下，選擇最相關(guān)的部分信息集檢索。針對(duì)分布式信息檢索時(shí)用戶(hù)關(guān)心的檢索結(jié)果往往只在少數(shù)集合內(nèi)的現(xiàn)象，考慮語(yǔ)義關(guān)系對(duì)檢索的影響，本文提出一種基于LDA（Latent Dirichlet Allocatio

2、n，潛在狄利克雷分布）主題模型的集合選擇方法LBCS:該方法使用基于查詢(xún)的采樣方法獲取各集合描述信息，然后用基于關(guān)鍵詞相關(guān)度和基于主題相關(guān)度結(jié)合的方法估計(jì)查詢(xún)與樣本集中文檔的綜合相關(guān)度，再通過(guò)樣本集文檔所屬的集合信息，估計(jì)查詢(xún)與各集合的相關(guān)度，最后檢索與查詢(xún)相關(guān)度最高的部分集合。在實(shí)驗(yàn)部分中，選取ReDDE方法和CRCS方法作為基準(zhǔn)方法，在TREC數(shù)據(jù)集上對(duì)比了三種方法的檢索效果。實(shí)驗(yàn)結(jié)果表明本文提出的方法能有效選擇到與查詢(xún)相關(guān)的集合，