基于兩階段語言模型的特定實(shí)體搜索.pdf

1、傳統(tǒng)的通用Web搜索模型檢索的是與查詢相關(guān)的所有領(lǐng)域的信息，并且只能以網(wǎng)頁的形式作為返回結(jié)果進(jìn)行展示。從某種意義上說，用戶對(duì)返回的成千上萬個(gè)網(wǎng)頁并沒有任何興趣，用戶真正需要的信息是包含在網(wǎng)頁中的能回答用戶輸入的搜索關(guān)鍵字的“答案”，例如與搜索關(guān)鍵字相關(guān)的特定實(shí)體，圖片，多媒體文件或者用文本表示的一段描述。使用現(xiàn)在的通用搜索引擎，用戶常常要在被這些搜索引擎返回的頁面中手工過濾才能找到他們所需要的“答案”或描述。 本文研究了如何構(gòu)建

2、一種有別于傳統(tǒng)的通用Web搜索模型的實(shí)體檢索模型，使之能夠?qū)χ付ǖ念I(lǐng)域下的特定實(shí)體進(jìn)行有效的搜索，并直接返回同樣排好序的實(shí)體信息，而不是返回大量的網(wǎng)頁。本文提出的特定實(shí)體檢索模型有如下特點(diǎn)：首先，特定實(shí)體檢索模型能過濾那些與查詢相關(guān)但不涉及該特定實(shí)體的網(wǎng)頁，從而使信息源限定在特定的領(lǐng)域范圍內(nèi)。其次，特定實(shí)體檢索模型返回的是直接的實(shí)體信息，這些信息原本隱藏在通用搜索引擎返回的網(wǎng)頁中。第三，特定實(shí)體檢索模型能從Web信息中自動(dòng)挖掘出每個(gè)特定

3、實(shí)體間的區(qū)別，并按照查詢關(guān)鍵字對(duì)實(shí)體的產(chǎn)生式概率對(duì)返回結(jié)果進(jìn)行排序。 為了搜索特定實(shí)體，我們的模型主要從Web信息中挖掘并估計(jì)一些特性：例如，實(shí)體的相關(guān)度,實(shí)體的權(quán)威度,實(shí)體-查詢的關(guān)聯(lián)度以及文檔的先驗(yàn)概率。實(shí)體的相關(guān)度主要衡量該實(shí)體是否與用戶的查詢關(guān)鍵字相關(guān)，實(shí)體的權(quán)威度主要衡量在所有相關(guān)實(shí)體的集合中該實(shí)體是否比其他實(shí)體權(quán)威，實(shí)體-查詢的關(guān)聯(lián)度體現(xiàn)了在某個(gè)具體文檔中實(shí)體和查詢關(guān)鍵字在概率上相關(guān)的程度，文檔的先驗(yàn)概率則體現(xiàn)了文檔