基于用戶日志聚類的查詢擴展.pdf

1、隨著Internet的發(fā)展，網(wǎng)絡(luò)信息量不斷增長，通過搜索引擎獲取所需信息已經(jīng)成為用戶使用網(wǎng)絡(luò)的一個重要方面。研究表明，用戶使用查詢詞的平均長度為1.8個，長度不超過3的查詢詞占總查詢的93.15％，這比Craig Silberstein等人分析的英文查詢詞的平均長度2.35個更短，說明在中文搜索引擎得到的用戶需求信息更少，需要對用戶查詢進行特定處理，才能準(zhǔn)確返回檢索結(jié)果。
　　 查詢擴展即利用計算語言學(xué)，信息處理等技術(shù)在原有查詢

2、的基礎(chǔ)上加入與用戶輸入的檢索詞相關(guān)聯(lián)的新詞，組成新的更長、更準(zhǔn)確的查詢，修改后的查詢字段會發(fā)布給搜索引擎，這樣可以在一定程度上彌補用戶查詢信息不足的缺陷。它可以有效充分地挖掘用戶查詢意圖，從而提高信息檢索查全率和查準(zhǔn)率。
　　 本文首先提出了基于詞語物理距離的簡單查詢擴展方法，該方法簡單易用，速度快可移植性高，有效利用文檔中詞語與原查詢詞的距離構(gòu)造權(quán)值向量，但存在使用偽相關(guān)文檔和中文分詞中短語未識別的問題。
　　 針對以

3、上問題，本文提出基于用戶日志聚類的查詢擴展方法，該算法通過對Sogou用戶日志的預(yù)處理和聚類得到輸入檢索詞對應(yīng)的查詢擴展詞。它首先對用戶點擊相關(guān)網(wǎng)頁進行可信度去噪，然后對網(wǎng)頁進行預(yù)處理，得到標(biāo)題、正文、網(wǎng)頁關(guān)鍵詞等，利用向量空間模型（VSM）建立權(quán)值矩陣，并通過LSI算法進行特征降維，再用K均值算法進行文本聚類，得到的文本聚類中心作為類別標(biāo)注詞語。另外，查詢詞是從用戶角度進行信息描述，因此本文認為指向同一URL的兩個查詢詞是高度相關(guān)，并