基于Ontology的Web文本聚類研究.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的快速發(fā)展和個人計算機(jī)的普及，目前全世界每四個人中就有一個人使用計算機(jī)上網(wǎng)，2010年中國的網(wǎng)頁數(shù)量高達(dá)336億，其中87.8％的數(shù)據(jù)是以文本的形式存在。因此對文本信息的挖掘是從互聯(lián)網(wǎng)上獲取知識的重要途徑。
　　 聚類技術(shù)在信息檢索領(lǐng)域有著廣泛的應(yīng)用，有很多非常成熟的算法在各個方面承擔(dān)著重要角色。傳統(tǒng)的搜索引擎以列表的形式返回搜索結(jié)果，對于一個模糊的、語義不明確的、或者屬于多個主題的查詢詞，不同語義、不同主題的搜索

2、內(nèi)容可能分散在長長的列表中，用戶不得不花費大量的精力和時間從中查找符合自己查詢意圖的目標(biāo)結(jié)果。這種情況下，一方面降低了搜索結(jié)果的質(zhì)量，另一方面也使用戶的滿意度大打折扣。研究人員為解決此類問題提供了許多方法，其中對搜索引擎返回結(jié)果進(jìn)行聚類成為解決這一問題的有效途徑，并在實踐中被不斷的完善。Vivisimo，Infonetware RealTerm Search都是非常成功的商業(yè)聚類搜索引擎。
　　 搜索結(jié)果聚類系統(tǒng)的輸入通常是由傳

3、統(tǒng)搜索引擎響應(yīng)用戶查詢所返回的一個搜索結(jié)果集，其中每一個搜索結(jié)果由題目、文本摘要和原始頁面鏈接組成。輸出是對結(jié)果集進(jìn)行聚類后得到的一組有標(biāo)簽標(biāo)識的聚簇。搜索結(jié)果聚類涉及到文本挖掘領(lǐng)域的多個方面，搜索結(jié)果文本的表示模型、短語相似度計算方法、搜索結(jié)果聚類算法的選擇等。如何挖掘搜索結(jié)果中的關(guān)聯(lián)信息，如何在語義層面上提取聚簇標(biāo)簽，這些都是搜索結(jié)果聚類技術(shù)的研究重點。
　　 本文提出了一種針對中文網(wǎng)頁搜索結(jié)果進(jìn)行聚類的改進(jìn)方法。與傳統(tǒng)的聚

4、類技術(shù)著重于文本相似度計算和聚簇結(jié)構(gòu)不同，搜索結(jié)果聚類將聚類標(biāo)簽的提取放在技術(shù)研究中最重要的位置。聚類標(biāo)簽的語義完整性、可讀性、對聚簇的概括性是評價搜索結(jié)果聚類標(biāo)簽質(zhì)量的重要指標(biāo)。一個好的聚簇標(biāo)簽不僅可以有效的區(qū)分聚簇間的相互關(guān)系和彼此間的層次性，直觀的表達(dá)各聚簇的主題，而且能夠引導(dǎo)用戶快速定位需要的信息和資源。本文通過本體的輔助改善聚類標(biāo)簽質(zhì)量，對搜索結(jié)果的聚簇標(biāo)簽進(jìn)行概念層次的提取，有效提高了聚類標(biāo)簽的可讀性和概括性。
　　

5、 本文的主要貢獻(xiàn)如下：
　　 (1)提出一種用來識別含有較完整語義信息短語的方法，這種方法通過比較后綴樹文本模型中基類屬性和包含這些基類的文檔重合數(shù)量來識別完整語義信息短語。
　　 (2)為了更好的反映短語間的關(guān)聯(lián)度，本文采用了基于句子粒度的短語貢獻(xiàn)度計算方法。
　　 (3)提出基類貢獻(xiàn)度的概念，通過基類包含的詞語個數(shù)、詞語的詞性等屬性為基類分配合適的權(quán)重，從而判斷一個基類是否有資格進(jìn)入形成聚簇標(biāo)簽的候選基類集合