Web挖掘與搜索智能研究.pdf

1、近幾年來，隨著互聯(lián)網(wǎng)技術(shù)的快速發(fā)展，Web數(shù)據(jù)正以驚人的速度增長，人類已經(jīng)進入了一個信息爆炸的數(shù)據(jù)時代。面對日益增長的Web數(shù)據(jù)，如何高效快速地從海量的數(shù)據(jù)中獲取有價值的信息和模式，正成為互聯(lián)網(wǎng)發(fā)展的迫切需要。由于Web數(shù)據(jù)具有異構(gòu)性、半結(jié)構(gòu)化、實時性以及海量等特性，傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)很難適用于Web數(shù)據(jù)。缺乏有效的Web挖掘與搜索方法，導(dǎo)致人們雖淹沒在數(shù)據(jù)的海洋中卻依舊信息匱乏。因此，為了能夠快速、方便、準確地從大數(shù)據(jù)海洋中搜索并挖掘

2、到人們所需要的信息，從文本內(nèi)容、鏈接結(jié)構(gòu)及用戶瀏覽角度，將Web數(shù)據(jù)的特性與傳統(tǒng)數(shù)據(jù)挖掘的技術(shù)相結(jié)合，對Web挖掘與搜索領(lǐng)域中的搜索結(jié)構(gòu)排序、用戶點擊、文本分類和聚類等方面進行了研究，所獲得的結(jié)論及相關(guān)的研究工作如下：
　?。?）闡述了Web挖掘與搜索所涉及到的一些基礎(chǔ)理論知識，對Web挖掘與搜索所涉及到的一些算法進行了簡單的介紹。
　?。?）將樸素貝葉斯分類器應(yīng)用于用戶點擊分析，得到用戶在執(zhí)行各種查詢時對各個URL的偏愛概

3、率，改進了純粹的基于索引的搜索。結(jié)合索引、PageRank算法和用戶點擊技術(shù)，利用互聯(lián)網(wǎng)的結(jié)構(gòu)和用戶點擊特性來改進搜索結(jié)果。通過實驗表明，新的方案能夠根據(jù)用戶點擊的模式，分析用戶與搜索引擎的交互行為發(fā)現(xiàn)用戶的興趣和主觀目的，找到用戶每次查詢時最符合其需求的鏈接，為不同的搜索用戶提供不同的搜索結(jié)果，從而實現(xiàn)搜索結(jié)果的個性化。
　?。?）提出了一種新的DocumentRank算法，用于處理類似Word或PDF這樣無鏈接結(jié)構(gòu)的文檔排序。

4、DocumentRank算法利用Lucene技術(shù)得到文本的分詞結(jié)果以及每個詞匯出現(xiàn)的頻率，根據(jù)詞匯在文檔之間出現(xiàn)的頻率比值來構(gòu)建衡量文檔重要性的矩陣。在實驗中，采集上百篇Word文檔進行測試，文檔搜索的實驗結(jié)果表明，相比索引技術(shù)，DocumentRank算法在查詢精確度上有了較大的提高，提升了搜索引擎的可信度，而且該算法只需要計算一次，得到的結(jié)果就能反復(fù)使用。
　?。?）基于貝葉斯概率分類器的思想，對ROCK聚類算法作了改進。通過