基于詞共現(xiàn)的關(guān)鍵詞抽取算法研究.pdf

1、隨著互聯(lián)網(wǎng)的發(fā)展，海量的信息涌向網(wǎng)絡(luò)。人們需要用“大數(shù)據(jù)”來表示需要同時進行批量處理或分析的種類繁多的大量數(shù)據(jù)集，數(shù)據(jù)的計量單位從TB發(fā)展到PB甚至到DB，處理數(shù)據(jù)的速度同時需要更快。因此，如何有效并且快速的獲取關(guān)鍵數(shù)據(jù)，變得非常重要。在文本中，關(guān)注的關(guān)鍵數(shù)據(jù)，體現(xiàn)在文章關(guān)鍵詞或者是關(guān)鍵短語。這些關(guān)鍵詞和關(guān)鍵短語可以有效的概括反映文章的主題思想。與此同時，隨著門戶網(wǎng)站的大量興起，網(wǎng)絡(luò)用戶接觸到的新聞量非常龐大，如何從海量的新聞中獲取感興

2、趣的新聞也是一個熱點問題。本文的研究重點就是如何抽取文章中的關(guān)鍵詞以及利用抽取出的關(guān)鍵詞向用戶推薦新聞。
　　本文的研究內(nèi)容主要有以下兩個方面:
　　(1)提出一種基于詞共現(xiàn)的關(guān)鍵詞抽取算法。該算法無需訓(xùn)練集訓(xùn)練，能夠直接從文檔中提取出關(guān)鍵詞。與之區(qū)別的是有監(jiān)督的機器學(xué)習(xí)算法，該類算法需要訓(xùn)練集，通過訓(xùn)練集構(gòu)造分類器，應(yīng)用分類器抽取測試集中的關(guān)鍵詞。算法將關(guān)鍵詞抽取大致分為三個步驟:候選詞定義，候選詞權(quán)重計算和最終關(guān)鍵詞選擇