面向網(wǎng)絡人物搜索的中文人名消歧.pdf

1、隨著互聯(lián)網(wǎng)的高速發(fā)展，網(wǎng)絡信息成爆炸式增長。如何快速、準確的從這些海量數(shù)據(jù)中獲得有用的信息成為了人們關注的焦點。目前通用搜索引擎在搜索人物上的表現(xiàn)已經(jīng)遠遠無法滿足人們的需求。如何以精準的方式把用戶需要的信息呈現(xiàn)給用戶已經(jīng)是搜索引擎亟待解決的問題。人名消歧便是解決這一問題的核心技術。同時人名消歧在個性化搜索、自動問答、熱點人物跟蹤與發(fā)現(xiàn)等領域都有著廣泛的應用。目前國內(nèi)外基于人名消歧的中文人物搜索相關研究還比較少。
　　人名消歧作為近

2、幾年剛興起的一個熱門研究方向，正受到越來越多國內(nèi)外研究學者的關注。國際上在英文人名消歧方面已取得了一定的研究成果，但由于中文信息處理的特殊性，中文人名消歧仍然存在著很多亟待解決的問題。本文在前人的研究基礎上，首創(chuàng)利用構造三層特征空間與兩階段聚類算法相結合的策略進行中文人名消歧。本文的研究內(nèi)容主要包括以下幾個方面：
　?。?）首先對數(shù)據(jù)預處理中涉及到的技術進行研究改進，分別提出了基于BK樹檢索的高性能大規(guī)模網(wǎng)頁去重算法、改進了基于分

3、布函數(shù)的網(wǎng)頁正文抽取算法、提出了基于多重預處理與CRF相結合的中文分詞算法。數(shù)據(jù)預處理將為后面的人名消歧準備所需的語料。
　?。?）本文提出了基于三層特征空間與兩階段聚類算法相結合的中文人名消歧。在特征選擇及構造方面，根據(jù)不同文本特征對于區(qū)分人物作用的不同，構建三個不同層次的特征空間，并重點研究了如何采用機器學習算法構建語義特征，語義特征空間主要包括文本的領域?qū)傩蕴卣?、情感屬性特征、句法屬性特征和URL特征。在聚類策略設計方法，本

4、文采用了兩階段聚類算法。首先在全局特征空間上，利用以基本屬性序列對或唯一屬性構建初始聚類中心的K-means算法，對文本進行初步聚類，得到類別粒度較大的類簇。最后采用EM算法對每個類簇再進行二次聚類，得到最終聚類結果。
　?。?）結合本文提出的算法，設計并實現(xiàn)了中文人物搜索系統(tǒng)。
　　本文在CIPS-SIGHAN2010中文人名消歧語料集上進行多個對比實驗，實驗結果表明，基于三層特征空間與兩階段聚類相結合的中文人名消歧效果良