基于中文維基百科的文本擴(kuò)充.pdf

1、維基百科條目解釋頁面的內(nèi)部鏈接將維基百科中的一個(gè)個(gè)條目有機(jī)聯(lián)系起來，使得維基百科中的知識(shí)不再是無結(jié)構(gòu)的獨(dú)立頁面，也使得讀者無需重新在維基百科中檢索即可方便地瀏覽與當(dāng)前條目相關(guān)的其他知識(shí)。維基百科內(nèi)部鏈接所起到的作用以及志愿者添加內(nèi)部鏈接的過程，給了我們一定的啟發(fā)：普通中文文本也可以添加類似的指向維基百科頁面的超鏈接，一方面，這些超鏈接所指向的維基百科條目頁面能夠輔助用戶理解當(dāng)前文本，增加閱讀的樂趣，另一方面，這些超鏈接的錨文本能在一定程

2、度上代表當(dāng)前文本的主題，可以作為當(dāng)前文本的關(guān)鍵詞，而文本的關(guān)鍵詞在自然語言處理的其他領(lǐng)域有著很重要的作用。
　　 基于中文維基百科的文本擴(kuò)充是指利用中文維基百科對(duì)普通文本進(jìn)行分析，抽取出其中的關(guān)鍵詞，并進(jìn)行詞義消歧，最終添加指向維基百科條目頁面的鏈接來達(dá)到文本擴(kuò)充的目的。這一過程中主要的工作和特色是充分利用了中文維基百科來輔助本文的研究工作，具體體現(xiàn)在如下四個(gè)方面：
　　 第一，從維基百科中獲得詞表，輔助關(guān)鍵詞抽取的過程

3、。關(guān)鍵詞抽取過程中使用基于正向最大匹配算法的分詞工具來進(jìn)行分詞，其中分詞工具的詞庫來源于三個(gè)方面：中文維基百科的條目列表、中文維基百科條目解釋頁面內(nèi)部鏈接的錨文本列表、搜狗互聯(lián)網(wǎng)詞庫。經(jīng)過分詞之后，再從分詞結(jié)果中挑選出出現(xiàn)在前兩個(gè)分詞詞庫中的詞語作為候選關(guān)鍵詞。
　　 第二，將維基百科作為一個(gè)大型的半標(biāo)注的語義知識(shí)庫來輔助選擇最終的關(guān)鍵詞和多義詞消歧義的過程。維基百科中的內(nèi)部鏈接和開放分類信息蘊(yùn)涵了豐富的語義知識(shí)，我們利用這兩個(gè)

4、資源來對(duì)候選關(guān)鍵詞進(jìn)行評(píng)估，以及對(duì)歧義詞進(jìn)行消歧。
　　 第三，將維基百科中的條目解釋頁面作為文本擴(kuò)充后超鏈接的目標(biāo)指向。文本經(jīng)過本文的關(guān)鍵詞抽取和歧義詞消歧義之后，通過添加適當(dāng)?shù)膆tml標(biāo)簽使其中的關(guān)鍵詞成為指向維基百科的超鏈接。
　　 最后，將維基百科作為測(cè)試語料。為了驗(yàn)證本文關(guān)鍵詞抽取和詞義消歧的效果，我們從維基百科中挑選了一定數(shù)目的條目文章作為測(cè)試集，通過與人工標(biāo)注的維基百科條目文章進(jìn)行比對(duì)發(fā)現(xiàn)，本文的關(guān)鍵詞抽取