英、漢跨語言話題檢測與跟蹤技術(shù)研究.pdf

1、當(dāng)今世界已經(jīng)逐步邁入信息化和數(shù)字化時代。根據(jù)CNNIC第30次調(diào)查報告①顯示，截止2012年6月底我國網(wǎng)絡(luò)用戶數(shù)量已達(dá)到5.38億，網(wǎng)站數(shù)達(dá)到250萬，網(wǎng)絡(luò)新聞的用戶規(guī)模達(dá)到3.92億，網(wǎng)民對網(wǎng)絡(luò)新聞的使用率高達(dá)73.0％。由于網(wǎng)絡(luò)新聞發(fā)布簡便快捷等特點，互聯(lián)網(wǎng)已成為新聞傳播的“第四媒體”。普通民眾希望從海量網(wǎng)絡(luò)資源中獲取自己感興趣的新聞話題，同時也希望了解其他國家的新聞話題。因此，對網(wǎng)絡(luò)新聞話題進(jìn)行跨語言的檢測與跟蹤，已經(jīng)逐漸成為當(dāng)今

2、國內(nèi)外學(xué)者研究的興趣之所在。
　　 目前的跨語言話題檢測與跟蹤研究中存在著多個具有挑戰(zhàn)性的難題。首先，網(wǎng)絡(luò)新聞報道文本描述手段匱乏，涉及多語言環(huán)境的新聞報道話題描述難度更大;其次，跨語言話題檢測與跟蹤需要實現(xiàn)多語言環(huán)境下的新聞報道處理，怎樣跨越語言鴻溝，是首先需要攻克的技術(shù)難題之一。再次，如何更好地發(fā)展現(xiàn)有技術(shù)，并將其應(yīng)用到話題檢測與跟蹤研究中，這一問題值得進(jìn)一步探討。針對上述問題，希望本文對英、漢跨語言話題檢測與跟蹤技術(shù)的研究

3、能為語言處理相關(guān)技術(shù)的發(fā)展做出微薄貢獻(xiàn)，并能為我國多民族語言文本處理提供一定的借鑒。
　　 本文的研究主要包括跨語言新聞報道文本分析、跨語言話題模型構(gòu)建方法、語料庫構(gòu)建方法、跨語言話題檢測和跨語言話題跟蹤等五個部分。
　　 首先，筆者從新聞報道的本質(zhì)因素研究人手，從新聞的認(rèn)知理解和本身特性這兩個角度來分析新聞報道的核心要素。通過分析，筆者認(rèn)為詞匯處理是對文本進(jìn)行描述的有效途徑之一;新聞要素也可作為對報道文本加以區(qū)分的手段

4、。
　　 其次，本文從“報道-話題-事件”的相互關(guān)系出發(fā)，闡述了CLTDT研究中新聞報道模型構(gòu)建的基本思路;分析了當(dāng)前常用文本表示模型的特點與不足;認(rèn)為早期文本表示模型缺乏對“報道-話題-事件”之間關(guān)系的深入描寫和刻畫。為了揭示新聞文本中潛藏的話題，本文選取了LSI模型和LDA模型進(jìn)行文本建模實驗，并通過實驗對比和分析了兩種模型對新聞報道文本的描述能力。
　　 在以上理論分析和實驗驗證的基礎(chǔ)上，我們提出在英、漢可比語料庫

5、的基礎(chǔ)上進(jìn)行跨語言話題檢測與跟蹤研究的思路。通過語料采集、元數(shù)據(jù)處理、新聞事件分類、語料分詞處理和標(biāo)注、命名實體標(biāo)注等流程和步驟，本文嘗試建立“英、漢跨語言新聞報道可比語料庫”。我們將以語料庫中所包含的英、漢新聞報道文本語料為基礎(chǔ)，對跨語言環(huán)境中的新聞話題進(jìn)行檢測與跟蹤研究。
　　 在綜合當(dāng)前跨語言處理技術(shù)和LDA模型研究的基礎(chǔ)上，結(jié)合本文研究目的，筆者提出跨語言聯(lián)合LDA(CLU-LDA)模型。這一模型既可以對英、漢新聞報道進(jìn)