基于Web的大規(guī)模雙語知識(shí)挖掘算法的研究與實(shí)現(xiàn).pdf

1、雙語知識(shí)就是同時(shí)以源語言和目標(biāo)語言來表述同一概念的知識(shí)。在很多自然語言相關(guān)的研究領(lǐng)域里面，雙語知識(shí)都是一種極其重要的資源，比如統(tǒng)計(jì)機(jī)器翻譯利用雙語知識(shí)作為訓(xùn)練語料，跨語言信息檢索利用雙語知識(shí)來查詢使用不同語言編輯的網(wǎng)頁，等等。
　　 當(dāng)前雙語知識(shí)抽取的研究工作主要集中在兩個(gè)方面，一是使用對(duì)齊算法從平行語料中抽取雙語知識(shí)，二是使用基于預(yù)定義模式的匹配算法從雙語網(wǎng)頁中抽取雙語知識(shí)。本文使用雙語網(wǎng)頁為數(shù)據(jù)源，提出了一種基于自適應(yīng)模式的

2、雙語知識(shí)挖掘(Adaptive Pattern Data Mining)框架，該算法可以從不同的網(wǎng)頁中自動(dòng)地學(xué)習(xí)到該頁面中雙語知識(shí)的翻譯模式，之后再利用模式匹配方法將當(dāng)前頁面上所有與學(xué)習(xí)到的翻譯模式兼容的雙語知識(shí)提取出來，這樣我們就可以得到大量的雙語知識(shí)。
　　 本文提出的方法主要包含四個(gè)步驟：1)預(yù)處理：處理編碼格式轉(zhuǎn)換、HTML文件解析，以及將網(wǎng)頁文本按照語言屬性進(jìn)行切割；2)種子挖掘：利用雙語對(duì)齊模型識(shí)別雙語翻譯對(duì)，雙語對(duì)

3、齊模型的優(yōu)點(diǎn)是將翻譯和音譯過程統(tǒng)一考慮，一定程度上解決了“混合翻譯”和“意譯”的識(shí)別問題；3)模式學(xué)習(xí)：從種子挖掘模塊得到的雙語翻譯對(duì)中學(xué)習(xí)翻譯模式，使用Ranking-SVM對(duì)所有抽取出來的翻譯模式排序，保留最優(yōu)模式(TOP1)；4)基于模式的挖掘：將學(xué)習(xí)得到的翻譯模式在當(dāng)前網(wǎng)頁文本上進(jìn)行匹配，保存所有能夠匹配成功的文本作為雙語知識(shí)，該模塊能夠保證我們得到大量的雙語知識(shí)。
　　 基于以上四個(gè)流程，本文實(shí)現(xiàn)了一個(gè)實(shí)際運(yùn)行的系統(tǒng)，