基于WEB的漢英平行語(yǔ)料庫(kù)構(gòu)建系統(tǒng)開(kāi)發(fā).pdf

1、近年來(lái)，在平行語(yǔ)料庫(kù)研究方面，專(zhuān)家學(xué)者越來(lái)越傾向于對(duì)語(yǔ)料庫(kù)語(yǔ)言學(xué)的研究；由此，自然語(yǔ)言處理領(lǐng)域的專(zhuān)家學(xué)者們都意識(shí)到了高質(zhì)量、大規(guī)模漢英平行語(yǔ)料庫(kù)巨大的研究?jī)r(jià)值；另外，在比較語(yǔ)言學(xué)研究等領(lǐng)域，漢英平行語(yǔ)料庫(kù)也發(fā)揮著重要作用。
　　但漢英平行語(yǔ)料庫(kù)在規(guī)模和質(zhì)量上都遠(yuǎn)不及單語(yǔ)語(yǔ)料庫(kù)。隨著互聯(lián)網(wǎng)的發(fā)展，不同語(yǔ)言間的交流變得日益頻繁，雙語(yǔ)語(yǔ)料庫(kù)（Bilingual Corpus），已經(jīng)成為機(jī)器翻譯、機(jī)器輔助翻譯以及翻譯知識(shí)獲取研究不可或缺的

2、重要資源。雙語(yǔ)語(yǔ)料庫(kù)在機(jī)器翻譯研究中的作用已日趨明顯，但作為一項(xiàng)重要的語(yǔ)言資源，雙語(yǔ)平行語(yǔ)料庫(kù)的系統(tǒng)性構(gòu)建在中國(guó)國(guó)內(nèi)尚未得到充分的關(guān)注，基本上還停留在理論之上。
　　本文介紹了一個(gè)大規(guī)模漢英雙語(yǔ)平行語(yǔ)料庫(kù)的構(gòu)建系統(tǒng)。研究思路是利用互聯(lián)網(wǎng)上存在的海量多語(yǔ)言文本資源，通過(guò)網(wǎng)頁(yè)的內(nèi)容分析和鏈接分析，實(shí)現(xiàn)了一個(gè)雙語(yǔ)語(yǔ)料挖掘的自動(dòng)獲取系統(tǒng)，采用 B/S結(jié)構(gòu)，分兩個(gè)子系統(tǒng)，即爬蟲(chóng)系統(tǒng)和索引系統(tǒng)，子系統(tǒng)之間松散耦合，運(yùn)行時(shí)相互間無(wú)影響；網(wǎng)頁(yè)爬蟲(chóng)

3、自動(dòng)的將從互聯(lián)網(wǎng)爬取到的符合條件的網(wǎng)頁(yè)，經(jīng)過(guò)處理后存入數(shù)據(jù)庫(kù)，再用Lucene對(duì)數(shù)據(jù)庫(kù)中的數(shù)據(jù)進(jìn)行索引，用預(yù)先定義的規(guī)則對(duì)索引進(jìn)行查詢，其結(jié)果就是平行語(yǔ)料。系統(tǒng)主要處理的語(yǔ)言是中文和英文這兩種語(yǔ)言，但系統(tǒng)中的語(yǔ)言今后是可以靈活配置的，在此基礎(chǔ)上稍加修改，就可以配置構(gòu)建任意兩種語(yǔ)言的平行語(yǔ)料庫(kù)。
　　本文中的漢英雙語(yǔ)平行語(yǔ)料庫(kù)構(gòu)建系統(tǒng)，開(kāi)發(fā)平臺(tái)使用Myeclipse，前臺(tái)頁(yè)面開(kāi)發(fā)選用Jsp動(dòng)態(tài)網(wǎng)頁(yè)技術(shù)，后臺(tái)數(shù)據(jù)庫(kù)使用開(kāi)源的MySql