基于網(wǎng)格的分詞服務(wù)系統(tǒng)的研究與實(shí)現(xiàn).pdf

1、漢語(yǔ)分詞是信息檢索、機(jī)器翻譯、文本校對(duì)等中文信息處理重要領(lǐng)域的基礎(chǔ)。由于漢語(yǔ)中存在詞語(yǔ)規(guī)范、歧義和未登錄詞等問(wèn)題，漢語(yǔ)分詞一直困擾著中文信息技術(shù)的發(fā)展。因此，研究漢語(yǔ)分詞具有十分重要的意義。同時(shí)，在分詞應(yīng)用方面，基于網(wǎng)絡(luò)的在線測(cè)試分詞系統(tǒng)僅提供測(cè)試功能，存在只能處理少量文本、用戶(hù)使用不方便、程序無(wú)法直接調(diào)用等缺點(diǎn)。 網(wǎng)格是近年來(lái)繼Internet、WWW技術(shù)后興起的一種新技術(shù)，能為復(fù)雜應(yīng)用提供分布式并行環(huán)境。網(wǎng)格服務(wù)可以以不同的

2、方式聚集起來(lái)滿(mǎn)足應(yīng)用的需要，提高代碼重用率。所以，開(kāi)發(fā)一個(gè)基于網(wǎng)格的面向用戶(hù)和程序的分詞服務(wù)系統(tǒng)，以服務(wù)形式為中文信息處理的基礎(chǔ)研究提供支撐環(huán)境，有一定的意義。 本文首先研究了漢語(yǔ)分詞應(yīng)用需求的多樣性，結(jié)合網(wǎng)格的特點(diǎn)設(shè)計(jì)了七個(gè)服務(wù)算法。為盡量減少代碼移植的工作量，本文研究了GT4的CWSCore，分析用C語(yǔ)言實(shí)現(xiàn)網(wǎng)格服務(wù)的原理和方法，然后將上述七種算法封裝成服務(wù)，在網(wǎng)格平臺(tái)上發(fā)布。根據(jù)這些算法生成的網(wǎng)格服務(wù)，可以以不同的方式組合

3、起來(lái)，形成多種類(lèi)型的分詞服務(wù)，從而滿(mǎn)足不同的分詞應(yīng)用需求?；贕T4的網(wǎng)格服務(wù)多采用Java語(yǔ)言實(shí)現(xiàn)，而現(xiàn)有平臺(tái)下的大量的應(yīng)用程序使用C語(yǔ)言開(kāi)發(fā)。因此本文的方法對(duì)C語(yǔ)言應(yīng)用程序的網(wǎng)格移植有一定的參考意義。 同時(shí)，本文還研究了Olobus的作業(yè)管理機(jī)制、Condor系統(tǒng)和PVM并行虛擬機(jī)系統(tǒng)，提出了Condor-PVM與Globus結(jié)合的并行計(jì)算機(jī)制，解決了網(wǎng)格環(huán)境中用C語(yǔ)言編程實(shí)現(xiàn)分布式并行計(jì)算的問(wèn)題。實(shí)驗(yàn)證明該機(jī)制在處理大規(guī)模