基于錨文本的領(lǐng)域語料庫自動(dòng)構(gòu)建.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展,不同領(lǐng)域網(wǎng)絡(luò)信息的種類和組成形式愈加復(fù)雜,每個(gè)網(wǎng)站節(jié)點(diǎn)都具有復(fù)雜的分類體系結(jié)構(gòu),并且包含豐富的文本信息,如何將大量的文本信息標(biāo)注到對(duì)應(yīng)正確類別體系中,將標(biāo)注好的文本集合構(gòu)建成一個(gè)領(lǐng)域語料庫,成為了當(dāng)前的一個(gè)熱點(diǎn)問題。雖然通過人工標(biāo)注構(gòu)建的語料庫滿足較高的標(biāo)準(zhǔn)性和準(zhǔn)確性,但是當(dāng)分類體系結(jié)構(gòu)自動(dòng)更新時(shí),則必須重新對(duì)語料庫中的文本集合進(jìn)行標(biāo)注。針對(duì)人工構(gòu)建語料庫的這一缺陷,本文研究如何根據(jù)領(lǐng)域網(wǎng)站的本體結(jié)構(gòu)和給定的目

2、標(biāo)分類體系,自動(dòng)構(gòu)建領(lǐng)域語料庫。
　　本文首先分析領(lǐng)域網(wǎng)站結(jié)構(gòu),提出基于網(wǎng)頁結(jié)構(gòu)及錨文本信息的方法獲取領(lǐng)域網(wǎng)站的本體結(jié)構(gòu),構(gòu)建對(duì)應(yīng)的文本結(jié)構(gòu)樹。然后根據(jù)給定的分類體系結(jié)構(gòu),提出了基于共同子樹的網(wǎng)頁類別錨文本獲取算法,抽取領(lǐng)域網(wǎng)站本體結(jié)構(gòu)樹和給定分類體系之間的共同子樹,從而確定領(lǐng)域網(wǎng)站中的某一類別在給定分類體系中的確切位置,并從領(lǐng)域網(wǎng)站該類別中獲取相關(guān)的網(wǎng)頁。接著針對(duì)網(wǎng)頁中包含的噪聲信息等無關(guān)聯(lián)信息,本文提出基于共同子樹的領(lǐng)域網(wǎng)站網(wǎng)

3、頁錨文本鏈接及正文的算法獲取高質(zhì)量的領(lǐng)域語料文本。
　　針對(duì)構(gòu)建后的領(lǐng)域語料庫中的噪聲語料文本,本文綜合運(yùn)用凝聚層次聚類和近鄰傳播聚類去除每個(gè)類別內(nèi)的噪聲文本,提高語料庫語料的準(zhǔn)確性,算法主要對(duì)一個(gè)類別中的語料文本集合進(jìn)行聚類,最后將最大簇中的文本作為該類別的語料。
　　實(shí)驗(yàn)表明,基于錨文本的領(lǐng)域語料庫自動(dòng)構(gòu)建方法所獲得的語料達(dá)到了較高的準(zhǔn)確率,近似于人工標(biāo)注語料庫的準(zhǔn)確性。通過實(shí)驗(yàn)對(duì)比,經(jīng)過凝聚層次聚類的語料庫中的語料達(dá)到