文檔內(nèi)容抽取與特征選擇技術(shù)的研究與實(shí)現(xiàn).pdf

1、隨著越來(lái)越多的信息以電子文檔的形態(tài)存在，文本處理相關(guān)軟件也日益增多。在文本處理領(lǐng)域，傳統(tǒng)單一格式文檔處理系統(tǒng)在擴(kuò)展性和通用性方面已經(jīng)不能滿足需求。對(duì)于文本特征的選擇，現(xiàn)有技術(shù)主要是從詞的頻率和詞的語(yǔ)義信息兩個(gè)方面進(jìn)行處理，忽略了詞在源文檔中的重要程度。
　　本文針對(duì)以上問(wèn)題，以軍事領(lǐng)域文檔處理為背景，為多格式文檔定義了一種統(tǒng)一的半結(jié)構(gòu)化文本模型，有效地保留了詞在源文檔中的語(yǔ)義結(jié)構(gòu)信息。在此基礎(chǔ)上研究了HTML、XML、PDF和WO

2、RD文檔的內(nèi)容抽取和特征選擇技術(shù)。在HTML正文抽取中，改進(jìn)了基于DOM樹(shù)的網(wǎng)頁(yè)正文抽取算法。此外，針對(duì)現(xiàn)有文本特征選擇算法存在的問(wèn)題，提出了一種基于信息增益和內(nèi)容屬性的特征選擇算法，有效地降低了特征維度，使得所選出的特征集合具有更強(qiáng)的區(qū)別度。在對(duì)內(nèi)容抽取和特征選擇技術(shù)研究的基礎(chǔ)上，設(shè)計(jì)并實(shí)現(xiàn)了多格式文檔抽取系統(tǒng)。
　　最后，通過(guò)實(shí)驗(yàn)驗(yàn)證了改進(jìn)后的HTML正文抽取算法以及基于信息增益和內(nèi)容屬性的特征選擇算法的高效性，同時(shí)對(duì)多格式文