大規(guī)模網(wǎng)頁信息抽取技術(shù)研究.pdf

1、當(dāng)今互聯(lián)網(wǎng)已成為一個巨大的開放式知識庫，包含了海量的信息。人們越來越依賴于從互聯(lián)網(wǎng)上獲取信息，但是這些信息格式復(fù)雜多樣，同時包含了大量的垃圾信息，所以研究如何自動準(zhǔn)確的抽取互聯(lián)網(wǎng)信息成為重要的研究課題。本文的研究重點(diǎn)是互聯(lián)網(wǎng)信息抽取的相關(guān)關(guān)鍵技術(shù)，主要包括大規(guī)模網(wǎng)頁的采集與整理、網(wǎng)頁正文信息抽取和文本信息抽取三方面內(nèi)容。
　　 在網(wǎng)頁采集與整理方面，主要任務(wù)是建立大規(guī)模的網(wǎng)頁庫，作為信息抽取的數(shù)據(jù)源。使用網(wǎng)絡(luò)爬蟲實(shí)現(xiàn)對網(wǎng)頁的大規(guī)

2、模采集，通過鏈接分析判斷網(wǎng)頁重要性，對采集的網(wǎng)頁進(jìn)行篩選。本文對比分析了HITS算法和PageRank算法的性能，進(jìn)而確定了PageRank作為鏈接分析算法。由于要處理的網(wǎng)頁規(guī)模較大，單機(jī)處理能力不足，所以選擇并實(shí)現(xiàn)了基于Hadoop平臺的PageRank算法。
　　 在網(wǎng)頁信息抽取方面，本文通過分析現(xiàn)有網(wǎng)頁信息抽取方法存在的不足及其原因，提出基于多特征融合的網(wǎng)頁正文信息抽取方法。與以往選用少量特征的方法相比，本文的方法通過選用

3、多種特征確定正文信息，能更好適應(yīng)風(fēng)格多樣的網(wǎng)頁。通過實(shí)驗(yàn)的對比，該方法具有較高正確率，能夠滿足網(wǎng)頁正文信息抽取的實(shí)際應(yīng)用需要。
　　 在文本信息抽取方面，研究了相關(guān)文獻(xiàn)和常用方法，總結(jié)了現(xiàn)有方法的特征和適用范圍，為了提取文本的主體信息，作者將淺層句法分析和中樞論的思想相結(jié)合，提出了基于詞性合并的淺層句法分析方法。與以往識別短語確定句子結(jié)構(gòu)的方法相比，該方法通過規(guī)則合并詞性，簡化了句子成分，能夠更好的識別句子結(jié)構(gòu)。通過與基于規(guī)則與