基于網(wǎng)絡(luò)信息檢索的網(wǎng)頁(yè)文本抽取和處理的研究.pdf

1、隨著當(dāng)今社會(huì)的飛速發(fā)展，地理環(huán)境變化日新月異，傳統(tǒng)地理信息測(cè)繪方法遇到諸多問(wèn)題。互聯(lián)網(wǎng)作為當(dāng)今最重要的信息載體，擁有實(shí)時(shí)性強(qiáng)和信息獲取價(jià)格低廉的優(yōu)勢(shì)，為地理信息測(cè)繪提供了一條新的渠道。結(jié)合網(wǎng)絡(luò)信息檢索技術(shù)和自然語(yǔ)言處理方法，能夠從海量互聯(lián)網(wǎng)信息中獲取地理信息相關(guān)知識(shí)，完成地理信息變化更新的快速檢索和實(shí)時(shí)檢測(cè)，彌補(bǔ)了傳統(tǒng)測(cè)繪方法的不足。
　　本文對(duì)網(wǎng)絡(luò)信息檢索技術(shù)進(jìn)行研究，從主題網(wǎng)絡(luò)爬蟲(chóng)角度出發(fā)，針對(duì)現(xiàn)有主題爬蟲(chóng)算法通用性不強(qiáng)的問(wèn)題

2、，提出了基于鏈接回溯的主題爬蟲(chóng)算法。該算法針對(duì)當(dāng)前新聞網(wǎng)站的鏈接結(jié)構(gòu)特點(diǎn)，通過(guò)回溯的方法計(jì)算出最有可能包含主題相關(guān)內(nèi)容的鏈接方向，從而大幅提高了主題相關(guān)網(wǎng)頁(yè)的獲取效率。同時(shí)結(jié)合網(wǎng)絡(luò)文本挖掘和自然語(yǔ)言處理方法，設(shè)計(jì)了各項(xiàng)網(wǎng)頁(yè)文本要素和地理信息要素的抽取方法，能夠準(zhǔn)確地從網(wǎng)頁(yè)文本中抽取出相關(guān)信息。最終，本文實(shí)現(xiàn)了基于主題網(wǎng)絡(luò)爬蟲(chóng)技術(shù)的地理信息變化檢測(cè)原型系統(tǒng)。經(jīng)過(guò)大量系統(tǒng)實(shí)驗(yàn)，證明該系統(tǒng)具有良好的可用性，查詢結(jié)果有較高的查全率和查準(zhǔn)率，同時(shí)