基于Web信息獲取的新聞數(shù)據(jù)分析研究.pdf

1、隨著互聯(lián)網(wǎng)的飛速發(fā)展，針對(duì)于日益膨脹的Web信息，搜索引擎成為人們應(yīng)用Web的一個(gè)信息導(dǎo)航工具。其中，有著行業(yè)色彩并且兼有“專、精、深”特點(diǎn)的垂直搜索引擎越來(lái)越受到用戶的青睞。現(xiàn)在，垂直搜索引擎已經(jīng)覆蓋了很多行業(yè)：房產(chǎn)、求職、商務(wù)、醫(yī)療健康和公交出行等。但是經(jīng)調(diào)查研究發(fā)現(xiàn)，關(guān)于外匯新聞的垂直搜索技術(shù)還沒(méi)有一個(gè)成熟的平臺(tái)，但是市場(chǎng)的需求是存在的。現(xiàn)在關(guān)注外匯市場(chǎng)交易的人越來(lái)越多，基于這樣的需求，本文即結(jié)合垂直搜索引擎技術(shù)設(shè)計(jì)了以外匯新聞為

2、主題的新聞分析引擎系統(tǒng)，用以幫助匯市的用戶更加方便的掌握外匯市場(chǎng)方面的訊息。
　　 本文應(yīng)用開(kāi)源軟件Heritrix作為爬蟲(chóng)工具，對(duì)國(guó)內(nèi)外著名外匯新聞網(wǎng)站進(jìn)行信息的抓取，通過(guò)對(duì)Heritrix的一些組件進(jìn)行定制，得以對(duì)抓取的新聞信息進(jìn)行搜集和初步過(guò)濾。然后對(duì)網(wǎng)頁(yè)內(nèi)容進(jìn)行分析，去除文本格式，通過(guò)過(guò)濾算法，轉(zhuǎn)換為文本文字。進(jìn)而將這些信息進(jìn)行進(jìn)一步的分詞，過(guò)濾高頻詞匯和虛詞，得到適合于索引的語(yǔ)素單元組合。利用Lucene工具并且結(jié)合倒