動(dòng)態(tài)Web信息監(jiān)測(cè)相關(guān)技術(shù)研究.pdf

1、隨著國(guó)際互聯(lián)網(wǎng)的迅速發(fā)展，Internet上站點(diǎn)個(gè)數(shù)及網(wǎng)頁(yè)數(shù)量呈爆炸式增長(zhǎng)。面對(duì)信息的海洋，用戶試圖通過(guò)瀏覽 Web來(lái)發(fā)現(xiàn)實(shí)時(shí)信息變得非常困難，而對(duì)Web信息進(jìn)行實(shí)時(shí)監(jiān)測(cè)要求用戶能從龐大的信息頁(yè)面中發(fā)現(xiàn)有價(jià)值的信息，用戶通常只能監(jiān)測(cè)單個(gè)站點(diǎn)或幾個(gè)站點(diǎn)，監(jiān)測(cè)效率低。在這種背景下，本文對(duì)Web信息監(jiān)測(cè)相關(guān)技術(shù)做了一些研究，并提出采用動(dòng)態(tài)聚類的方式來(lái)發(fā)現(xiàn)熱點(diǎn)事件，主要涉及以下幾個(gè)方面：
　　設(shè)計(jì)了動(dòng)態(tài)Web信息監(jiān)測(cè)系統(tǒng)的基本框架。Web

2、信息監(jiān)測(cè)并沒(méi)有成熟的框架，傳統(tǒng)的信息監(jiān)測(cè)系統(tǒng)均采用C/S模式實(shí)現(xiàn)。本文提出基于B/S模式的監(jiān)測(cè)系統(tǒng)基本架構(gòu)，并在三層結(jié)構(gòu)上分離數(shù)據(jù)入庫(kù)，采用Web Service提供信息實(shí)時(shí)入庫(kù)。
　　提出Web信息監(jiān)測(cè)實(shí)現(xiàn)基本方法，采用信息頻道作為信息監(jiān)測(cè)基本單位，頻道通過(guò)用戶自動(dòng)構(gòu)建，而頻道定義為由某個(gè)或多個(gè)網(wǎng)站以及網(wǎng)站下欄目組成，并采用Ajax實(shí)現(xiàn)多頻道的信息監(jiān)測(cè)。
　　研究了基于頁(yè)面的緩存設(shè)計(jì)，結(jié)合服務(wù)器端用戶Session，減輕了

3、服務(wù)器端負(fù)載，也減少了監(jiān)測(cè)響應(yīng)時(shí)間以及監(jiān)測(cè)信息流量。在監(jiān)測(cè)頁(yè)面中保存上次獲取的監(jiān)測(cè)信息集合，并通過(guò) Session保存上次監(jiān)測(cè)的最后一條信息編號(hào)，在本次監(jiān)測(cè)過(guò)程中服務(wù)器端返回當(dāng)前頻道下更新的信息，而不是返回全部信息。
　　從監(jiān)測(cè)用戶的不同監(jiān)測(cè)需求出發(fā)，對(duì)用戶個(gè)性化進(jìn)行了初步研究。采用信息頻道作為用戶興趣的基本表示，并實(shí)現(xiàn)在頻道下針對(duì)用戶輸入關(guān)鍵詞的信息過(guò)濾模式。提出采用關(guān)鍵詞映射表的方法將用戶輸入關(guān)鍵詞映射到事件描述，并采用布爾模

4、型進(jìn)行信息過(guò)濾。同樣，采用關(guān)鍵詞映射進(jìn)行全文檢索，并提出可監(jiān)測(cè)機(jī)制。
　　研究了在Web信息監(jiān)測(cè)下的信息聚類技術(shù)。通過(guò)對(duì)某個(gè)時(shí)間段的信息聚類能發(fā)現(xiàn)熱點(diǎn)事件，其可以作為監(jiān)測(cè)的重要依據(jù)。Lingo算法作為檢索結(jié)果聚類方法，其是描述優(yōu)先的方法，能較好的發(fā)掘聚類標(biāo)簽。本文提出采用語(yǔ)義相似度和余弦相似度加權(quán)的Single-Pass改進(jìn)方法對(duì)Lingo聚類的結(jié)果進(jìn)行類融合以及類再發(fā)現(xiàn)。實(shí)驗(yàn)表明，該方法可以發(fā)現(xiàn)更多類別，并且能對(duì)類別進(jìn)行較好的描