面向教育新聞的主題爬蟲設計與實現(xiàn).pdf

1、隨著網(wǎng)絡在世界范圍內(nèi)的飛速發(fā)展，互聯(lián)網(wǎng)作為最具潛力與活力的新興媒體已被公認為是繼報紙、廣播、電視之后的“第四媒體”，成為反映社會新聞熱點的重要載體。為了及時了解網(wǎng)絡新聞熱點，尤其是與教育主題相關(guān)的新聞熱點和發(fā)展動向，相關(guān)機構(gòu)引入了教育領域?qū)Ｓ眯侣劅狳c分析系統(tǒng)。本文設計與實現(xiàn)的網(wǎng)絡主題爬蟲系統(tǒng)是新聞熱點分析系統(tǒng)中的數(shù)據(jù)源，負責教育領域內(nèi)新聞信息的采集。
　　 傳統(tǒng)的網(wǎng)絡爬蟲為搜索引擎服務，但無法滿足指定主題的應用需要，主題爬蟲則是

2、有選擇性地爬取主題相關(guān)的網(wǎng)頁。本文深入研究了主題爬蟲的特點、工作流程和體系架構(gòu)，提出了一種面向教育新聞的爬蟲系統(tǒng)總體架構(gòu)設計，并在此基礎上設計了爬蟲系統(tǒng)的各個模塊。本文借助爬蟲領域的相關(guān)技術(shù)和工具，結(jié)合新聞熱點分析系統(tǒng)的需求，從原理或工作流程上詳細論述了爬蟲系統(tǒng)中核心模塊的具體實現(xiàn)。論文所做的工作主要包括：首先，針對重點關(guān)注主要站點的問題，本文設計了一種基于權(quán)重模型的爬取策略。其次，為了提高超鏈接抽取效率，本文采取了基于Xpath的超鏈