校園BBS可定制爬蟲的設計與實現(xiàn).pdf

1、隨著網(wǎng)絡在我國的日益普及,對于樂于接受新鮮事物的青年大學生來說,網(wǎng)絡幾乎已經成為和衣食住行一樣的“生活必需品”。與此同時,校園論壇也成為了學生們交流和表達意見的主要平臺。為了及時的了解校園內的關注熱點,校園網(wǎng)絡信息管理系統(tǒng)的引用是非常有意義的。本文設計與實現(xiàn)的論壇爬蟲系統(tǒng)是該系統(tǒng)的子系統(tǒng),負責論壇數(shù)據(jù)的采集,為校園網(wǎng)絡信息管理系統(tǒng)后續(xù)的數(shù)據(jù)分析提供數(shù)據(jù)源。
　　傳統(tǒng)的通用爬蟲在爬取論壇時會遇到大量重復的鏈接,浪費資源而且效率低下;

2、另一方面,已有的一些面向論壇的爬蟲是為特定的用戶量身打造的,僅作用于單個論壇。本文分析了多種論壇在結構上的差異,研究了現(xiàn)有的幾種主流爬蟲的工作特點和系統(tǒng)架構,提出了一個能夠適應不同論壇的增量爬蟲實現(xiàn)方案。并經過分析系統(tǒng)的需求,設計各個分模塊,詳細闡述各模塊的具體實現(xiàn)細節(jié)。本文的主要工作包括:首先分析各論壇特點,抽取共性,剝離不同點,對不同風格的論壇確定爬取措施;其次根據(jù)板塊的熱度和論壇的特點,制定基于板塊權重的增量爬取策略;最后,為了提