分布式微信公眾平臺爬蟲系統(tǒng)的研究與應用.pdf

1、近幾年來，移動互聯(lián)網(wǎng)的飛速發(fā)展對人們的生活方式產(chǎn)生了極大的影響。微信作為一個新興的移動社交平臺，已累計有超過6億的注冊用戶。而微信公眾平臺依托于微信的海量用戶也迅速流行起來，目前已有注冊公眾號賬號超過800萬，累計發(fā)布了超過2億篇文章，對微信公眾平臺所發(fā)布的海量信息資源進行深入研究具有重大意義。
　　本文基于Scrapy框架設計并實現(xiàn)了針對微信公眾平臺的分布式爬蟲系統(tǒng)，實現(xiàn)對微信公眾平臺上公眾號信息和文章信息的爬取，將爬取到的數(shù)據(jù)

2、存儲至單機MySQL數(shù)據(jù)庫和FastDFS分布式文件系統(tǒng)中。此后，概要說明了基于爬取到數(shù)據(jù)的一種應用場景，可為公眾號用戶提供快速建站的數(shù)據(jù)服務。
　　首先，對開源網(wǎng)絡爬蟲框架Scrapy的整體架構(gòu)、各個組件模塊和內(nèi)部運行機制進行深入研究。針對它目前僅支持單機爬取的不足，對其進行擴展，基于Redis數(shù)據(jù)庫的有序集合重新實現(xiàn)了調(diào)度器模塊，使其可以支持多爬蟲節(jié)點的主從式分布式爬取。
　　其次，基于改進后的Scrapy框架，通過分析

3、微信公眾平臺的網(wǎng)頁組成結(jié)構(gòu)及特性，確定了爬蟲程序的爬取流程及策略，進而定制開發(fā)了系統(tǒng)的爬蟲模塊；確定將爬取到的體積較小的字符串數(shù)據(jù)存入MySQL數(shù)據(jù)庫、將體積較大的文件數(shù)據(jù)存入FastDFS分布式文件系統(tǒng)的存儲原則，進而定制開發(fā)了系統(tǒng)的流水線模塊；通過設計一個“公眾號最近爬取時間記錄隊列”，實現(xiàn)對公眾號的增量式爬取。
　　再次，基于以上的設計，完成具體程序代碼的編寫及測試，對系統(tǒng)進行部署運行。運行結(jié)果表明，系統(tǒng)中多個爬蟲節(jié)點能夠協(xié)