基于社交網(wǎng)絡(luò)信息爬蟲的設(shè)計與實現(xiàn).pdf

1、社交網(wǎng)絡(luò)作為Web2.0時代的標(biāo)志，提供了以互聯(lián)網(wǎng)用戶為中心的交流模式和平臺。通過社交網(wǎng)絡(luò)平臺，用戶可以進(jìn)行發(fā)表消息，分享內(nèi)容，添加好友以及關(guān)注自己感興趣的人物等操作。社交網(wǎng)絡(luò)平臺中的用戶一般是以億為單位，用戶與用戶之間通過相互關(guān)注和好友關(guān)系連成了一張巨大的社會網(wǎng)絡(luò)，消息能夠迅速的在這種網(wǎng)絡(luò)上進(jìn)行傳播。大多數(shù)的社交網(wǎng)絡(luò)平臺都提供開放的API供用戶和開發(fā)者獲取平臺相關(guān)的數(shù)據(jù)，但是對API的調(diào)用次數(shù)通常有限制，這使得需要獲取大量數(shù)據(jù)的需求顯

2、得極為不方便。因此，對社交網(wǎng)絡(luò)信息爬蟲的相關(guān)研究有非常重要的意義。
　　本文以社交網(wǎng)絡(luò)平臺為研究對象，研究了網(wǎng)絡(luò)爬蟲的相關(guān)技術(shù)。目前社交網(wǎng)絡(luò)平臺大多采用AJAX技術(shù)，以便提供豐富的功能以及良好的用戶體驗，對社交網(wǎng)絡(luò)平臺進(jìn)行爬取的過程也是AJAX頁面解析的一個過程。社交網(wǎng)絡(luò)平臺產(chǎn)生的數(shù)據(jù)量巨大，數(shù)據(jù)通常是一些稀疏的非結(jié)構(gòu)化的格式，因此使用傳統(tǒng)的關(guān)系型數(shù)據(jù)庫進(jìn)行存儲顯得不方便。本文使用非關(guān)系型數(shù)據(jù)庫MongoDB進(jìn)行數(shù)據(jù)的存儲;之后在

3、MongoDB存儲的基礎(chǔ)上進(jìn)行信息的檢索，以便獲取用戶感興趣的信息。本文所作的主要工作包括：⑴分析了當(dāng)前社交網(wǎng)絡(luò)信息在進(jìn)行爬取時存在的問題，從而引出爬蟲設(shè)計需要實現(xiàn)的目標(biāo)；⑵構(gòu)造了一個適合爬取社交網(wǎng)絡(luò)信息的網(wǎng)絡(luò)爬蟲，使用廣度優(yōu)先的策略對社交網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行爬??；⑶使用BeautifulSoup作為做AJAX的解析器，進(jìn)行網(wǎng)頁數(shù)據(jù)的爬取，從而解決社交網(wǎng)絡(luò)平臺自身提供的開放API對數(shù)據(jù)的獲取有次數(shù)限制的缺陷；⑷爬取的信息包括用戶信息、用戶關(guān)系信