基于Scrapy的電子商務網(wǎng)絡測量與網(wǎng)絡特征分析.pdf

1、互聯(lián)網(wǎng)的廣泛使用和互聯(lián)網(wǎng)應用的不斷豐富為電子商務蓬勃發(fā)展提供了良好的環(huán)境和契機。目前淘寶網(wǎng)是我國最具實力的個人對個人的網(wǎng)上交易網(wǎng)站，關于電子商務網(wǎng)絡特征的研究主要集中在淘寶網(wǎng)上，都是以電子商務的營銷為目的來剖析網(wǎng)上交易行為，主要包括信用評價體制、營銷策略、賣家銷售參數(shù)的統(tǒng)計分析等。本文將從圖論的角度來研究電子商務網(wǎng)絡，首先通過數(shù)據(jù)抓取技術得到一個真實的網(wǎng)絡數(shù)據(jù)集，然后在該數(shù)據(jù)集上分析淘寶網(wǎng)的拓撲特征及其中用戶行為特點。目的是探究在線社會

2、網(wǎng)絡中的用戶行為對網(wǎng)上交易的影響。主要工作包括以下三個方面：
　　第一，由于網(wǎng)絡規(guī)模非常龐大且網(wǎng)絡結構非常復雜，引入抽樣技術成為大規(guī)模網(wǎng)絡數(shù)據(jù)測量中不可缺少的環(huán)節(jié)。本文提出了一種適用于二分網(wǎng)絡的抽樣算法，該算法是通過理論推導和算法實現(xiàn)的適應性修改將適用于普通圖的抽樣算法MHRW(Metropolis-Hastings Random Walk)算法推廣到二分圖上。MHRW算法是一種性能比較好的無偏的抽樣算法。為了驗證該算法在二分圖上

3、的抽樣性能，本文分別在合成圖和實際網(wǎng)絡數(shù)據(jù)集上檢測MHRW算法的抽樣效果。
　　第二，本文選用Scrapy爬蟲框架作為爬取數(shù)據(jù)的工具。通過對淘寶網(wǎng)頁頁面格式的深入分析，結合BFS和MHRW兩種抽樣方法，在5臺PC上同時并發(fā)連續(xù)運行爬蟲程序30天，最終得到淘寶分享網(wǎng)絡的數(shù)據(jù)集。本文中列出了數(shù)據(jù)抓取過程中遇到的主要問題，并通過對問題本質(zhì)的剖析給出了最終的解決方法。為了分析分享平臺與賣家特性的關系，本文還抓取了淘寶網(wǎng)中服裝類所有賣家的信

4、息。分析發(fā)現(xiàn)：網(wǎng)絡中的商家存在短時間內(nèi)迅速崛起的現(xiàn)象，說明電子商務為新生的有強勁發(fā)展實力的賣家創(chuàng)造了良好的環(huán)境，為新創(chuàng)業(yè)者提供了一個較好的平臺。
　　第三，在淘寶分享平臺數(shù)據(jù)集上分析用戶行為特征。本文給出了所得數(shù)據(jù)集的規(guī)模參數(shù)，分析了買家、寶貝、賣家三類節(jié)點的屬性特征，進一步給出了賣家與相連買家的各屬性之間的關系，最后討論了在買家分享網(wǎng)絡的特點。分析結果表明，淘寶分享網(wǎng)絡中買家和寶貝節(jié)點的度值大部分處于10～100之間；寶分享平臺