支付寶商戶風險監(jiān)控系統(tǒng)爬蟲子系統(tǒng)的設計與實現(xiàn).pdf

1、隨著電子商務的高速發(fā)展,在線交易量日益增大,光靠網(wǎng)銀自身的系統(tǒng)已經(jīng)支撐不了客戶支付的要求,于是一系列第三方支付公司如雨后春筍拔地而起。第三方支付平臺匯總了各大銀行的支付接口,同時還豐富了很多應用,滿足了客戶在線支付的需求。第三方支付平臺允許商戶網(wǎng)站接入其提供的支付接口,為客戶提供在線支付服務。
　　本文分析了支付寶在線支付平臺的具體情況,可以得到目前支付寶平臺主要提供資金的在線流動服務,對具體的交易內(nèi)容是無法知曉的,使得很多電子商

2、務網(wǎng)站在線進行一些非法交易,嚴重破壞了網(wǎng)絡支付環(huán)境。
　　針對當前接入支付寶平臺支付接口的電子商務網(wǎng)站規(guī)模和業(yè)務領域進行了分析,找出了一套合理地商戶風險監(jiān)控方案,建立商戶風險監(jiān)控系統(tǒng),系統(tǒng)還提供管理員后臺操作界面,允許人工介入對系統(tǒng)發(fā)現(xiàn)的嫌疑商戶進行驗證,確保最終整改的商戶確實為非法商戶。
　　商戶風險監(jiān)控系統(tǒng)分為爬蟲子系統(tǒng)、審核任務子系統(tǒng)。本文對爬蟲子系統(tǒng)的基礎數(shù)據(jù)維護、基礎數(shù)據(jù)加載、分布式環(huán)境負載均衡、網(wǎng)頁地址分發(fā)和去重

3、以及文本分析結(jié)果處理功能做了詳細的需求分析以及設計實現(xiàn)。根據(jù)對當前商戶數(shù)據(jù)量的評估,設計了合理的系統(tǒng)物理架構(gòu)。維護的基礎數(shù)據(jù)包含詞匯、商戶篩選策略以及應用場景,這些數(shù)據(jù)加載到爬蟲系統(tǒng)中用來進行高風險商戶網(wǎng)站的篩選和商戶網(wǎng)站內(nèi)容的分析。采用基于Hash的任務調(diào)度機制實現(xiàn)了分布式爬蟲的負載均衡,利用BloomFilter數(shù)據(jù)結(jié)構(gòu),實現(xiàn)了高效的網(wǎng)頁地址去重,由詞匯分析之后的嫌疑違規(guī)文本會被封裝成人工核查任務分發(fā)給審核任務子系統(tǒng)。
　　該