網(wǎng)頁防抓取系統(tǒng)的設(shè)計與實現(xiàn).pdf

1、某公司是中國領(lǐng)先的在線旅游平臺，機(jī)票搜索交易平臺是其中的重要基礎(chǔ)平臺之一，搜索范圍覆蓋全球范圍內(nèi)約18余萬條航線，可實時搜索4000多家旅游代理商網(wǎng)站，同時其2014年度的機(jī)票交易也突破了8000萬張。然而在業(yè)務(wù)量持續(xù)增長的同時，機(jī)票搜索交易平臺及其相關(guān)業(yè)務(wù)系統(tǒng)都面臨著各類外部來源的信息抓取所帶來的壓力，大量的抓取請求帶來了一系列嚴(yán)峻的問題：○1數(shù)據(jù)安全問題，面對非正常的抓取訪問的，關(guān)鍵數(shù)據(jù)存在被競爭對手獲取的風(fēng)險；○2系統(tǒng)性能問題，大

2、量的抓取請求造成服務(wù)器資源的耗盡，嚴(yán)重影響用戶的搜索和交易體驗；○3不同的業(yè)務(wù)系統(tǒng)重復(fù)對防抓取進(jìn)行實現(xiàn)，且實現(xiàn)質(zhì)量良莠不齊，形成了資源的浪費(fèi)。
　　論文通過對網(wǎng)絡(luò)爬蟲和防抓取相關(guān)技術(shù)的深入研究，設(shè)計并實現(xiàn)了網(wǎng)頁防抓取系統(tǒng)（Web Anti-Crawling System，ACS）。ACS系統(tǒng)為公司的機(jī)票搜索交易平臺及其下面的多個業(yè)務(wù)項目提供了統(tǒng)一的、高質(zhì)量的防抓取服務(wù)，實現(xiàn)了HTTP協(xié)議頭、JS加密串、IP黑名單、訪問頻率控制等防

3、抓取策略；通過對機(jī)票搜索交易平臺業(yè)務(wù)的深入了解，實現(xiàn)了業(yè)務(wù)邏輯相關(guān)的行為模式防抓取策略，進(jìn)一步提高了抓取所需的成本；另外，ACS系統(tǒng)對策略接口、防抓取服務(wù)接口的設(shè)計，使得API接口與實現(xiàn)分離，不僅具有良好的拓展性，同時也降低與業(yè)務(wù)系統(tǒng)之間的耦合性，便于防抓取服務(wù)的接入。Anti-Crawling System為上述由抓取帶來的問題提供了一個解決方案。
　　整個防抓取系統(tǒng)經(jīng)過一定的功能測試和性能測試，確定論文中所述的五個防抓取策略已