SEM廣告數(shù)據(jù)分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、SEM（Search Engine Marketing，搜索引擎營銷）是在用戶使用搜索引擎進(jìn)行搜索時，將希望傳遞的信息顯示給目標(biāo)用戶的一種推廣方式[1]。推廣方在搜索引擎平臺對不同的關(guān)鍵詞進(jìn)行投放，使推廣的頁面有更高頻率和概率顯示到搜索用戶面前，使用戶發(fā)現(xiàn)并通過點(diǎn)擊進(jìn)入相應(yīng)的頁面。京東商城每天都有上億的流量訪問，商城獲取流量的方式多種多樣，其中SEM是其極其重要的流量來源。京東商城有大量商品分類和具體商品頁面信息，不同商品分類、不同的商

2、品、不同的促銷都有不同的推廣的需求。國內(nèi)有百度、搜狗、360搜索、神馬搜索幾家主要搜索引擎廠商，運(yùn)營人員每天要維護(hù)不同搜索引擎平臺上推廣賬戶的SEM投放信息，并需要分析各個賬戶的投放效果，以便更新關(guān)鍵詞的投放比例，投放價格，業(yè)務(wù)邏輯復(fù)雜、數(shù)據(jù)維度多、數(shù)據(jù)量龐大。
　　論文依據(jù)京東商城的實(shí)際需求，設(shè)計(jì)和實(shí)現(xiàn)了SEM廣告數(shù)據(jù)分析系統(tǒng)。該系統(tǒng)維護(hù)京東商城在各家搜索引擎上的所有SEM投放賬號，自動獲取和存儲各個賬號在不同平臺的投放效果數(shù)據(jù)

3、，分析并產(chǎn)出投放報(bào)表，同時提供統(tǒng)一的有效提高投放效果和投放效率的投放操作。系統(tǒng)主要功能包括數(shù)據(jù)報(bào)表和實(shí)時投放。系統(tǒng)實(shí)現(xiàn)技術(shù)包括hadoop，hive，pig，oozie，druid，elastic search，node.js，shell，python等，完成數(shù)據(jù)的拉取、聚合、查詢、修改和媒體端交互等功能。
　　系統(tǒng)設(shè)計(jì)將系統(tǒng)分為fetcher, druid_data_generator, olap_data_loader, ui

4、，save_es，query_es，upload幾個主要模塊。fetcher模塊主要負(fù)責(zé)從各家搜索引擎的提供的差異化的API，以統(tǒng)一的方式，定時調(diào)度獲取并經(jīng)格式處理存儲到hive中;druid_data_generator模塊負(fù)責(zé)將拉取的數(shù)據(jù)與商城后臺的數(shù)據(jù)進(jìn)行各個維度的聚合;olap_data_loader負(fù)責(zé)將聚合后的數(shù)據(jù)從Hive上傳到druid; ui負(fù)責(zé)從druid查詢各個維度的數(shù)據(jù)并顯示;save_es負(fù)責(zé)投放操作的數(shù)據(jù)保存

5、與修改，用于與投放媒體端交互同步數(shù)據(jù);uploader負(fù)責(zé)與媒體端交互，將修改的操作實(shí)時的上傳到媒體端實(shí)現(xiàn)投放數(shù)據(jù)的實(shí)際修改。
　　本人參與了系統(tǒng)需求分析、設(shè)計(jì)和實(shí)現(xiàn)的全過程。獨(dú)立設(shè)計(jì)和實(shí)現(xiàn)了fetcher模塊、druid_ data_ loader和save_es的部分功能，實(shí)現(xiàn)了數(shù)據(jù)源的穩(wěn)定抓取、數(shù)據(jù)轉(zhuǎn)化聚合，并完成elasic search數(shù)據(jù)的存儲和性能優(yōu)化。
　　論文實(shí)現(xiàn)的SEM廣告數(shù)據(jù)分析系統(tǒng)系統(tǒng)最終已經(jīng)上線并穩(wěn)