數(shù)據(jù)文件自動(dòng)產(chǎn)生和配置平臺(tái)的軟件設(shè)計(jì)與實(shí)現(xiàn).pdf

1、億貝(ebay)上海分公司的一個(gè)職責(zé)是維護(hù)和開發(fā)全公司的數(shù)據(jù)倉(cāng)庫(kù)，即每天從實(shí)時(shí)生產(chǎn)數(shù)據(jù)庫(kù)將當(dāng)天的業(yè)務(wù)數(shù)據(jù)轉(zhuǎn)存到數(shù)據(jù)倉(cāng)庫(kù)進(jìn)行二次計(jì)算和整理，最后生成業(yè)務(wù)分析師所需要的數(shù)據(jù)。但是數(shù)據(jù)倉(cāng)庫(kù)在權(quán)限上控制較為嚴(yán)格，導(dǎo)致業(yè)務(wù)分析師很難獲取到結(jié)果數(shù)據(jù)。正規(guī)流程為數(shù)據(jù)倉(cāng)庫(kù)內(nèi)部編寫ETL腳本抽取出數(shù)據(jù)，再把這些數(shù)據(jù)發(fā)送給分析師。但是這個(gè)方法耗時(shí)耗力周期長(zhǎng)。對(duì)應(yīng)的解決方案是設(shè)計(jì)一個(gè)軟件來(lái)提供服務(wù)。
　　本論文介紹了包括各種億貝內(nèi)部使用的技術(shù)在內(nèi)的一些

2、背景資料，研究設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)軟件。該軟件可以讓用戶提交請(qǐng)求，自動(dòng)生成對(duì)應(yīng)的代碼腳本，自動(dòng)部署到生產(chǎn)環(huán)節(jié)，最后每天自動(dòng)運(yùn)行。
　　主要完成的功能如下：
　　(1)自動(dòng)生成配置文件以及配置腳本。自動(dòng)讀取用戶提交的需求并且生成一系列的配置文件和腳本文件。系統(tǒng)可以通過(guò)運(yùn)行該功能所生產(chǎn)的腳本和配置文件來(lái)從數(shù)據(jù)倉(cāng)庫(kù)中抽取出用戶所需要的數(shù)據(jù)。
　　(2)定時(shí)任務(wù)腳本的自動(dòng)生成。自動(dòng)根據(jù)用戶的需求生成出相對(duì)應(yīng)的定時(shí)任務(wù)腳本來(lái)運(yùn)行每個(gè)