基于LAMP框架的通用數(shù)據(jù)測試平臺的設計與實現(xiàn).pdf

1、大數(shù)據(jù)時代賦予的機遇和挑戰(zhàn)，使數(shù)據(jù)質量保證技術研究和實踐顯得尤為必要。傳統(tǒng)數(shù)據(jù)測試方法耗費人力且不全面，通過結構探測、類型學習和規(guī)則檢測將二維表和樹狀結構數(shù)據(jù)測試自動化的同時，需將測試結果可視化，輔助數(shù)據(jù)負責人發(fā)現(xiàn)和分析數(shù)據(jù)問題。同時為保證數(shù)據(jù)測試任務正確執(zhí)行，需在規(guī)則編寫階段保證規(guī)則代碼質量。此外，業(yè)務人員積累的數(shù)據(jù)檢測經(jīng)驗有待利用，在發(fā)現(xiàn)數(shù)據(jù)問題的基礎上直接進行修復。由于數(shù)據(jù)不斷更新會給使用主體帶來質量風險，因此需要一套完整的周期性

2、數(shù)據(jù)監(jiān)控方案，及時預警數(shù)據(jù)質量問題，并為問題解決提供線索。本通用數(shù)據(jù)測試平臺就是為支撐二維表和樹狀結構數(shù)據(jù)的測試、修復和監(jiān)控等質量保證業(yè)務而搭建的。
　　筆者根據(jù)軟件工程思想獨立完成了本論文所提及的數(shù)據(jù)測試、修復和監(jiān)控各模塊功能的需求分析、設計實現(xiàn)和測試等工作。首先，筆者分析系統(tǒng)任務和目標用戶以及數(shù)據(jù)測試、修復和監(jiān)控三大關鍵業(yè)務過程，并在此基礎上識別系統(tǒng)用例，劃分各模塊子功能點，明確系統(tǒng)功能性和非功能性需求，然后從邏輯分層架構、J

3、SON數(shù)據(jù)接口和數(shù)據(jù)庫角度完成系統(tǒng)概要設計，并基于LAMP框架、PHP Yii框架和前端JQuery、 Ajax等技術實現(xiàn)數(shù)據(jù)測試報告和數(shù)據(jù)預覽功能，將數(shù)據(jù)結構、類型和指標可視化，輔助分析數(shù)據(jù)問題和編寫用戶擴展規(guī)則，在自動化測試的基礎上，充分利用人的認知能力和在特定領域積累的業(yè)務經(jīng)驗，同時設計和實現(xiàn)了一套通用的簡單Python代碼檢測機制用于保證規(guī)則代碼質量，此外在規(guī)則計算流程中增加數(shù)據(jù)修復機制，直接提升數(shù)據(jù)質量，并在數(shù)據(jù)測試基礎上，設

4、計和實現(xiàn)了一套完整的數(shù)據(jù)文件、覆蓋率和錯誤率質量指標監(jiān)控方案，及時預警數(shù)據(jù)質量問題，同時提供數(shù)據(jù)指標報表和基于百度Echarts技術的分組重點屬性覆蓋率變化趨勢圖服務，方便整體把握數(shù)據(jù)質量狀況并為數(shù)據(jù)問題定位提供線索。
　　目前該通用數(shù)據(jù)測試平臺每天為公司20多個部門提供數(shù)據(jù)質量保證服務。其中數(shù)據(jù)監(jiān)控模塊上線半年來，共積累監(jiān)控模板40+個，截至2015年4月14日15時，平臺累計執(zhí)行監(jiān)控計算19172次，在團購、人物關系圖譜等線上