基于ETL的校園數(shù)據(jù)交換平臺(tái)設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著科學(xué)技術(shù)的飛速發(fā)展，信息化和數(shù)字化已經(jīng)成為各行各業(yè)進(jìn)行現(xiàn)代化發(fā)展和技術(shù)改造的必然趨勢(shì)，教育和科研領(lǐng)域是較早接觸到信息化技術(shù)的行業(yè)，通過十多年來的發(fā)展和建設(shè)，在我國(guó)，目前在中小學(xué)校園中已經(jīng)陸續(xù)建立了相應(yīng)的針對(duì)學(xué)生以及教學(xué)事務(wù)的數(shù)據(jù)系統(tǒng)。然而各個(gè)數(shù)據(jù)系統(tǒng)的建立時(shí)間、建立方式、使用技術(shù)以及數(shù)據(jù)的存儲(chǔ)格式都各有不同，各個(gè)數(shù)據(jù)系統(tǒng)實(shí)際上處于相互獨(dú)立的狀態(tài)，這就給不同數(shù)據(jù)系統(tǒng)之間的數(shù)據(jù)交換和數(shù)據(jù)提取產(chǎn)生了困難，各數(shù)據(jù)系統(tǒng)之間不能實(shí)現(xiàn)數(shù)據(jù)的有效共

2、享，使數(shù)據(jù)產(chǎn)生價(jià)值。
　　數(shù)據(jù)交換平臺(tái)是一種旨在解決不同應(yīng)用系統(tǒng)之間的數(shù)據(jù)通信和數(shù)據(jù)交換的問題，使不同數(shù)據(jù)庫，不同數(shù)據(jù)格式之間存儲(chǔ)的數(shù)據(jù)能夠?qū)崿F(xiàn)跨平臺(tái)跨格式的智能數(shù)據(jù)抽取，數(shù)據(jù)交換服務(wù)的平臺(tái)。
　　ETL（Extract-Transform-Load）技術(shù)是目前采用較多的數(shù)據(jù)交換技術(shù)之一，ETL實(shí)際上是數(shù)據(jù)抽取，數(shù)據(jù)轉(zhuǎn)換和數(shù)據(jù)加載三種操作的總稱。通常ETL操作發(fā)生在數(shù)據(jù)倉庫中，通過ETL工具從數(shù)據(jù)源中抽取需要的數(shù)據(jù)，根據(jù)需要

3、的格式對(duì)數(shù)據(jù)進(jìn)行格式轉(zhuǎn)換、清洗，去除冗余數(shù)據(jù)，將不同格式存儲(chǔ)的數(shù)據(jù)進(jìn)行格式統(tǒng)一，然后將加工處理后的數(shù)據(jù)加載到新的數(shù)據(jù)庫中進(jìn)行存儲(chǔ)。
　　本文通過對(duì)目前中小學(xué)校園數(shù)據(jù)交互共享的具體需求進(jìn)行分析，充分比較了現(xiàn)有的不同數(shù)據(jù)交換技術(shù)，提出了一種基于ETL的數(shù)據(jù)交換平臺(tái)的解決方案。通過對(duì)實(shí)際環(huán)境進(jìn)行測(cè)試，取得了較好的效果。具體的工作有以下幾點(diǎn)：
　　1．根據(jù)光明中學(xué)建設(shè)統(tǒng)一信息交換平臺(tái)的需求，提出了基于ETL技術(shù)的整體設(shè)計(jì)架構(gòu)，并通過

4、開源ETL工具加以實(shí)現(xiàn)。
　　2．在基本的總線型架構(gòu)的基礎(chǔ)上提出了引入次級(jí)數(shù)據(jù)交換節(jié)點(diǎn)的改進(jìn)使重點(diǎn)源數(shù)據(jù)庫與總線之間增加緩沖和服務(wù)能力，提高了整個(gè)系統(tǒng)的穩(wěn)定性。
　　3．針對(duì)并發(fā)數(shù)據(jù)請(qǐng)求的情況引入了消息隊(duì)列處理機(jī)制，在服務(wù)器多線程均繁忙時(shí)，根據(jù)數(shù)據(jù)請(qǐng)求優(yōu)先級(jí)進(jìn)入消息隊(duì)列依次服務(wù)。
　　4．支持人工錄入和審核功能，提高整體平臺(tái)的數(shù)據(jù)安全性和可靠性。
　　本文中所實(shí)現(xiàn)的數(shù)據(jù)交換平臺(tái)系統(tǒng)是基于開源ETL工具kettle