Web海洋數(shù)據(jù)抓取及存儲(chǔ)系統(tǒng)的研究與實(shí)現(xiàn).pdf

1、經(jīng)過長年累月的信息調(diào)查和資料收集，各國的相關(guān)研究機(jī)構(gòu)已經(jīng)保存了大量的海洋科學(xué)數(shù)據(jù)及相關(guān)信息。隨著互聯(lián)網(wǎng)的普及，這些機(jī)構(gòu)也已經(jīng)把相關(guān)海洋數(shù)據(jù)信息發(fā)布在了Web上供用戶查詢下載。但目前還沒有針對(duì)此領(lǐng)域的信息檢索和數(shù)據(jù)抓取工具，因此難以自動(dòng)、高效地大規(guī)模獲取Web海洋數(shù)據(jù)。另外，海洋數(shù)據(jù)通常以科學(xué)文本數(shù)據(jù)的形式發(fā)布，這種形式的數(shù)據(jù)是半結(jié)構(gòu)化的，需要額外的格式說明等元數(shù)據(jù)信息才能理解其含意。這種形式的數(shù)據(jù)難以進(jìn)行直接操作，只有將其存儲(chǔ)到關(guān)系數(shù)據(jù)

2、庫中才能得到有效的查詢和分析。
　　針對(duì)以上的背景情況，本文構(gòu)建了一個(gè)面向Web海洋數(shù)據(jù)進(jìn)行發(fā)現(xiàn)、抓取和存儲(chǔ)工作的系統(tǒng)框架。該框架將整個(gè)系統(tǒng)劃分成三大模塊，分別完成目標(biāo)網(wǎng)站檢索、海洋數(shù)據(jù)抓取和數(shù)據(jù)存儲(chǔ)的相關(guān)工作。
　　對(duì)于目標(biāo)網(wǎng)站的檢索，本文構(gòu)建了海洋科學(xué)數(shù)據(jù)領(lǐng)域的關(guān)鍵詞庫，并在此基礎(chǔ)上提出了本領(lǐng)域的主題相關(guān)度評(píng)價(jià)算法，從而通過調(diào)用搜索引擎并對(duì)返回結(jié)果進(jìn)行主題過濾的方式檢索到了滿足需求的站點(diǎn)地址。對(duì)于海洋科學(xué)數(shù)據(jù)文件的下載，

3、本文設(shè)計(jì)了一個(gè)專用的網(wǎng)頁文件抓取器并提出了海洋數(shù)據(jù)元數(shù)據(jù)文件的提取算法，從而能夠有效的抓取到海洋數(shù)據(jù)文件并進(jìn)行正確的解析。對(duì)于海洋文本數(shù)據(jù)的存儲(chǔ)，本文設(shè)計(jì)并建立了科學(xué)文本數(shù)據(jù)到關(guān)系數(shù)據(jù)庫數(shù)據(jù)之間的映射模型，從而將存放在文本文件中的海洋數(shù)據(jù)正確的加載到了海洋關(guān)系數(shù)據(jù)庫中，讓這些數(shù)據(jù)得到了有效的利用。
　　實(shí)際應(yīng)用表明，本文所設(shè)計(jì)并實(shí)現(xiàn)的系統(tǒng)取得了較好的效果，能夠滿足構(gòu)建海洋數(shù)據(jù)倉庫的相關(guān)研究中對(duì)海量數(shù)據(jù)的獲取需求。同時(shí)本系統(tǒng)也有著良