面向漁場(chǎng)分析的數(shù)據(jù)預(yù)處理方法研究及系統(tǒng)實(shí)現(xiàn).pdf

1、近年來,數(shù)據(jù)挖掘(Data Mining)引起了信息產(chǎn)業(yè)界的極大興趣,其主要原因是現(xiàn)實(shí)中存在大量數(shù)據(jù),不能被充分使用,另一方面存在著迫切的需要將這些數(shù)據(jù)轉(zhuǎn)化為有用的信息的需求。數(shù)據(jù)預(yù)處理是一個(gè)完整的數(shù)據(jù)挖掘過程基礎(chǔ)步驟,所以數(shù)據(jù)預(yù)處理的優(yōu)劣直接影響數(shù)據(jù)挖掘的成效。同時(shí),隨著信息技術(shù)和空間技術(shù)的發(fā)展,衛(wèi)星遙感在海洋漁業(yè)中的應(yīng)用研究也倍受人們的關(guān)注?；诤Ｑ笮l(wèi)星遙感數(shù)據(jù)和漁業(yè)產(chǎn)量數(shù)據(jù)的漁場(chǎng)分析和漁情預(yù)測(cè)已逐漸成為漁業(yè)主管部門和生產(chǎn)單位如何進(jìn)

2、行魚訊生產(chǎn)部署和管理的重要依據(jù)。
　　目前,領(lǐng)域?qū)＜疫M(jìn)行漁場(chǎng)分析和漁情預(yù)測(cè)主要運(yùn)用相關(guān)性分析、線性回歸、多元線性回歸、非線性回歸以及各種智能算法,包括神經(jīng)網(wǎng)絡(luò)等。領(lǐng)域?qū)＜以谑褂眠@些算法時(shí),數(shù)據(jù)源是通過瀏覽器獲得,在下載數(shù)據(jù)量多的情況下,操作復(fù)雜繁瑣;數(shù)據(jù)處理是使用各種軟件如Excel、SPSS、ArcGis等進(jìn)行處理。這種做法不僅沒有真正利用各種軟件的長處,反而增加了數(shù)據(jù)處理的復(fù)雜程度,沒有合理有效地進(jìn)行數(shù)據(jù)預(yù)處理。
　　本

3、文針對(duì)漁業(yè)應(yīng)用,分析漁業(yè)生產(chǎn)數(shù)據(jù)和海洋衛(wèi)星遙感數(shù)據(jù)的特點(diǎn),提出一種綜合預(yù)處理這兩種數(shù)據(jù)的方法,提高數(shù)據(jù)預(yù)處理的效率,達(dá)到業(yè)務(wù)化應(yīng)用程度。包括創(chuàng)新性地將數(shù)據(jù)源獲取作為數(shù)據(jù)預(yù)處理過程中的一個(gè)步驟,提出自動(dòng)化獲取海洋遙感數(shù)據(jù)的方法,該方法獲取的數(shù)據(jù)能夠在時(shí)間和空間上進(jìn)行定制,使用戶得到數(shù)據(jù)更加方便;改進(jìn)地質(zhì)學(xué)中的克里格(Kringing)插值算法應(yīng)用于衛(wèi)星遙感數(shù)據(jù)的補(bǔ)缺,提高數(shù)據(jù)補(bǔ)缺精度;利用BP神經(jīng)網(wǎng)絡(luò)提取遙感圖片數(shù)據(jù),與普通方法相比,大幅

4、度減少數(shù)據(jù)提取時(shí)間和提高精度;運(yùn)用基于概念樹的面向?qū)傩詺w納的方法對(duì)海洋遙感環(huán)境數(shù)據(jù)和漁業(yè)產(chǎn)量數(shù)據(jù)在不同時(shí)間尺度和空間尺度上進(jìn)行自動(dòng)歸納,增加數(shù)據(jù)預(yù)處理速度。另外本文還增加了漁場(chǎng)分析和漁情預(yù)測(cè)中常用指數(shù)的自動(dòng)計(jì)算功能。
　　本文的主要工作及結(jié)果如下:
　　(1)海洋遙感數(shù)據(jù)的種類包括海表溫度、海面高度、葉綠色濃度等,數(shù)據(jù)的格式包括.txt、.nc、.jpg等,數(shù)據(jù)來源的網(wǎng)站包括oceanwatch、哥倫比亞、微波網(wǎng)、日本氣象廳

5、等,通過分析網(wǎng)站結(jié)構(gòu),下載鏈接字符串等步驟,自動(dòng)獲取海洋遙感環(huán)境數(shù)據(jù)。
　　(2)改進(jìn)地質(zhì)學(xué)中Kriging插值算法,填補(bǔ)由于云層遮擋等原因造成的環(huán)境數(shù)據(jù)缺失,對(duì)Kriging算法中的各種變異函數(shù)進(jìn)行試驗(yàn)驗(yàn)證,以期獲得最佳的變異函數(shù)模型,使填補(bǔ)精度進(jìn)一步提高。
　　(3)運(yùn)用BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練遙感環(huán)境圖片中的標(biāo)準(zhǔn)色卡,得到模型,利用此模型提取遙感環(huán)境圖片數(shù)據(jù),填補(bǔ)沒有一種行之有效的方法提取遙感環(huán)境圖片數(shù)據(jù)的空白。
　　(

6、4)運(yùn)用概念樹屬性歸納對(duì)海洋遙感環(huán)境數(shù)據(jù)和漁業(yè)產(chǎn)量數(shù)據(jù)在不同時(shí)間粒度和空間尺度上進(jìn)行自動(dòng)歸納,產(chǎn)量數(shù)據(jù)和環(huán)境數(shù)據(jù)在時(shí)間尺度、空間尺度都從最低概念層次進(jìn)行存儲(chǔ),可以快速獲得其他任何時(shí)間分辨率和空間分辨率的數(shù)據(jù)。
　　(5)編碼實(shí)現(xiàn)面向漁場(chǎng)分析的數(shù)據(jù)預(yù)處理系統(tǒng),考慮本文在漁場(chǎng)分析和漁業(yè)預(yù)測(cè)中的實(shí)際應(yīng)用,增加漁業(yè)領(lǐng)域中各種指標(biāo)數(shù)據(jù)的自動(dòng)計(jì)算功能,如 GSST、CPUE、HIS等,是該系統(tǒng)達(dá)到業(yè)務(wù)化應(yīng)用。最后文章以1995-2007年大眼