船舶監(jiān)控系統(tǒng)中實(shí)時(shí)數(shù)據(jù)清洗技術(shù)研究.pdf

1、隨著航運(yùn)船舶數(shù)量的逐年增加，人們對(duì)船舶航行安全的要求也在不斷提高。對(duì)船舶設(shè)備運(yùn)行狀態(tài)進(jìn)行實(shí)時(shí)監(jiān)控是確保船舶安全運(yùn)行的主要技術(shù)手段之一。由于船舶設(shè)備數(shù)量大、型號(hào)多、工作環(huán)境惡劣和采集儀器自身誤差，導(dǎo)致采集到的監(jiān)控?cái)?shù)據(jù)中不可避免地存在冗余、缺失等問題，影響對(duì)船舶設(shè)備運(yùn)行狀態(tài)的正確判斷。因此本文重點(diǎn)研究船舶監(jiān)控系統(tǒng)中實(shí)時(shí)數(shù)據(jù)清洗技術(shù)，主要解決監(jiān)控?cái)?shù)據(jù)中的冗余問題和缺失問題。本文主要研究內(nèi)容如下：
　?。?）進(jìn)行了船舶監(jiān)控系統(tǒng)的需求分析，

2、設(shè)計(jì)了系統(tǒng)的總體框架，闡述了系統(tǒng)的關(guān)鍵技術(shù)。
　?。?）針對(duì)船舶采集數(shù)據(jù)中的冗余問題，提出一種基于SNM的改進(jìn)冗余數(shù)據(jù)消除算法。針對(duì)傳統(tǒng)SNM算法中滑動(dòng)窗口大小難以選取的問題，采用可伸縮和可變速窗口，在對(duì)記錄進(jìn)行匹配時(shí)既可以避免漏配，也減少了不必要的記錄比較。對(duì)于原算法中字段匹配準(zhǔn)確率不高的問題，采用余弦相似度匹配算法，提高匹配精度。在記錄比較過程中提出Top-k有效權(quán)重過濾算法，減少字段匹配次數(shù)，提高檢測(cè)效率。經(jīng)過實(shí)驗(yàn)證明該優(yōu)化

3、算法無論在召回率還是準(zhǔn)確率上都取得了良好的應(yīng)用效果。
　　（3）針對(duì)船舶采集數(shù)據(jù)中的缺失問題，提出一種基于KNN的改進(jìn)缺失數(shù)據(jù)填補(bǔ)算法。傳統(tǒng)KNN算法在每一次計(jì)算樣本距離時(shí)都需要考慮整個(gè)樣本集，在處理高維數(shù)據(jù)時(shí)時(shí)間消耗大，針對(duì)此缺陷提出改進(jìn)的復(fù)相關(guān)系數(shù)倒數(shù)賦權(quán)法對(duì)數(shù)據(jù)集進(jìn)行簡化操作，大大降低計(jì)算復(fù)雜度。對(duì)于KNN算法中歐式距離在計(jì)算K個(gè)近鄰時(shí)存在的不足，提出將馬氏距離與灰色關(guān)聯(lián)分析兩類方法相結(jié)合，使樣本中離散型和連續(xù)型屬性值都得到