專家信息資源收集中數(shù)據(jù)清洗與融合算法研究.pdf

1、專家信息資源由于規(guī)模巨大從而在收集過程中存在冗余度高、可信度低且信息描述方式不一致等問題，結(jié)果準確性難以保證。因此有效的數(shù)據(jù)清洗技術(shù)成為必須。而清洗中的規(guī)范與之后的融合是決定專家信息能否實用的關(guān)鍵步驟。所以如何進行專家信息的規(guī)范化與有效融合是本論文的研究重點。
　　本文針對專家成果類別信息的不規(guī)范問題，研究了傳統(tǒng)的數(shù)據(jù)清洗算法，在此基礎上，提出了一種基于特征的數(shù)據(jù)標準化方法(Feature based Data Standardi

2、zation，簡稱FDS)。該方法通過訓練集總結(jié)出專家成果類別的數(shù)據(jù)特點，計算出各數(shù)據(jù)項的特征權(quán)值，從而識別出各數(shù)據(jù)項對應的數(shù)據(jù)狀態(tài)，按照需求決定各數(shù)據(jù)項的排列順序。分析與實驗結(jié)果表明，當數(shù)據(jù)規(guī)模較大時，該算法在對識別精度影響非常小的情況下，在時間消耗方面優(yōu)于現(xiàn)有的算法。針對專家屬性值冗余與可信度較低的問題，論文提出了一種基于粒計算的信息自動融合算法(Granular Computing-based automaticInformati

3、on Fusion，簡稱GCIF)。該算法通過計算與合理分配各信息來源的可信度，將所有信息樣本構(gòu)造成一個知識粒圖，在知識粒圖上尋找最大權(quán)值路徑，路徑上的所有知識粒子即為最終的信息融合結(jié)果，從而提高融合結(jié)果的可信度。分析與模擬結(jié)果表明，該算法在數(shù)據(jù)規(guī)模較大的情況下，在不同沖突比例情況下，都能得到較好的融合效果，在融合準確性方面優(yōu)于同類算法。信息的質(zhì)量對專家信息資源融合的準確性有很大的影響，所以在融合前應該對信息進行標準化，而傳統(tǒng)的數(shù)據(jù)清洗