科學計算時變數(shù)據(jù)集的數(shù)據(jù)挖掘算法研究.pdf

1、在數(shù)十萬億次以上規(guī)模的高性能計算機上，高性能科學計算的數(shù)值模擬可能輸出大規(guī)模時變數(shù)據(jù)集。這些數(shù)據(jù)集由數(shù)據(jù)子集序列構成，數(shù)據(jù)總量可能達到十億字節(jié)(GB)至萬億字節(jié)(TB)，每個數(shù)據(jù)子集表示物理問題在某個時刻的數(shù)值離散解。面對如此大規(guī)模的時變數(shù)據(jù)集，如何快速地開展物理分析，去偽存真，將數(shù)據(jù)轉化為知識，進而發(fā)現(xiàn)新的物理現(xiàn)象、揭示新的物理規(guī)律、探索新的物理機制，是科學計算研究的重要一環(huán)。
　　在傳統(tǒng)可視化分析的基礎上，為了提高物理分析的效

2、率，可以采用數(shù)據(jù)挖掘算法。這些算法基于已知的物理知識來標識重要的物理時刻和局部興趣區(qū)域，發(fā)現(xiàn)物理量間的相關性，可以成為物理分析的關鍵支撐技術。但是，現(xiàn)有的商業(yè)數(shù)據(jù)挖掘算法均難以適應，因為它們通常針對各種屬性的關聯(lián)規(guī)則，不能適應于數(shù)值型數(shù)據(jù)。因此，有必要開展系統(tǒng)深入的科學計算時變數(shù)據(jù)集的數(shù)據(jù)挖掘算法研究。
　　對科學計算時變數(shù)據(jù)集而言，數(shù)據(jù)挖掘至少可以實現(xiàn)三個方面的功能。第一，比較任意兩個相鄰時刻的數(shù)據(jù)子集的相似度;第二，標定可能蘊

3、含豐富知識的局部計算區(qū)域和時間步;第三，判斷任意兩個物理量之間的相關程度。這三個方面的研究對物理分析有重要意義，它可以在大規(guī)?？茖W計算時變數(shù)據(jù)集中，迅速挑出蘊含重要物理特征的時刻或者子區(qū)域，發(fā)現(xiàn)物理量之間的線性或非線性相關性，可以提高數(shù)據(jù)分析的速度與效率，降低分析的難度。
　　信息熵理論是一門利用數(shù)理統(tǒng)計方法研究信息度量的科學。它不依賴于數(shù)據(jù)的維數(shù)、空間位置、單位等信息，能對數(shù)據(jù)的內(nèi)在特征進行定量表征，可以用于描述科學計算時變數(shù)據(jù)

4、集中所蘊含的信息，而這些正是找出蘊含潛在有用信息的時刻或子區(qū)域所需要的。因此，信息熵理論可以作為數(shù)據(jù)挖掘的基礎。
　　本課題基于信息熵理論，針對科學計算時變數(shù)據(jù)集物理分析對數(shù)據(jù)挖掘提出的三個方面的需求，緊密圍繞時變數(shù)據(jù)集序列約減、變化檢測和物理量非線性相關性的檢測算法三個方面開展研究，取得了如下創(chuàng)新的研究成果:
　　(1)針對科學計算時變數(shù)據(jù)集，分析了信息度量應用于數(shù)據(jù)挖掘的可行性，并提出了科學計算時變數(shù)據(jù)集的非均勻直方圖構

5、建算法。該算法通過迭代得到科學數(shù)據(jù)集的概率分布，具有較好的自適應性。
　　(2)提出了時變數(shù)據(jù)集序列的子集約減數(shù)據(jù)挖掘算法。該算法采用關聯(lián)信息測度度量算法來度量數(shù)據(jù)子集間的相關性，僅存儲相關程度低的數(shù)據(jù)子集。這些子集已經(jīng)蘊含了時變數(shù)據(jù)集序列的重要物理特征。于是，可以大幅降低數(shù)據(jù)集的存儲空間，提高物理分析的效率。具體應用于激光與等離子體相互作用模擬，獲得了滿意的數(shù)據(jù)挖掘結果。
　　(3)基于交互信息距離，提出了時變數(shù)據(jù)集序列的

6、變化檢測數(shù)據(jù)挖掘算法。該算法可以在數(shù)據(jù)集序列中挖掘突變的時間步或者子區(qū)域，減少數(shù)據(jù)分析或可視化的工作量。具體應用于高斯序列與激光與等離子體相互作用模擬，效果良好。
　　(4)基于信息冗余度，提出了時間序列中物理參量非線性相關性的檢測算法。該算法引入振幅調(diào)節(jié)傅立葉變換算法生成替代數(shù)據(jù)，利用信息冗余度作為檢驗統(tǒng)計量進行統(tǒng)計檢驗，研究了檢測單物理參量或多物理參量非線性相關性的數(shù)據(jù)挖掘算法。通過幾種常見的時間序列測試，驗證了該數(shù)據(jù)挖掘算法