基于用戶置信度的數(shù)據(jù)時效性判定研究.pdf

1、隨著網(wǎng)絡信息技術(shù)的快速發(fā)展，如果大數(shù)據(jù)中有許多遺留下來的歷史數(shù)據(jù)，那么用戶從數(shù)據(jù)倉庫中提取信息時可能會過時或不準確，時效性差的數(shù)據(jù)可能會對人們的日常生活和企業(yè)決策分析帶來許多不利影響。因此，對數(shù)據(jù)的時效性判定問題研究對提高數(shù)據(jù)質(zhì)量至關重要。當前的數(shù)據(jù)時效性判定方法可分為三類:基于時間戳的方法、基于不確定規(guī)則的方法和基于確定規(guī)則的方法?；跁r間戳的方法要求完整精準的時間戳，但這樣的時間戳在很多實際應用中是不存在。基于不確定規(guī)則的方法是針對

2、表達不確定的領域知識，不依賴冗余記錄，雖能提高召回率，卻會損失精確率。當前基于確定規(guī)則的時效性判定算法均是依賴于冗余元組和時效約束關系，但在判定其數(shù)據(jù)時效性時僅考慮了屬性的主觀權(quán)重。對此，本文在基于確定規(guī)則的數(shù)據(jù)時效性判定方法基礎上進行深入研究，定義了綜合屬性主觀權(quán)重和屬性之間依賴關系的用戶置信度，并提出了基于用戶置信度的完備數(shù)據(jù)時效性判定算法，以提高數(shù)據(jù)時效性查詢結(jié)果的質(zhì)量。同時發(fā)現(xiàn)對不完備數(shù)據(jù)時效性判定的研究比較薄弱，本文還進一步提

3、出了一種基于用戶置信度的不完備數(shù)據(jù)時效性判定方法。
　　(1)針對數(shù)據(jù)的時效性模型及李默涵等人[22]給出的對數(shù)據(jù)時效性判定問題的求解算法未考慮屬性之間依賴關系，提出了一種基于用戶置信度的對完整數(shù)據(jù)的時效性判定方法。該方法結(jié)合用戶的主觀權(quán)重、屬性與屬性間的依賴關系、冗余記錄以及時效約束4個方面進行綜合考慮，在對完整數(shù)據(jù)的時效性判定過程中，用戶置信度是依據(jù)冗余記錄中每個屬性的用戶主觀權(quán)重和屬性之間的依賴關系，即屬性的主客觀權(quán)重而確定

4、的;并在真實數(shù)據(jù)和虛擬數(shù)據(jù)集合上進行對比實驗，其結(jié)果表明該算法在對完整數(shù)據(jù)進行數(shù)據(jù)時效性判定時，其查詢結(jié)果在準確率、召回率和時效性判定值得到了提高，優(yōu)于文獻[22]，進而表明本文所定義的用戶置信度因子在處理完備數(shù)據(jù)時效性判定的權(quán)重是合理的和有效的。
　　(2)針對傳統(tǒng)數(shù)據(jù)時效性模型在處理不完備數(shù)據(jù)時的不足，提出一種基于用戶置信度的不完備數(shù)據(jù)時效性判定方法。首先，依據(jù)屬性類型分類思想對不同類型的不完備數(shù)據(jù)集合進行預處理，使其更接近完

5、備數(shù)據(jù)，有助于時效性建模和時效性判定計算;其次，依據(jù)不完備數(shù)據(jù)的時效約束關系建立不完備數(shù)據(jù)時效性模型。在對最新值查詢判定時，空值不可能是最新值，如果錯誤數(shù)據(jù)是最新值，則全都放在最新值的記錄集合中，若不是最新值，則對最新值查詢的時效性判定值無影響;在時效序列查詢判定時，將成對的錯誤數(shù)據(jù)作為一個結(jié)點按照其時效約束關系進行構(gòu)造時效圖。然后，依據(jù)不完備數(shù)據(jù)集合中冗余記錄的屬性主觀權(quán)重和屬性之間依賴關系即客觀權(quán)重計算其用戶置信度。最后，將本文提出