Web數(shù)據(jù)庫重疊估計技術(shù)研究.pdf

1、集成Deep Web中的數(shù)據(jù)信息是一項非常重要的工作，在這項工作中常會遇到信息冗余和記錄去重問題，它們常成為集成工作成敗的關(guān)鍵。估計web數(shù)據(jù)庫重疊率，可以優(yōu)化信息冗余和記錄去重工作，減少集成的盲目性。 本論文主要包含三部分內(nèi)容： 1.提出了在理想情況下的web數(shù)據(jù)庫重疊估計方法，包括一種樸素方法和在樸素方法基礎(chǔ)上的改進(jìn)方法。樸素方法研究覆蓋了從采樣到估計的整個流程，但忽略了web的復(fù)雜性；改進(jìn)方法通過高頻字采樣，提高采

2、樣和估計效率。 2.針對理想情況下的web數(shù)據(jù)庫重疊估計方法省略掉的web數(shù)據(jù)庫記錄匹配問題，提出了web數(shù)據(jù)庫重疊估計中的實體識別方法。根據(jù)Deep Web查詢接口和返回記錄的特點，引入領(lǐng)域知識和預(yù)處理，計算記錄相似度，從工程的角度降低識別復(fù)雜度，提高識別準(zhǔn)確性和效率。 3.為了進(jìn)一步提高重疊估計的適應(yīng)性，提出了web數(shù)據(jù)庫重疊估計的修正方法，通過回歸分析建立數(shù)據(jù)庫相似度和估計偏差之間的關(guān)系，利用數(shù)據(jù)庫相似度預(yù)測估計偏