基于屬性權(quán)重和標(biāo)記記錄的實(shí)體解析技術(shù).pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展，數(shù)據(jù)增長的速度越來越快，實(shí)體解析的重要性也變得尤為突出。實(shí)體解析是將在同一個(gè)數(shù)據(jù)源或者不同數(shù)據(jù)源中，指向現(xiàn)實(shí)世界同一實(shí)體的元組識(shí)別出來并合并的過程。因?yàn)閿?shù)據(jù)在存儲(chǔ)的過程中可能存在拼寫或者排版錯(cuò)誤，也可能相同實(shí)體存在不同的表達(dá)形式，而數(shù)據(jù)又沒有唯一的標(biāo)識(shí)符，所以實(shí)體解析的作用不可輕視。
　　如何高效而準(zhǔn)確的將指向同一實(shí)體的記錄識(shí)別出來一直是研究人員不懈追求的目標(biāo)。在基于規(guī)則的匹配算法中，大多數(shù)算法是將所有的屬性

2、都作為匹配屬性進(jìn)行計(jì)算，并且認(rèn)為各個(gè)屬性的權(quán)重都是一樣的，然而這樣不能體現(xiàn)關(guān)鍵屬性的重要性，容易造成實(shí)體解析的錯(cuò)誤;識(shí)別出匹配記錄之后，很多研究都不對這些匹配記錄進(jìn)行處理，容易造成記錄比較的冗余，使得實(shí)體解析的速度減慢。因此，本文提出了基于屬性權(quán)重和標(biāo)記記錄的實(shí)體解析技術(shù)來提高實(shí)體解析的準(zhǔn)確率和效率。
　　首先，主要針對關(guān)系數(shù)據(jù)庫中實(shí)體解析準(zhǔn)確性的問題，本文提出了基于屬性權(quán)重的實(shí)體識(shí)別方法，主要采用信息增益的方法和概率統(tǒng)計(jì)的方法來

3、計(jì)算記錄屬性的權(quán)重，用來代表該屬性在記錄中的重要性，達(dá)到提高實(shí)體解析準(zhǔn)確度的目的。并且在此基礎(chǔ)上采用top-k技術(shù)，選擇出最佳匹配屬性集合，減少匹配屬性的個(gè)數(shù)，從而加快了實(shí)體解析的速度。
　　其次，針對提高實(shí)體解析的效率問題，本文還提出了基于標(biāo)記記錄的合并算法，是指將識(shí)別出來的指向同一實(shí)體的多條記錄進(jìn)行合并，并且對參與合并操作的記錄進(jìn)行標(biāo)記，這樣避免相關(guān)標(biāo)記的記錄再次比較，可以減少記錄比較的次數(shù)，從而提高了實(shí)體解析的效率。