基于Hadoop的并行實(shí)體解析方法研究與應(yīng)用.pdf

1、實(shí)體解析用于判斷兩個(gè)數(shù)據(jù)記錄是否描述的是現(xiàn)實(shí)世界中的同一實(shí)體對(duì)象。它對(duì)于數(shù)據(jù)集成、數(shù)據(jù)清洗、數(shù)據(jù)去重和處理優(yōu)化都十分重要。實(shí)體解析所處理的對(duì)象不僅局限于數(shù)據(jù)記錄，還包括在文本文件比對(duì)、文檔查重、人臉圖像識(shí)別、指紋識(shí)別等一些具有特定解析需求的實(shí)際應(yīng)用中。從參與實(shí)體解析的主體角度來(lái)看，可以將實(shí)體解析的方法分為兩大類(lèi)，即基于機(jī)器算法的實(shí)體解析和基于人工的實(shí)體解析。純粹的機(jī)器算法解析雖然可以獲得較高的效率，但是解析的準(zhǔn)確率卻難以保證;同樣，單純

2、的眾包或人工解析雖然可以獲得很好的準(zhǔn)確率，但是解析的效率卻遠(yuǎn)不及機(jī)器解析。
　　本文提出一種結(jié)合機(jī)器算法和人類(lèi)智能的實(shí)體解析方法，即基于人機(jī)協(xié)作的實(shí)體解析。該方法首先采用基于Hadoop開(kāi)源項(xiàng)目中的MapReduce并行計(jì)算框架，運(yùn)行基于相似性計(jì)算或機(jī)器學(xué)習(xí)算法，排除不可能匹配的記錄對(duì)，減少人類(lèi)智能任務(wù)的數(shù)量，然后由人工進(jìn)行確定性標(biāo)注。
　　論文的主要工作包括:1）對(duì)實(shí)體解析方法和框架進(jìn)行了綜述;2）提出了基于眾包與機(jī)器處理