基于海量文本數(shù)據(jù)的實體關(guān)系抽取及挖掘.pdf

1、在信息研究領(lǐng)域,信息抽取技術(shù)是一項必不可少的關(guān)鍵技術(shù)。面對如此海量的信息空間,如何更快更準確的抽取出用戶感興趣的內(nèi)容是一個迫切需要解決的問題,也是信息挖掘技術(shù)的一個重要研究方向。信息抽取不同于信息檢索等信息處理技術(shù),它需要對文本進行命名實體的識別,并抽取出實體之間的關(guān)系,再加上中文文本中詞語的靈活多變、構(gòu)詞復雜且沒有明顯的標志,因此對中文命名實體的識別及關(guān)系的抽取就顯得更加困難。
　　 目前,信息抽取的主要方法有兩種,一種是基于

2、知識庫算法,這種方法需要建立一些規(guī)則,雖然這種方法的準確率較高,但是這種規(guī)則的確定是比較困難的,對編寫者有較高的要求,且移植性不高;另一種是基于統(tǒng)計的機器學習算法,這種算法采用不同的模型,并利用人工標注的訓練集進行學習,對于新的數(shù)據(jù)集則采用模型算出其相關(guān)的概率,并以此來得到最終的結(jié)果。這種方法代價較小,性能較高,便于移植,所以是當前研究的熱點。
　　 隨著網(wǎng)絡(luò)信息量的增大,對海量文本數(shù)據(jù)的信息抽取也變得復雜起來。如何利用海量文本

3、數(shù)據(jù)來對實體關(guān)系進行更為準確的抽取是本文所要研究的一個重要問題。而這種大數(shù)據(jù)量的計算對算法的性能要求較高,采用何種策略來應(yīng)對這種繁重的計算任務(wù)也是一個重要的問題。針對這些關(guān)鍵問題,本文提出了相應(yīng)的解決方案,主要貢獻有:
　　 提出一種基于語義和SVM的實體關(guān)系抽取算法,在對實體關(guān)系的抽取中加入語義特征,以此來構(gòu)造特征向量,提高關(guān)系抽取的準確性和算法的泛化能力。
　　 提出了利用海量文本數(shù)據(jù)來對實體隱含關(guān)系進行挖掘的算法。

4、通過對海量文本數(shù)據(jù)進行分析,基于前面已經(jīng)識別出來的實體及關(guān)系構(gòu)造實體關(guān)系網(wǎng)絡(luò),并采用優(yōu)化算法來確定最終結(jié)果;基于這個最終結(jié)果來對實體隱含的關(guān)系進行挖掘,得到更為廣泛的實體關(guān)系,有利于從宏觀方面把握整個海量數(shù)據(jù)的信息。
　　 研究和分析了Hadoop大規(guī)模數(shù)據(jù)處理平臺,在此平臺上設(shè)計并實現(xiàn)了海量文本數(shù)據(jù)的實體關(guān)系抽取及挖掘系統(tǒng),并將本文中提到的算法在平臺上進行驗證。
　　 本文提出的基于語義與SVM的實體關(guān)系抽取算法對于實