高階純相關(guān)算法并行化研究與實現(xiàn).pdf

1、隨著云時代的來臨,傳統(tǒng)信息檢索領(lǐng)域的詞匯關(guān)系挖掘理論與方法已無法符合大數(shù)據(jù)處理各個方面的要求。近年來雖然很多方法及技術(shù)被提出來并用于提取文本中的有意義的詞匯關(guān)系,但是這些方法和技術(shù)在高效地提取高階詞匯關(guān)系方面仍然存在巨大的挑戰(zhàn),在數(shù)量迅速壯大的文檔數(shù)據(jù)集情景下提取高階詞匯關(guān)系尤其明顯。我們的目標(biāo)是從大數(shù)據(jù)集中挖掘高階的純的詞匯關(guān)系,本文所指的純的詞匯組合是不可分的語義實體,即高階的相關(guān)性不能被約減成任何低價的相關(guān)性的組合。同時,為解決信

2、息爆炸引起的海量數(shù)據(jù)計算量“海量”問題,我們提出利用Google及阿帕奇軟件基金組織提出采用GFS及HDFS分布式存儲系統(tǒng)解決海量數(shù)據(jù)存儲相關(guān)任務(wù);MapReduce分布式計算邏輯模型解決海量數(shù)據(jù)計算任務(wù)以及BigTable及HBase解決海量數(shù)據(jù)實時查詢及更新等任務(wù)。由于Hadoop分布式處理的軟件架構(gòu)的可靠性較高,擴(kuò)展性優(yōu)良,效率高,容錯誤性強(qiáng)及開源免費,使其可以高效地應(yīng)用于高階純相關(guān)詞匯關(guān)系挖掘任務(wù)。
　　本文依托分布式環(huán)境

3、下提出基于信息幾何的高階純相關(guān)詞匯關(guān)系的分布式挖掘算法,分別是高階Pairwise純相關(guān)(PPD)詞匯關(guān)系分布式挖掘算法與高階Theta純相關(guān)(TPD)詞匯關(guān)系挖掘算法,在此統(tǒng)稱分布式挖掘(DPDM)算法。DPDM算法依托Hadoop分布式處理的軟件架構(gòu),根據(jù)MapReduce分布式邏輯計算模型能夠充分利用分布式網(wǎng)絡(luò)中的各個節(jié)點的資源高效進(jìn)行數(shù)據(jù)量大或者計算密度高的大任務(wù)的優(yōu)點,利用MapReduce分布式邏輯計算模型結(jié)合信息幾何理論將

4、海量候選詞匯關(guān)系均勻分配到各個任務(wù)節(jié)點進(jìn)行對數(shù)似然比檢驗,并在MapReduce分布式邏輯計算模型中融入多線程編程以高效利用同一個節(jié)點上多核計算資源。為使各個任務(wù)節(jié)點在執(zhí)行DPDM算法過程中能夠在分布式環(huán)境下隨機(jī)訪問任意詞匯的統(tǒng)計信息,本文集成HBase分布式數(shù)據(jù)庫存儲詞匯的統(tǒng)計信息。而且,本文基于分布式環(huán)境構(gòu)建了一套完整的DPDM框架,包括內(nèi)容抽取,停用詞過濾,詞干還原,索引構(gòu)建,模式抽取等功能,并基于DPDM框架實現(xiàn)了大數(shù)據(jù)集中抽取

5、高階純相關(guān)詞匯關(guān)系的自動化。
　　通過實驗證明,本文提出的分布式高階純相關(guān)詞匯關(guān)系挖掘算法能夠極大地加快在大數(shù)據(jù)集上詞匯關(guān)系的挖掘速率。另外將提取的高階純相關(guān)應(yīng)用在傳統(tǒng)信息檢索任務(wù),如文本分類等實驗中,效果也得到了驗證。但是分布式高階Pairwise純相關(guān)詞匯關(guān)系挖掘算法與分布式高階Theta純相關(guān)詞匯關(guān)系挖掘算法過程中數(shù)據(jù)結(jié)構(gòu)與算法仍存在不足,需要進(jìn)一步完善。此外,如何將高階純相關(guān)詞匯關(guān)系高效應(yīng)用于傳統(tǒng)的基于文本的信息檢索任務(wù),