高階純相關(guān)算法并行化研究與實(shí)現(xiàn).pdf

1、隨著云時(shí)代的來臨,傳統(tǒng)信息檢索領(lǐng)域的詞匯關(guān)系挖掘理論與方法已無(wú)法符合大數(shù)據(jù)處理各個(gè)方面的要求。近年來雖然很多方法及技術(shù)被提出來并用于提取文本中的有意義的詞匯關(guān)系,但是這些方法和技術(shù)在高效地提取高階詞匯關(guān)系方面仍然存在巨大的挑戰(zhàn),在數(shù)量迅速壯大的文檔數(shù)據(jù)集情景下提取高階詞匯關(guān)系尤其明顯。我們的目標(biāo)是從大數(shù)據(jù)集中挖掘高階的純的詞匯關(guān)系,本文所指的純的詞匯組合是不可分的語(yǔ)義實(shí)體,即高階的相關(guān)性不能被約減成任何低價(jià)的相關(guān)性的組合。同時(shí),為解決信

2、息爆炸引起的海量數(shù)據(jù)計(jì)算量“海量”問題,我們提出利用Google及阿帕奇軟件基金組織提出采用GFS及HDFS分布式存儲(chǔ)系統(tǒng)解決海量數(shù)據(jù)存儲(chǔ)相關(guān)任務(wù);MapReduce分布式計(jì)算邏輯模型解決海量數(shù)據(jù)計(jì)算任務(wù)以及BigTable及HBase解決海量數(shù)據(jù)實(shí)時(shí)查詢及更新等任務(wù)。由于Hadoop分布式處理的軟件架構(gòu)的可靠性較高,擴(kuò)展性優(yōu)良,效率高,容錯(cuò)誤性強(qiáng)及開源免費(fèi),使其可以高效地應(yīng)用于高階純相關(guān)詞匯關(guān)系挖掘任務(wù)。
　　本文依托分布式環(huán)境

3、下提出基于信息幾何的高階純相關(guān)詞匯關(guān)系的分布式挖掘算法,分別是高階Pairwise純相關(guān)(PPD)詞匯關(guān)系分布式挖掘算法與高階Theta純相關(guān)(TPD)詞匯關(guān)系挖掘算法,在此統(tǒng)稱分布式挖掘(DPDM)算法。DPDM算法依托Hadoop分布式處理的軟件架構(gòu),根據(jù)MapReduce分布式邏輯計(jì)算模型能夠充分利用分布式網(wǎng)絡(luò)中的各個(gè)節(jié)點(diǎn)的資源高效進(jìn)行數(shù)據(jù)量大或者計(jì)算密度高的大任務(wù)的優(yōu)點(diǎn),利用MapReduce分布式邏輯計(jì)算模型結(jié)合信息幾何理論將

4、海量候選詞匯關(guān)系均勻分配到各個(gè)任務(wù)節(jié)點(diǎn)進(jìn)行對(duì)數(shù)似然比檢驗(yàn),并在MapReduce分布式邏輯計(jì)算模型中融入多線程編程以高效利用同一個(gè)節(jié)點(diǎn)上多核計(jì)算資源。為使各個(gè)任務(wù)節(jié)點(diǎn)在執(zhí)行DPDM算法過程中能夠在分布式環(huán)境下隨機(jī)訪問任意詞匯的統(tǒng)計(jì)信息,本文集成HBase分布式數(shù)據(jù)庫(kù)存儲(chǔ)詞匯的統(tǒng)計(jì)信息。而且,本文基于分布式環(huán)境構(gòu)建了一套完整的DPDM框架,包括內(nèi)容抽取,停用詞過濾,詞干還原,索引構(gòu)建,模式抽取等功能,并基于DPDM框架實(shí)現(xiàn)了大數(shù)據(jù)集中抽取

5、高階純相關(guān)詞匯關(guān)系的自動(dòng)化。
　　通過實(shí)驗(yàn)證明,本文提出的分布式高階純相關(guān)詞匯關(guān)系挖掘算法能夠極大地加快在大數(shù)據(jù)集上詞匯關(guān)系的挖掘速率。另外將提取的高階純相關(guān)應(yīng)用在傳統(tǒng)信息檢索任務(wù),如文本分類等實(shí)驗(yàn)中,效果也得到了驗(yàn)證。但是分布式高階Pairwise純相關(guān)詞匯關(guān)系挖掘算法與分布式高階Theta純相關(guān)詞匯關(guān)系挖掘算法過程中數(shù)據(jù)結(jié)構(gòu)與算法仍存在不足,需要進(jìn)一步完善。此外,如何將高階純相關(guān)詞匯關(guān)系高效應(yīng)用于傳統(tǒng)的基于文本的信息檢索任務(wù),