基于MapReduce的網(wǎng)絡(luò)書(shū)寫(xiě)紋識(shí)別關(guān)鍵技術(shù)研究.pdf

1、網(wǎng)絡(luò)書(shū)寫(xiě)紋是指用戶在網(wǎng)絡(luò)文字中留下的具有獨(dú)特寫(xiě)作風(fēng)格(如用詞習(xí)慣、語(yǔ)法結(jié)構(gòu)等)的特征集合。網(wǎng)絡(luò)書(shū)寫(xiě)紋就像人的指紋一樣，是可以標(biāo)記作者寫(xiě)作特征的獨(dú)一無(wú)二的標(biāo)識(shí)符。隨著研究的深入，作者數(shù)量增加，需要處理的總體數(shù)據(jù)規(guī)模也相應(yīng)增加，另外，研究中還發(fā)現(xiàn)，在程序運(yùn)行過(guò)程中，計(jì)算機(jī)的內(nèi)存、CPU等資源并沒(méi)有得到充分的利用。本文嘗試對(duì)網(wǎng)絡(luò)書(shū)寫(xiě)紋識(shí)別研究中的數(shù)據(jù)處理關(guān)鍵算法并行化，以期能夠充分利用計(jì)算機(jī)資源，提高數(shù)據(jù)處理的效率。
　　 Ngram

2、是指給定一個(gè)序列的文本，根據(jù)N值選擇等長(zhǎng)或變長(zhǎng)的連續(xù)子序列。研究證明，基于Ngram特征的抽取是構(gòu)建網(wǎng)絡(luò)書(shū)寫(xiě)紋個(gè)體特征集的重要技術(shù)，提高數(shù)據(jù)處理效率是Ngram特征抽取過(guò)程需要解決的重要內(nèi)容。本文設(shè)計(jì)Hadoop-Ngram算法，并在Hadoop集群上實(shí)現(xiàn)，實(shí)驗(yàn)結(jié)果表明，相對(duì)未并行化的Ngram特征抽取，Hadoop-Ngram在文本數(shù)據(jù)的處理效率上有所提升，同時(shí)，CPU、內(nèi)存等資源的利用率也有所提高，計(jì)算機(jī)資源得到較充分的使用。在實(shí)驗(yàn)

3、中，還通過(guò)配置Hadoop通用參數(shù)選項(xiàng)來(lái)比較數(shù)據(jù)的處理效率，實(shí)驗(yàn)證明，根據(jù)處理任務(wù)的規(guī)模和特點(diǎn)靈活的配置Hadoop通用參數(shù)，可以使算法的運(yùn)行效率進(jìn)一步提高。
　　 基于特征選擇的集成學(xué)習(xí)(簡(jiǎn)稱集成特征選擇)，是構(gòu)建網(wǎng)絡(luò)書(shū)寫(xiě)紋分類(lèi)模型的重要技術(shù)，它首先對(duì)特征集合進(jìn)行選擇，去除冗余和無(wú)效特征，然后按照一定的劃分算法對(duì)特征集進(jìn)行劃分，將劃分好的特征子集分配到個(gè)體分類(lèi)器，由個(gè)體分類(lèi)器處理特征子集，最后將各個(gè)體分類(lèi)器的結(jié)果匯總得到分類(lèi)模