基于Spark的文本分類的研究.pdf

1、隨著互聯(lián)網(wǎng)和信息技術(shù)的不斷發(fā)展，文本形式的非結(jié)構(gòu)化數(shù)據(jù)正在不斷的增加。文本分類技術(shù)能夠有效地對(duì)文本數(shù)據(jù)進(jìn)行組織和處理，廣泛地應(yīng)用在各個(gè)領(lǐng)域。文本分類的預(yù)處理、特征選擇、文本向量化以及文本分類器的生成都需要較大的時(shí)間和空間的開銷，當(dāng)面對(duì)大規(guī)模的文本數(shù)據(jù)時(shí)，傳統(tǒng)的技術(shù)并不能滿足該需求。大數(shù)據(jù)技術(shù)的出現(xiàn)為大規(guī)模數(shù)據(jù)的處理提供了有效的解決方案，然而Hadoop采用的MapReduce并行編程模型具有一定的局限性，它是基于磁盤的，不能高效地利用計(jì)

2、算產(chǎn)生的中間結(jié)果，而Spark是一種基于內(nèi)存的，能非常高效地利用中間結(jié)果，并且具有較高的處理速度。本文基于Spark對(duì)文本分類的各個(gè)過(guò)程進(jìn)行并行化提高文本分類效率。
　　本文先對(duì)文本分類和Spark計(jì)算框架分別進(jìn)行了分析研究，然后完成了文本分類的各個(gè)過(guò)程在Spark平臺(tái)下的并行化設(shè)計(jì)，提高文本分類各個(gè)過(guò)程的處理效率。在特征選擇階段采用χ2統(tǒng)計(jì)方法進(jìn)行特征降維，對(duì)該方法進(jìn)行分析，并針對(duì)其中的不足，引入詞頻因子、類內(nèi)分散程度以及類間集

3、中程度三種因子對(duì)其進(jìn)行改進(jìn)。在構(gòu)造文本分類器時(shí)，采用樸素貝葉斯分類算法對(duì)文本進(jìn)行分類，通過(guò)對(duì)樸素貝葉斯分類算法分析得知該算法中最為關(guān)鍵的是計(jì)算特征項(xiàng)在類別屬性條件下的概率，將一種改進(jìn)的TF-IDF算法用于計(jì)算特征詞在類別條件下的概率。最后，通過(guò)實(shí)驗(yàn)對(duì)比，對(duì)本文提出的改進(jìn)方案的有效性進(jìn)行了驗(yàn)證，實(shí)驗(yàn)結(jié)果表明本文提出的改進(jìn)方案提高了文本分類的準(zhǔn)確率，基于Spark計(jì)算框架的并行化提高了文本分類各個(gè)過(guò)程的處理效率，減少了文本分類的時(shí)間開銷，并