大數(shù)據(jù)技術(shù)在電力營(yíng)銷系統(tǒng)中的應(yīng)用研究.pdf

1、隨著電力企業(yè)的快速發(fā)展，電網(wǎng)數(shù)據(jù)不斷積累，呈現(xiàn)出爆炸式增長(zhǎng)的趨勢(shì)。怎樣從這些數(shù)據(jù)中挖掘出價(jià)值數(shù)據(jù)，已經(jīng)成為智能電網(wǎng)建設(shè)和電力企業(yè)發(fā)展的關(guān)鍵，而大數(shù)據(jù)相關(guān)技術(shù)的飛速發(fā)展為電網(wǎng)數(shù)據(jù)帶來(lái)新機(jī)遇。在當(dāng)下主流的大數(shù)據(jù)技術(shù)中，相比Hadoop平臺(tái)，Spark平臺(tái)更加優(yōu)異的迭代工作負(fù)載性能、RDD數(shù)據(jù)集的高速計(jì)算能力以及 HDFS的強(qiáng)大存儲(chǔ)能力在海量的電力數(shù)據(jù)挖掘中都表現(xiàn)出極大的優(yōu)勢(shì)。
　　本文利用Spark平臺(tái)與關(guān)聯(lián)規(guī)則挖掘技術(shù)結(jié)合的優(yōu)勢(shì)，根

2、據(jù)電力企業(yè)對(duì)數(shù)據(jù)分析的實(shí)際需求，研究分析了 Z-score標(biāo)準(zhǔn)化和 FCM聚類算法，結(jié)合兩者設(shè)計(jì)出電力數(shù)據(jù)預(yù)處理流程，驗(yàn)證了數(shù)據(jù)預(yù)處理的有效性，并運(yùn)用稀疏矩陣和 FCM聚類算法改進(jìn)了 FFP-growth算法，應(yīng)用于 Spark平臺(tái)下的電力營(yíng)銷系統(tǒng)中。本文主要完成了以下三方面工作：第一，研究實(shí)際處理電網(wǎng)數(shù)據(jù)中遇到的問(wèn)題，并針對(duì)這些問(wèn)題提出解決方法，根據(jù) Z-score標(biāo)準(zhǔn)化和 FCM聚類算法的結(jié)合提出大數(shù)據(jù)預(yù)處理的新流程；第二，研究了F

3、P-growth關(guān)聯(lián)規(guī)則挖掘算法，根據(jù)傳統(tǒng)FP-Growth算法的不足對(duì)其進(jìn)行改進(jìn)，引入稀疏矩陣存儲(chǔ)減少一次數(shù)據(jù)庫(kù)掃描得到頻繁項(xiàng)集，節(jié)省了數(shù)據(jù)庫(kù)掃描時(shí)間，并設(shè)計(jì)了在Spark平臺(tái)下改進(jìn)的FFP-growth算法并行化模型，對(duì)數(shù)據(jù)進(jìn)行二次分類，避免單個(gè)事務(wù)集過(guò)大的問(wèn)題；第三，搭建 Spark平臺(tái)，設(shè)計(jì)并實(shí)現(xiàn)電力營(yíng)銷系統(tǒng)，將數(shù)據(jù)預(yù)處理技術(shù)和改進(jìn)的FFP-Growth關(guān)聯(lián)規(guī)則挖掘技術(shù)應(yīng)用到電力營(yíng)銷數(shù)據(jù)分析系統(tǒng)中，實(shí)例驗(yàn)證了重新設(shè)計(jì)的數(shù)據(jù)預(yù)處理