能源互聯(lián)網(wǎng)大數(shù)據(jù)流異常檢測(cè)方法研究.pdf

1、隨著能源互聯(lián)網(wǎng)進(jìn)一步發(fā)展，大量分布式能源的異地生產(chǎn)使能源的協(xié)調(diào)控制更加依賴多個(gè)復(fù)雜網(wǎng)絡(luò)，這些異構(gòu)網(wǎng)絡(luò)在自身運(yùn)營(yíng)或與其他網(wǎng)絡(luò)交互過程中產(chǎn)生的數(shù)據(jù)量越來越大，數(shù)據(jù)匯集成的大數(shù)據(jù)流不斷趨于多維和復(fù)雜化。在能源互聯(lián)網(wǎng)一體化機(jī)制下，即使是一些微小的數(shù)據(jù)異常也有可能帶來不利影響，異常檢測(cè)對(duì)實(shí)時(shí)性的要求越來越高。針對(duì)能源互聯(lián)網(wǎng)數(shù)據(jù)特點(diǎn)構(gòu)建高效的大數(shù)據(jù)流處理模型，對(duì)大數(shù)據(jù)流異常檢測(cè)方法進(jìn)行研究具有重要意義。
　　本文深入分析能源互聯(lián)網(wǎng)的數(shù)據(jù)來源、

2、數(shù)據(jù)特點(diǎn)，以此設(shè)計(jì)能源互聯(lián)網(wǎng)大數(shù)據(jù)流異常檢測(cè)架構(gòu)，同時(shí)整合日志收集系統(tǒng)Flume、消息訂閱系統(tǒng)Kafka和實(shí)時(shí)處理引擎Spark Streaming，構(gòu)建能源互聯(lián)網(wǎng)的大數(shù)據(jù)采集和預(yù)處理策略、異常檢測(cè)的大數(shù)據(jù)作業(yè)調(diào)度策略，在此基礎(chǔ)上開展用戶異常用電檢測(cè)和多能擾動(dòng)異常檢測(cè)研究。
　　用戶異常用電檢測(cè)采用核主成分分析方法對(duì)高維數(shù)據(jù)進(jìn)行降維，在并行框架中實(shí)現(xiàn)對(duì)異常數(shù)據(jù)實(shí)時(shí)檢測(cè)?；诤酥鞒煞址治鏊惴ㄔ?，提出基于集群模式的降維異常檢測(cè)方法，

3、該方法首先將能源互聯(lián)網(wǎng)高維大數(shù)據(jù)流表征為向量，設(shè)置異常閾值，構(gòu)建異常檢測(cè)模型。通過模擬數(shù)據(jù)采集、實(shí)時(shí)推送數(shù)據(jù)過程，配置實(shí)時(shí)計(jì)算任務(wù)，進(jìn)行數(shù)據(jù)流實(shí)時(shí)處理集群性能實(shí)驗(yàn)，并以TEP數(shù)據(jù)集為例對(duì)集群模式下的降維異常檢測(cè)方法進(jìn)行驗(yàn)證。最后，利用該方法提取能源互聯(lián)網(wǎng)用戶用電負(fù)荷數(shù)據(jù)特征，對(duì)提取特征進(jìn)行降維分析，檢測(cè)用戶異常用電情況。
　　多能擾動(dòng)異常檢測(cè)主要包括擾動(dòng)信號(hào)特征提取，對(duì)特征進(jìn)行分類兩部分。針對(duì)能源互聯(lián)網(wǎng)的數(shù)據(jù)特點(diǎn)，建立擾動(dòng)異常信號(hào)