吳軍英++辛銳

摘 要：近年來大數(shù)據(jù)技術(shù)迅猛發(fā)展，在電商、金融等行業(yè)取得了巨大成效。國家電網(wǎng)公司十三五規(guī)劃目標(biāo)，廣泛應(yīng)用“大云物移”技術(shù)，推動公司管理變革和運營模式創(chuàng)新，推動電網(wǎng)創(chuàng)新發(fā)展高效運作。國網(wǎng)河北省電力公司基于大數(shù)據(jù)技術(shù)對電費風(fēng)險展開分析，對數(shù)據(jù)來源進行了梳理，并探討了大數(shù)據(jù)的采集、存儲、處理及分析展示的技術(shù)。通過應(yīng)用場景分析直觀展現(xiàn)電費回收情況，發(fā)現(xiàn)電費風(fēng)險問題。

關(guān)鍵詞：電費回收 電費風(fēng)險 大數(shù)據(jù) 數(shù)據(jù)集市 聚類

中圖分類號：TP39 文獻標(biāo)識碼：A 文章編號：1674-098X（2017）03（a）-0121-02

國家電網(wǎng)公司十三五規(guī)劃目標(biāo)，廣泛應(yīng)用“大云物移”技術(shù)，推動公司管理變革和運營模式創(chuàng)新，推動電網(wǎng)創(chuàng)新發(fā)展高效運作。隨著智能電網(wǎng)[1-3]的深入發(fā)展，電力大數(shù)據(jù)已經(jīng)成為學(xué)術(shù)研究和企業(yè)發(fā)展所關(guān)注的熱點領(lǐng)域，國內(nèi)外大學(xué)、研究機構(gòu)、IT企業(yè)、電力公司均已開展了相關(guān)方面的研究應(yīng)用。

目前公司精細(xì)化管理需要對電費情況進行實時監(jiān)控，及時發(fā)現(xiàn)存在的風(fēng)險點，調(diào)整降低風(fēng)險，提升企業(yè)收益。當(dāng)前主要采取人工從系統(tǒng)導(dǎo)出數(shù)據(jù)，工作量大，工作效率低下，并且由于傳統(tǒng)系統(tǒng)數(shù)據(jù)量龐大，經(jīng)常出現(xiàn)無法導(dǎo)出數(shù)據(jù)等問題，給日常工作帶來很大不便。

1 電費風(fēng)險數(shù)據(jù)來源

電費作為電力公司收益的直觀數(shù)據(jù)，體現(xiàn)了公司經(jīng)營管理的成果。如何有效地降低電費風(fēng)險，提升電費回收率，成為當(dāng)前公司經(jīng)營管理工作的重點。電費風(fēng)險來源于電費回收情況，電費回收由發(fā)行電費、實收電費、預(yù)收電費、欠費電費等幾部分組成。日常工作中實收電費由預(yù)收結(jié)轉(zhuǎn)、欠費繳費等幾類業(yè)務(wù)情況產(chǎn)生，流轉(zhuǎn)較為復(fù)雜，因此，此次主要從發(fā)行電費、預(yù)收電費和欠費電費3個方面入手進行分析。

1.1 用戶信息

用戶分為考核用戶、高壓用戶、低壓非居民用戶和低壓居民四大類。此次主要針對存在電費回收風(fēng)險較大的用戶進行分析，低壓居民用戶大多為預(yù)付費，且管理比較系統(tǒng)化，風(fēng)險相對較低，此次暫不分析，主要分析剩下的三大類用戶。

1.2 電費信息

電費風(fēng)險主要通過電費回收情況分析呈現(xiàn)，電費回收主要從發(fā)行電費、預(yù)收電費和欠費電費幾方面體現(xiàn)，所以需要提供用戶每月產(chǎn)生的發(fā)行電費、預(yù)收以及欠費電費數(shù)據(jù)信息。

1.3 供電單位

通過分析不同供電單位的電費回收情況，對比各單位的電費回收風(fēng)險，說明發(fā)現(xiàn)供電單位對電費回收風(fēng)險有一定影響，可以有效借鑒較好的工作經(jīng)驗，制定整改辦法，降低供電單位的電費回收風(fēng)險。

1.4 行業(yè)類別

通過分析用戶在不同行業(yè)下的電費回收情況，說明不同行業(yè)對電費回收風(fēng)險的影響程度，一定程度上反映了用戶行業(yè)管理上的不足之處，從而強化管控，降低電費風(fēng)險，提升電費回收率。

1.5 電壓等級

通過對不同電壓等級用戶的電費情況分析，發(fā)現(xiàn)不同電壓等級用戶的回收情況有差異，說明電壓等級對電費風(fēng)險有影響?？梢詮碾妷贺?fù)荷、容量、穩(wěn)定性等各方面分析發(fā)現(xiàn)問題，降低電費風(fēng)險。

2 電費風(fēng)險關(guān)鍵技術(shù)

Hadoop是一個由Apache基金會所開發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu)，Hadoop實現(xiàn)了一個分布式文件系統(tǒng)（Hadoop Distributed File System），簡稱HDFS。HDFS有高容錯性的特點，并且設(shè)計用來部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）來訪問應(yīng)用程序的數(shù)據(jù)，適合那些有著超大數(shù)據(jù)集（large data set）的應(yīng)用程序。

該平臺基于Hadoop架構(gòu)搭建實現(xiàn)，沿用國網(wǎng)大數(shù)據(jù)平臺的數(shù)據(jù)倉庫工具Hive。圖1為平臺技術(shù)架構(gòu)。

2.1 數(shù)據(jù)采集

系統(tǒng)采用Kafka，Sqoop兩種技術(shù)來實現(xiàn)電費、用戶以及所需信息的數(shù)據(jù)采集整合，為業(yè)務(wù)場景分析提供數(shù)據(jù)支撐。

Kafka是一種高吞吐量的分布式發(fā)布訂閱消息系統(tǒng)。它的目的是通過Hadoop的并行加載機制來統(tǒng)一線上和離線的消息處理，也是為了通過集群機來提供實時的消費。因此，通過Kafka技術(shù)實現(xiàn)應(yīng)收電費及欠費電費數(shù)據(jù)的實時采集。

Sqoop是一個用來將Hadoop和關(guān)系型數(shù)據(jù)庫中的數(shù)據(jù)相互轉(zhuǎn)移的工具。它類似于其他ETL工具，使用元數(shù)據(jù)模型來判斷數(shù)據(jù)類型并在數(shù)據(jù)從數(shù)據(jù)源轉(zhuǎn)移到Hadoop時確保類型安全的數(shù)據(jù)處理。Sqoop專為大數(shù)據(jù)批量傳輸設(shè)計，能夠分割數(shù)據(jù)集并創(chuàng)建Hadoop任務(wù)來處理每個區(qū)塊。因此，通過Sqoop技術(shù)實現(xiàn)用戶、預(yù)收電費等信息的離線數(shù)據(jù)采集整合。

2.2 數(shù)據(jù)存儲

數(shù)據(jù)存儲使用數(shù)據(jù)倉庫Hive和Postgresql數(shù)據(jù)庫聯(lián)合實現(xiàn)。發(fā)揮各自優(yōu)勢，為場景分析提供數(shù)據(jù)保障。

Hive用來存放數(shù)據(jù)采集的第一手?jǐn)?shù)據(jù)，將采集到的源端數(shù)據(jù)存儲至HDFS文件系統(tǒng)中。

Postgresql作為數(shù)據(jù)集，用來存放從數(shù)據(jù)倉庫Hive中抽取到的數(shù)據(jù)，并且按照國網(wǎng)CIM模型的標(biāo)準(zhǔn)域存儲，用來存放業(yè)務(wù)場景分析所需的數(shù)據(jù)。它通過Kettle技術(shù)實現(xiàn)完成。

2.3 數(shù)據(jù)計算及分析

數(shù)據(jù)計算采用Spark技術(shù)來滿足業(yè)務(wù)場景實時分析的需求。Spark是UC Berkeley AMP lab所開源的類Hadoop MapReduce的通用并行框架，Spark能更好地適用于數(shù)據(jù)挖掘與機器學(xué)習(xí)等需要迭代的MapReduce的算法，適用于需要多次操作特定數(shù)據(jù)集的應(yīng)用場合。

算法上，此次分析主要使用聚類算法，按照需求將不明確的數(shù)據(jù)實現(xiàn)分門別類，輔助日常監(jiān)測工作。采用具有代表性的K-means算法，它是很典型的基于距離的聚類算法，采用距離作為相似性的評價指標(biāo)。

通過使用聚類等算法，對業(yè)務(wù)進行深入挖掘分析，最終以玫瑰圖、熱力圖、雷達(dá)圖等專業(yè)分析圖形展示，配備一定的表格展示數(shù)據(jù)，使分析結(jié)果顯得更加直觀。

3 應(yīng)用場景分析

應(yīng)用場景從系統(tǒng)采集數(shù)據(jù)，經(jīng)由噪聲處理、分析挖掘最終實現(xiàn)展現(xiàn)。圖2為分析挖掘流程，其關(guān)鍵技術(shù)包括噪聲數(shù)據(jù)處理、業(yè)務(wù)數(shù)據(jù)分析、基于距離計算的聚類分析。噪聲數(shù)據(jù)處理和業(yè)務(wù)數(shù)據(jù)分析是按照業(yè)務(wù)需求，對數(shù)據(jù)進行初步篩選處理的過程，實現(xiàn)數(shù)據(jù)挖掘計算；聚類分析是根據(jù)歐式距離公式及誤差平方和準(zhǔn)則實現(xiàn)聚類中心點選擇與分類，實現(xiàn)對未知分類數(shù)據(jù)的類別劃分，主要應(yīng)用于供電單位間、行業(yè)間以及電壓等級間的電費回收情況對比分類，劃分為較好、一般和較差3類。針對較差類別的情況進行深入分析，發(fā)現(xiàn)管控薄弱環(huán)節(jié)，進行整改完善。

應(yīng)用場景圍繞電費回收情況開展，包括發(fā)行電費、預(yù)收電費和欠費電費3類，根據(jù)業(yè)務(wù)主題劃分電費回收整體情況分析、預(yù)收電費分析和欠費電費分析，其中電費回收情況中包含發(fā)行電費、預(yù)收電費和欠費電費3類電費的數(shù)據(jù)信息。此次分析以日為單位實時監(jiān)控，以月為單位分析電費回收情況，可監(jiān)控分析每日的電費回收情況，對應(yīng)分析當(dāng)月1日截止到監(jiān)控日的電費回收走勢情況，通過供電單位、行業(yè)、電壓等級多維度分析電費回收情況，發(fā)現(xiàn)回收情況弱點，從業(yè)務(wù)側(cè)深入分析發(fā)現(xiàn)風(fēng)險點，制定整改措施，降低風(fēng)險，達(dá)到提升效益的目的。

4 結(jié)語

未來的電費風(fēng)險依托于大數(shù)據(jù)技術(shù)實現(xiàn)實時監(jiān)控，通過分析電費回收情況，進一步深化、挖掘潛在的風(fēng)險，為電網(wǎng)經(jīng)營管理提供實時多樣化的數(shù)據(jù)，為公司的精益化管理提供支撐，從而提升企業(yè)經(jīng)濟效益。

參考文獻

[1] 余貽鑫，欒文鵬.智能電網(wǎng)的基本理念[J].天津大學(xué)學(xué)報， 2011，44（5）：377-384.

[2] 余貽鑫，欒文平.智能電網(wǎng)評述[J].中國電機工程學(xué)報，2009，29（34）：1-8.

[3] 張文亮，劉壯志，王明俊，等.智能電網(wǎng)的研究進展及發(fā)展趨勢[J].電網(wǎng)技術(shù)，2009，33（13）：1-11.