鄭志杰，梁 榮，綦陸杰，王延朔，王耀雷

（1.國網(wǎng)山東省電力公司經(jīng)濟技術(shù)研究院，濟南 250021；2.天津大學智能電網(wǎng)教育部重點實驗室，天津 300072）

融合型配電網(wǎng)是指電力物聯(lián)網(wǎng)、智能電網(wǎng)兩網(wǎng)融合建設(shè)，并借助人工智能與大數(shù)據(jù)技術(shù)等手段，實現(xiàn)能源流、數(shù)據(jù)流、業(yè)務(wù)流“三流合一”的現(xiàn)代能源網(wǎng)絡(luò)。隨著通信技術(shù)、計算機技術(shù)及數(shù)字化控制技術(shù)的迅猛發(fā)展，人類社會已進入大數(shù)據(jù)和人工智能時代，配用電數(shù)據(jù)量開始由TB級向PB級發(fā)展[1-2]。鑒于此，設(shè)計融合型配電網(wǎng)大數(shù)據(jù)處理平臺，旨在加強電網(wǎng)公司跨業(yè)務(wù)、跨平臺的數(shù)據(jù)分析和處理能力，為新形勢下融合型配電網(wǎng)協(xié)同規(guī)劃與評價提供全面的數(shù)據(jù)分析平臺，提升大數(shù)據(jù)價值挖掘的準確性和實時性。

目前國外學者針對面向電力物聯(lián)網(wǎng)與智能電網(wǎng)兩網(wǎng)融合的數(shù)據(jù)感知、處理與應用方面已有深入研究。美國紐約電力公司推出了邊緣終端物聯(lián)網(wǎng)監(jiān)測系統(tǒng)，對轄區(qū)數(shù)千樓宇能量管理系統(tǒng)EMS（energy management system）的實時需求響應能源數(shù)據(jù)進行全面監(jiān)管；德國電力公司推出電力物聯(lián)網(wǎng)云平臺Mind Sphere，利用輕量級數(shù)據(jù)管理架構(gòu)，對電力運營全環(huán)節(jié)實現(xiàn)了實時的大數(shù)據(jù)分析與處理；日本電力投入Digital Grid項目，旨在實現(xiàn)智能電網(wǎng)的全景信息感知[3]。國內(nèi)融合型配電網(wǎng)大數(shù)據(jù)處理平臺的研究發(fā)展較晚。國家電網(wǎng)公司于2019年明確提出建設(shè)“三型兩網(wǎng)”目標以來，著力推進融合型配電網(wǎng)的智能化與數(shù)字化建設(shè)，并試運行了多個分布式的配網(wǎng)大數(shù)據(jù)信息處理系統(tǒng)。當前智能電網(wǎng)大數(shù)據(jù)處理與應用在負荷預測、發(fā)電計劃調(diào)度、分布式發(fā)電預測、設(shè)備狀態(tài)檢測、故障信息診斷與用電行為分析等方面均已有成效[3-5]，一定程度上實現(xiàn)了電網(wǎng)與用戶在能源信息層面的感知交互，但海量配用電大數(shù)據(jù)的激增性與異構(gòu)性使得大數(shù)據(jù)處理平臺面臨著諸多新的問題。例如，傳統(tǒng)的單業(yè)務(wù)系統(tǒng)模型不適用于數(shù)據(jù)融合的趨勢，各系統(tǒng)之間的大數(shù)據(jù)存取交互難以協(xié)同，多源異構(gòu)海量數(shù)據(jù)的信息壁壘仍然存在[5]；大數(shù)據(jù)平臺云資源的垂直配置方式，不能充分利用智能邊緣設(shè)備的可分解性，進而帶來了巨大的建設(shè)運維成本[6]；物聯(lián)網(wǎng)與智能電網(wǎng)橫向拼接的建設(shè)思路不能從根本上實現(xiàn)配用電大數(shù)據(jù)價值鏈條的貫通。因此，建立融合型配電網(wǎng)大數(shù)據(jù)處理平臺的云邊多主體分布式架構(gòu)，實現(xiàn)高效協(xié)同的大數(shù)據(jù)存取交互，對數(shù)據(jù)處理與分析環(huán)境進行態(tài)勢利導，從而真正實現(xiàn)融合型配電網(wǎng)大數(shù)據(jù)的精細化調(diào)控與智能化應用，是今后兩網(wǎng)融合數(shù)據(jù)處理平臺的研究趨勢。

針對上述問題，本文首先提出大數(shù)據(jù)處理與應用平臺的軟件定義總體架構(gòu)，其次分析了融合型配用電大數(shù)據(jù)的自適應存取交互方式，然后闡述了基于聚類集體優(yōu)化的平臺云資源配置關(guān)鍵技術(shù)，最后對融合型配電網(wǎng)大數(shù)據(jù)處理平臺的研究應用情況進行總結(jié)與展望，為兩網(wǎng)融合建設(shè)與發(fā)展提供參考。

1 平臺總體架構(gòu)

融合型配電網(wǎng)信息化平臺從兩網(wǎng)融合的業(yè)務(wù)需求出發(fā)，服務(wù)于融合型配電網(wǎng)的協(xié)同規(guī)劃與綜合評價功能，著力于建設(shè)智能終端設(shè)備協(xié)同、數(shù)據(jù)高效交互處理、云端主站統(tǒng)一分析、計算與調(diào)度的軟件定義網(wǎng)絡(luò)SDN（software-defined network）架構(gòu)，實現(xiàn)融合型配電網(wǎng)信息化平臺的靈活控制與高效決策。該架構(gòu)統(tǒng)籌考慮終端布點、數(shù)據(jù)的采集交互、云資源的合理配置等?？傮w架構(gòu)如圖1所示。

圖1 融合型配電網(wǎng)大數(shù)據(jù)處理應用平臺總體架構(gòu)Fig.1 Overall architecture of big data processing and application platform for fusion-type distribution network

從融合型配電網(wǎng)信息化平臺功能模塊差異化的角度劃分，該體系架構(gòu)主要包括3部分關(guān)鍵功能模塊，分別為軟件定義終端接入、云邊協(xié)同計算引擎和分布式多主體協(xié)作。

（1）軟件定義接入終端主要包括2部分子模塊：①邊緣側(cè)，主要針對配電變壓器、光伏、風電、可調(diào)儲能單元、多類型電動汽車、多類型電力用戶及智能電表等單元接入智能終端，通過外部訪問接口與虛擬化技術(shù)對終端的可控制部分進行軟件編程，根據(jù)云邊協(xié)同計算架構(gòu)，邊緣終端網(wǎng)絡(luò)進行資源虛擬化后，將采集到的物理設(shè)備狀態(tài)信息按預設(shè)方法進行處理或上載，其上行帶寬可由云端動態(tài)適配，云存儲平臺執(zhí)行數(shù)據(jù)管理職能的同時，統(tǒng)籌數(shù)據(jù)傳輸服務(wù)約束條件，并對路由流量及鏈路負載率進行監(jiān)控；②平臺側(cè)，主要進行統(tǒng)籌的監(jiān)管與服務(wù)，包括環(huán)境監(jiān)控、實時報表生成、通信網(wǎng)絡(luò)定義、多場景下用戶權(quán)限管理、算法初始化條件預置等。就云邊協(xié)同計算整體架構(gòu)而言，底層邊緣網(wǎng)絡(luò)進行資源與數(shù)據(jù)虛擬化操作，云端主站負責在通信安全、規(guī)范傳輸?shù)臈l件下對終端設(shè)備及其服務(wù)對象進行一定程度的數(shù)字孿生，在此基礎(chǔ)上提供規(guī)劃、運行與評價的信息化服務(wù)。

（2）云邊協(xié)同計算引擎主要包括4部分子模塊：①物理層采用啟發(fā)式算法對終端傳感器與網(wǎng)關(guān)進行合理配置與部署，數(shù)據(jù)采集與聚類可在智能邊緣終端處理，經(jīng)過多任務(wù)學習的有損壓縮算法將數(shù)據(jù)上傳到傳輸層；②傳輸層采用Top-k支配算法對傳輸數(shù)據(jù)的不確定性進行處理，考慮海量數(shù)據(jù)的多源異構(gòu)性特征，基于即時解碼網(wǎng)絡(luò)編碼INDC（instantly decodable network coding）的設(shè)備到設(shè)備D2D（device-to-device）通信技術(shù)進行數(shù)據(jù)傳輸[6]；③模型層采用融合型配電網(wǎng)統(tǒng)一建模方法與數(shù)據(jù)融合技術(shù)，采用虛擬化技術(shù)與非關(guān)系型數(shù)據(jù)庫技術(shù)對數(shù)據(jù)資源進行統(tǒng)一建模；④決策層利用融合型配電網(wǎng)經(jīng)驗知識庫與多功能嵌入式系統(tǒng)等工具來調(diào)度底層數(shù)據(jù)資源池，對環(huán)境量、電氣量、狀態(tài)量等結(jié)構(gòu)化數(shù)據(jù)和文本信息、視頻信息等非結(jié)構(gòu)化數(shù)據(jù)執(zhí)行計算與監(jiān)管。

（3）分布式多主體協(xié)作主要包括2部分子模塊：①分布式多區(qū)域潮流計算采用基于多智能體系統(tǒng)MAS（multi-agent system）的分布式潮流計算方法[7]，將潮流計算功能擴展為雙層架構(gòu)，上層進行總體規(guī)劃區(qū)域的劃分，并根據(jù)下層傳遞的信息執(zhí)行調(diào)度計劃，下層執(zhí)行核心潮流算法，不同的主體之間利用一致性算法原理進行狀態(tài)轉(zhuǎn)移和遞歸迭代，最終實現(xiàn)雙層架構(gòu)協(xié)同計算的目的；②分布式多智能體并行機制利用非正交多址接入系統(tǒng)PDMAS（pattern division multiple access system）技術(shù)進行多主體集群計算[8]，能夠在不增加系統(tǒng)計算負載的情況下擴大計算容量，對MAS的統(tǒng)一控制與協(xié)同作業(yè)提供了高效的計算方式。此外，將5G傳輸技術(shù)結(jié)合到應用中，加快數(shù)據(jù)的傳輸與交互，優(yōu)化分布式多主體協(xié)作的通信質(zhì)量。

2 電力大數(shù)據(jù)存取交互

電力大數(shù)據(jù)具有多源性、異構(gòu)性、海量性，這使得其交互處理長期以來面臨著諸多挑戰(zhàn)。為實現(xiàn)基于人工智能與大數(shù)據(jù)的融合型配電網(wǎng)的多元定制化用戶服務(wù)，需要對大數(shù)據(jù)在傳輸層與模型層進行高速高效的數(shù)據(jù)處理。智能電力大數(shù)據(jù)按數(shù)據(jù)結(jié)構(gòu)不同可分為結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)；按數(shù)據(jù)來源不同又可分為電網(wǎng)內(nèi)部數(shù)據(jù)和電網(wǎng)外部數(shù)據(jù)，分類如表1所示。

表1 電力大數(shù)據(jù)組成Tab.1 Composition of power big data

對于龐雜的智能電力大數(shù)據(jù)存取管理，采用虛擬化資源處理、動態(tài)自適應元數(shù)據(jù)處理、NoSQL多維數(shù)據(jù)管理的分布式存取架構(gòu)。

2.1 虛擬化資源處理

虛擬化資源處理VRP（virtualization resource processing）是一種不受物理架構(gòu)、地理狀態(tài)等實際限制的計算機資源管理技術(shù)[9]。本文采取VRP技術(shù)構(gòu)建主從邏輯集群的資源管理架構(gòu)，即將數(shù)據(jù)源服務(wù)器、磁盤序列、個人電腦等利用虛擬機技術(shù)進行集群模擬，并搭建虛擬局域?qū)Ｓ镁W(wǎng)絡(luò)進行分區(qū)分段管理。調(diào)度架構(gòu)示意如圖2所示。

圖2 虛擬化資源處理架構(gòu)Fig.2 Architecture of VRP

首先，在電力企業(yè)、分布式發(fā)電管理群組、用戶等主體單位安裝虛擬機應用，將電力企業(yè)主站平臺設(shè)定為Master屬性節(jié)點，將電力企業(yè)其他應用平臺及用戶側(cè)相關(guān)的設(shè)備資源設(shè)定為Slave屬性節(jié)點；按照管理數(shù)據(jù)類型的不同，例如將電網(wǎng)內(nèi)部數(shù)據(jù)按照數(shù)據(jù)采集與監(jiān)視控制系統(tǒng)SCADA（supervisory control and data acquisition）、地理信息系統(tǒng)GIS（geographic information system）、EMS、95598、用電信息采集系統(tǒng)和營銷調(diào)度系統(tǒng)分區(qū)，電網(wǎng)外部數(shù)據(jù)按照政府單位用電信息、醫(yī)療用電信息、工商用電信息、普通電力用戶信息、分布式源荷EMS信息和氣象環(huán)境監(jiān)控信息分區(qū)，初始化虛擬網(wǎng)絡(luò)參數(shù)。

然后，在電力企業(yè)內(nèi)部數(shù)據(jù)與外部數(shù)據(jù)之間采用網(wǎng)絡(luò)層地址的信息交通網(wǎng)虛擬化技術(shù)；內(nèi)部數(shù)據(jù)分區(qū)之間網(wǎng)絡(luò)采用IP廣播組虛擬化，每個分區(qū)內(nèi)部采用MAC地址或者交換端口號；外部數(shù)據(jù)分區(qū)之間網(wǎng)絡(luò)采用IP廣播組或者網(wǎng)絡(luò)層地址進行虛擬化，每個分區(qū)內(nèi)部采用MAC地址或者交換端口號。

最后，設(shè)計雙層數(shù)據(jù)調(diào)度架構(gòu)。上層架構(gòu)為Master層，主要為融合型配電網(wǎng)大數(shù)據(jù)平臺云端主站，包括：①外部接口模塊提供與模塊外部數(shù)據(jù)的查詢與交換功能，將數(shù)據(jù)處理請求映射為控制計算模塊可處理的請求；②控制計算模塊對整個系統(tǒng)資源狀態(tài)進行檢測，負責海量多源異構(gòu)數(shù)據(jù)的協(xié)同互動，接收外部接口模塊的請求并向調(diào)度分配模塊下達指令，并將資源內(nèi)存空間等狀態(tài)反饋回外部接口模塊；③調(diào)度分配模塊對數(shù)據(jù)資源池進行調(diào)度分配管理，直接與Slave層各節(jié)點進行信息交互，并將調(diào)度結(jié)果實時反饋回控制計算模塊。下層架構(gòu)為主站平臺以外的其他數(shù)據(jù)終端組成的Slave層，負責接收Master層的調(diào)度指令。虛擬化資源實際調(diào)度時，負責電網(wǎng)內(nèi)部數(shù)據(jù)的Slave節(jié)點按各自的權(quán)重順序依次執(zhí)行指令，而負責電網(wǎng)外部數(shù)據(jù)的Slave節(jié)點則按響應速度順序執(zhí)行指令。

2.2 動態(tài)自適應元數(shù)據(jù)處理

為消除底層數(shù)據(jù)庫數(shù)據(jù)多源異構(gòu)性對數(shù)據(jù)管理的不利影響，形成標準化的數(shù)據(jù)管理庫，采用動態(tài)自適應的中間件技術(shù)對元數(shù)據(jù)處理。融合型配電網(wǎng)大數(shù)據(jù)平臺進行數(shù)據(jù)預處理后，將其歸一化為XML格式并轉(zhuǎn)到各元數(shù)據(jù)庫。元數(shù)據(jù)分類為資源元數(shù)據(jù)和服務(wù)元數(shù)據(jù)兩類，資源元數(shù)據(jù)說明數(shù)據(jù)結(jié)構(gòu)及其信息；服務(wù)元數(shù)據(jù)說明數(shù)據(jù)服務(wù)和需求，并解釋如何通過資源子元數(shù)據(jù)或服務(wù)子元數(shù)據(jù)映射到該服務(wù)元數(shù)據(jù)。中間件則根據(jù)元數(shù)據(jù)分類結(jié)果，對元數(shù)據(jù)進行篩選、關(guān)聯(lián)、合并、排序等操作，將其存儲于對應的數(shù)據(jù)庫中。

基于動態(tài)自適應的中間件技術(shù)，采用自上而下的3層分布式架構(gòu)，包括數(shù)據(jù)外部訪問接口、多元數(shù)據(jù)查詢引擎和元數(shù)據(jù)管理查詢引擎。其中元數(shù)據(jù)管理引擎又包含服務(wù)元數(shù)據(jù)管理模塊、資源元數(shù)據(jù)管理模塊及元數(shù)據(jù)存儲與檢索模塊。元數(shù)據(jù)動態(tài)自適應中間件處理總體架構(gòu)如圖3所示，其具體過程如下。

圖3 動態(tài)自適應元數(shù)據(jù)處理架構(gòu)Fig.3 Architecture of dynamic adaptive metadata processing

首先，進行系統(tǒng)參數(shù)初始化、元數(shù)據(jù)屬性初始化。每個資源元數(shù)據(jù)對應1個XML表，并用1個屬性字典來存儲元數(shù)據(jù)不同屬性鍵值對，每個屬性字段包括屬性標識ID、屬性名稱NAME、數(shù)據(jù)類型DTYPE、數(shù)據(jù)邊界DBOUND、信息描述DNOTE，其結(jié)構(gòu)如圖4所示。服務(wù)元數(shù)據(jù)屬性的初始化過程與資源元數(shù)據(jù)初始化過程類似，并在其基礎(chǔ)上增加對數(shù)據(jù)來源DSORC和屬性來源ASORC的描述，這是因為服務(wù)元數(shù)據(jù)不僅可以直接定義而來，也可由其他元數(shù)據(jù)映射而來。

圖4 資源元數(shù)據(jù)結(jié)構(gòu)Fig.4 Structure of resource metadata

然后，根據(jù)不同的數(shù)據(jù)源調(diào)用需求、數(shù)據(jù)服務(wù)需求對資源元數(shù)據(jù)、服務(wù)元數(shù)據(jù)進行調(diào)用或修改。當數(shù)據(jù)源變更時，需要修改對應資源元數(shù)據(jù)的屬性，并可能在此過程中影響該資源元數(shù)據(jù)映射的服務(wù)元數(shù)據(jù)。因此，在數(shù)據(jù)源發(fā)生變化的場景下，中間件先會按照預設(shè)的算法處理資源元數(shù)據(jù)，之后將受影響的服務(wù)元數(shù)據(jù)信息通過數(shù)據(jù)外部訪問接口反饋至系統(tǒng)中來處理。當數(shù)據(jù)需求發(fā)生變更時，只需要對相應的服務(wù)元數(shù)據(jù)進行直接修改即可，這種修改操作不會影響系統(tǒng)其他元數(shù)據(jù)的調(diào)用訪問，并且實時生效。

2.3 NoSQL實際多維數(shù)據(jù)管理

在元數(shù)據(jù)庫的邏輯架構(gòu)完成后，需要對元數(shù)據(jù)映射的實際多維數(shù)據(jù)進行分布式管理。NoSQL數(shù)據(jù)庫技術(shù)是一種不提供數(shù)據(jù)庫原子性、一致性、獨立性與持久性的非關(guān)系型分布式數(shù)據(jù)庫技術(shù)[10]，其簡化了關(guān)系型數(shù)據(jù)庫技術(shù)的數(shù)據(jù)模型，弱化了元數(shù)據(jù)與實際應用數(shù)據(jù)的一致性，無需檢查所有資源節(jié)點即可確認操作，具有簡單、高效、靈活和擴展性強等優(yōu)點。

NoSQL多維數(shù)據(jù)管理的流程是在Master層設(shè)置Meta Storage進程對實際電網(wǎng)外部數(shù)據(jù)與電網(wǎng)內(nèi)部數(shù)據(jù)進行存儲處理；Slave層依次根據(jù)電網(wǎng)內(nèi)/外部數(shù)據(jù)劃分和對應業(yè)務(wù)屬性進行分區(qū)標號，并設(shè)Slice Storage進程對要存儲的實際數(shù)據(jù)按照一定規(guī)格（例如128 MB）進行切片存儲。各步存儲工作進行時，先查詢實際數(shù)據(jù)對應的元數(shù)據(jù)XML數(shù)據(jù)表，若對應業(yè)務(wù)屬性的XML表剩余足夠的內(nèi)存空間執(zhí)行命令，則順序執(zhí)行；若存在內(nèi)存缺額，則以就近原則對XML表續(xù)存后執(zhí)行命令。

3 云主站資源最佳配置

為實現(xiàn)從現(xiàn)有智能電網(wǎng)架構(gòu)向融合型配電網(wǎng)的大數(shù)據(jù)處理架構(gòu)演化，需要從主站云建設(shè)關(guān)鍵技術(shù)層面細化建設(shè)方案。云主站作為大數(shù)據(jù)集成處理中心，時刻運行著海量多源異構(gòu)數(shù)據(jù)負載，包括機器學習、網(wǎng)絡(luò)搜索、SQL查詢、流媒體轉(zhuǎn)換等不同類型的服務(wù)。這些多元應用程序的內(nèi)部架構(gòu)與數(shù)據(jù)維度都有所不同，且云環(huán)境的動態(tài)特征對多維數(shù)據(jù)產(chǎn)生噪聲干擾，進一步惡化了計算資源的異質(zhì)性。如何為不同類型的計算負載搜索到最優(yōu)的云資源配置，對大數(shù)據(jù)處理平臺降低計算成本、提高效率至關(guān)重要。

搜索最佳配置的目的是降低工作負載的運行成本，但由此產(chǎn)生了搜索成本。傳統(tǒng)云資源配置往往采用單體優(yōu)化模式來搜索每種計算負荷的最優(yōu)配置。與集體優(yōu)化模式相比，盡管其運行成本較低，但大幅提高了搜索成本，導致整體成本較高。針對以上問題，本文技術(shù)路線是首先使用聚類算法將初始工作負載聚類；然后采用深度強化學習方法，尋找集群工作負載的最佳配置；最后，當新的計算負載請求到達時，獲取其所屬類的最佳配置作為最終配置，并根據(jù)新的工作負載資源池重新聚類與尋優(yōu)，保證云配置系統(tǒng)的動態(tài)自適應。整體架構(gòu)示意如圖5所示。

圖5 云資源優(yōu)化配置架構(gòu)Fig.5 Architecture of optimal allocation of cloud resource

優(yōu)化資源配置過程共包含5個模塊：①負載池負責存儲聚類所需的初始工作負載，以及隨系統(tǒng)運行所傳入的新工作負載；②負載聚類器負責根據(jù)負載特征將工作負載分組到不同的聚類集群中；③集體優(yōu)化配置選擇器采用深度強化學習網(wǎng)絡(luò)來預測每類工作負載的最佳配置；④查詢表負責將工作負載集群與其最佳云資源配置方式建立映射關(guān)系，以便于新負載配置查詢；⑤云環(huán)境為工作負載聚類和集體優(yōu)化配置選擇器提供了硬件基礎(chǔ)與操作配置。

3.1 工作負載聚類

基于分叉k-means聚類算法對工作負載資源池進行聚類，可以避免傳統(tǒng)k-means算法易陷入局部最優(yōu)的缺陷，聚類流程如下。

步驟1將資源池的所有工作負載描述為數(shù)據(jù)特征點，并初始化聚類為1個簇。

步驟2分別計算各簇的誤差平方和SSE（sum of square error）。

步驟3對所有簇分別進行二分操作，并計算每個父簇對應的2個子簇的總SSE。

步驟4僅保留二分前后SSE差值最大的簇二分結(jié)果。

步驟5判斷當前簇的組數(shù)是否滿足設(shè)定參數(shù)k，若滿足，則聚類結(jié)束；否則，返回步驟2。

當新的工作負載請求到達時，根據(jù)其數(shù)據(jù)特征將其劃分到現(xiàn)有聚類簇中。隨著運行時間的推移，資源池中保存的負載量增加到設(shè)定的參數(shù)閾值，重新運行聚類算法進行初始簇的劃分；或者設(shè)定聚類算法的重新運行周期，使系統(tǒng)每隔一定時間便重新聚類一次。實際運行中可根據(jù)操作環(huán)境的特點選取重新運行策略。

3.2 最佳配置策略選擇

深度Q-network即DQN（deep Q-network）模型方法遵循強化學習的模型設(shè)置，并使用深度學習來提高算法的能力[11]?；贒QN深度強化學習方法設(shè)計云資源最佳配置策略模塊，以工作負載特征狀態(tài)出發(fā)，尋求計算運行時間最短的最佳配置策略。同一簇的工作負載具有類似的特征，因此同一簇的工作負載的評估結(jié)果可以是其他工作負載的學習歷史，進而DQN模型就可以作為聚類工作負載上的集體優(yōu)化器運行。

由于Q函數(shù)包括關(guān)聯(lián)了當前狀態(tài)與后續(xù)狀態(tài)的兩種回報，具有明顯的不確定性，因此采用基于ε-greedy策略和Q函數(shù)選擇的兩階段選擇策略：第1階段設(shè)定表示隨機選擇概率的適應性參數(shù)ε，且ε具有較高的初始值，即初始階段系統(tǒng)使用隨機選擇策略；隨著訓練次數(shù)的增加，Q-learning模型的預測效果將基于大量的訓練樣本變得突出，此時ε隨之漸漸變小，系統(tǒng)進入基于Q函數(shù)選擇的第2階段。

采用的經(jīng)驗樣本為

式中：Et為經(jīng)驗樣本集；st、st+1分別為經(jīng)驗回放前后工作負載的特征；at為在階段t選擇的虛擬機配置，并經(jīng)由策略函數(shù)進行選擇；rt為評估st、st+1中工作負載運行時間的函數(shù)；分別為st、st+1中的工作負載的運行時間，當大于時，表示at能夠降低工作負載的運行時間。最佳配置策略選擇流程如圖6所示。

圖6 基于DQN的配置策略優(yōu)化流程Fig.6 Optimization process of DQN-based allocation strategy

所設(shè)計的云資源配置模塊類似集體優(yōu)化器，其比單體優(yōu)化器成本更低、速度更快。但是同時也存在兩個問題：①集體工作負載的最佳配置適合大多數(shù)工作負載，但可能是其他工作負載的次優(yōu)配置；②當工作量較小時，集體優(yōu)化器的成本更高。

為了解決第1個問題，本平臺使用大數(shù)據(jù)指標信息作為聚類工作負載的數(shù)據(jù)特征，并為每個聚類簇運行集體優(yōu)化，以找到屬于該簇的最佳配置，降低了優(yōu)選的配置策略是次優(yōu)配置的概率。針對第2個問題，當工作負載較少時，將新傳入的工作負載直接劃分到現(xiàn)有簇中，此過程可視為單體優(yōu)化器優(yōu)化過程，但其搜索成本與集體優(yōu)化器一樣低。綜上，最佳配置選擇器能以更低的成本優(yōu)化任意數(shù)量的工作負載。

4 應用與結(jié)論

本文提出的融合型配電網(wǎng)大數(shù)據(jù)處理平臺架構(gòu)方案已在山東省國網(wǎng)經(jīng)研院大數(shù)據(jù)試驗平臺得到應用，實際試驗區(qū)接入智能邊緣終端330個，數(shù)據(jù)采樣周期為0.25 h。該大數(shù)據(jù)處理平臺使得試驗區(qū)融合型電力大數(shù)據(jù)的采集速度提升37%，上傳云端數(shù)據(jù)量減少45.2%，云端主站運行與維護成本降低34.7%。平臺從應用層面上實現(xiàn)了融合型配電網(wǎng)即插即用終端狀態(tài)與網(wǎng)絡(luò)運行工況的全面監(jiān)測，為試驗區(qū)的規(guī)劃運行、維護檢修和業(yè)務(wù)擴展提供了專業(yè)高效的數(shù)據(jù)分析工具，滿足了對多源異構(gòu)融合型大數(shù)據(jù)服務(wù)的適應性需求。研究成果有助于推進國家電網(wǎng)公司節(jié)能服務(wù)體系建設(shè)、拓展新型能源服務(wù)業(yè)務(wù)，可為全行業(yè)和更多市場主體發(fā)展創(chuàng)造更多更大的機遇，為電力物聯(lián)網(wǎng)與智能配電網(wǎng)融合建設(shè)提供更多技術(shù)探索和經(jīng)驗積累。