董永樂,李軒,余佳,張理放,白露薇

(內蒙古電力科學研究院,呼和浩特 010020)

0 引 言

智能用電技術作為智能電網必不可少的組成部分,在供電、發(fā)電、輸變電等多個領域發(fā)揮著越來越重要的作用。2009年,美國提出智能電網計劃,宣布美國家庭安裝智能電能表[1-3]。隨后,英法等各國也相繼提出電力系統智能化方案[4]。我國近年也推出了電力光纖的試點項目,為建設智能電網奠定了基礎[5]。

智能電能表是智能電網系統的一種重要設備,基于智能通信管理和信息平臺,實現了遠距離自動化抄表采集數據,取代了手動采集,提高了抄表效率和正確率,降低了人工成本[6-7]。我國學者針對智能電能表進行相關研究,文獻[8]簡述了遠程費控智能電能表的功能及其應用價值;文獻[9]分析了新一代智能電能表的功能定位和設計需求;文獻[10]對智能電能表的關鍵部件進行了風險評估 。傳統智能電能表受限于傳輸鏈路的復雜、通訊接入覆蓋深度不夠、以及電能表串口模塊自身技術等諸多因素的影響,仍然存在著數據傳輸效率低、數據采集指標匱乏、設備在線率無法實施監(jiān)控等多種弊端。究其原因是現行電能表采集模式采用的是三層結構體系,即電能表-集中器-主站系統。電能表作為用電的計量設備是電量信息數據的發(fā)起端,集中器類似于中間存儲,電能表通過電力線載波將數據凍結在集中器端,再通過2G無線通信信道發(fā)送到主站系統。由于集中器只是簡單的存儲中轉設備,不具備數據分析統計功能,因此數據在集中器端并不能有效的得到控制和利用,同時也無法對電能表進行實施的監(jiān)控。三層結構中的任何一層設備出現故障,其他兩層的設備均無法同時感知,例如:電能表部分出現故障,主站系統無法第一時間獲知;主站系統出現故障,集中器依舊會對電能表數據進行采集并凍結,如果此時主站系統不及時對集中器數據進行提取,數據將會丟失。此外,由于儀表數據通過電力線載波傳輸到集中器,通過2G無線網絡上傳到主站,鏈路復雜、傳輸效率不高對數據指標采集完整性有很大影響?，F階段主站系統采集的指標僅僅能夠支撐日常業(yè)務,大量的數據指標無法得到采集,也阻礙了后期電力大數據的建設和發(fā)展。

在此背景下,文中提出了一種基于光纖傳輸和互聯網技術的數據采集體系結構方案,實現高并發(fā)采集百萬臺電能表數據,達到數據實時傳輸、數據指標定制化、設備在線率監(jiān)控等多種目的。

1 設計方案

新式數據采集架構方案是在傳統智能電能表基礎上增加了以下幾部分模塊:光纖接入與光電轉換模塊、千兆以太網交換機、高速電力線載波數據模塊和相關接口模塊。通過光電轉換將光信號轉為可處理的電信號,經過以太網交換機將一路以太網變?yōu)閮陕芬蕴W,其中一路信號通過串口模塊進行交互采集電能表數據后返回到光模塊,將數據信息封裝成數據包通過光纖進行輸出。系統結構框如圖1所示。

圖1 系統結構框圖

智能光纖電能表使得海量電能表數據包可以通過光纖進行高速傳輸,在整體應用架構上分為五層,包括展現層、應用層、支撐層、數據層、基礎層,其中最核心的是應用層和數據層,智能電能表應用架構如圖2所示。

圖2 智能電能表應用架構

展現層位于架構的最頂層,直接與客戶進行業(yè)務交互,處理電能表數據的上報、采集、匯總、查詢統計等業(yè)務功能。

應用層是處理系統業(yè)務的核心模塊,電能表數據的處理功能(查詢、計算、分析等)大部分位于這一層,該層的業(yè)務處理劃分為業(yè)務層、服務層和數據庫層。

支撐層主要包含工作流、數據管理、統計報表、權限認證,用于支撐整個系統的業(yè)務完善、數據規(guī)范嚴格、權限劃分嚴密等。

數據層是系統存儲、交互、計算、同步數據的核心,建立安全、高效、實時交互的數據體系是采集平臺的重點任務,在完成數據存儲統計計算等功能外,也為日后電表系統的信息化發(fā)展提供了基礎數據保障。

基礎層是整個平臺系統運行的硬件環(huán)境,其中包括網絡系統、機房建設、存儲設備、安全設施。整個平臺系統從業(yè)務運行、數據管理、安全三個方面建立了完善了運行管理體系、數據規(guī)范體系和安全保障體系。具體核心設計如下。

1.1 通信接口設計

通過內置通訊接口模塊與主站進行數據交互以及采集,接口規(guī)范以及通信協議由前置機和主站共同約定,形成統一的通訊標準。前置機和主站共同約定如圖3所示。

圖3 前置機和主站共同約定

接口規(guī)范中約定了雙方通訊的協議、數據傳輸格式、數據存儲形態(tài)、數據指標以及命令參數等。在數據傳輸安全性方面,采用非對稱加密方式對電能表數據進行一級加密解密,前置機與主站各保存私鑰以及對方的公鑰,用私鑰進行加密公鑰進行解密,如需提高安全級別,可以采用對稱加密的方式再次對私鑰與公鑰進行二級加密解密,確保數據通過接口傳輸的安全。

接口轉發(fā)層位于整個架構的最下端,主要實現與供電公司的主站系統進行數據交換,為主站系統分擔來自電能表的高并發(fā)請求,保證在光纖通訊的高速傳輸交互下業(yè)務系統的正常使用。通過基于Http協議的WebService接口,也可以通過基于TCP的遠程方法調用(RPC),同時還支持異步消息隊列的方式傳遞數據,并可以控制與主站數據交互的頻率、指標項以及數據量等。

1.2 負載均衡設計

當面臨大量用戶訪問、高并發(fā)請求和不斷增加的數據量時,單臺機器的容量性能將達到極限。為了解決高峰時段用戶請求對服務器造成的壓力,在建設初期考慮業(yè)務拆分和分布式部署。在拆分應用程序之后,它們被部署到不同的機器上,以實現大規(guī)模的分布式系統。分發(fā)和服務拆分解決了從集中到分發(fā)的問題,但是每個部署的獨立服務仍然存在單點和訪問統一門戶的問題。為了解決單點故障,采用冗余方法,將同一應用程序部署到多臺機器上。為了解決統一入口的接入問題,可以在集群前增加負載均衡設備,實現流量分配。

負載均衡是指均衡負載(工作任務、訪問請求),并將其分配給多個操作單元(服務器、組件)執(zhí)行。它是高性能、單點故障(高可用性)和可擴展性(水平擴展)的終極解決方案。負載平衡原則:系統擴展可分為垂直(垂直)擴展和水平(水平)擴展?？v向擴展是從單臺機器的角度出發(fā),通過增加硬件處理能力,如CPU處理能力、內存容量、磁盤等方面來增加服務器的處理能力,不能滿足大規(guī)模分布式系統(網站)、大流量、高并發(fā)性和海量數據等問題。因此,有必要采用橫向擴展的方式,通過增加機器來滿足大型網站服務的處理能力。例如,如果一臺機器不能滿足要求,將增加兩臺或多臺機器來分擔訪問壓力。這兩個應用程序集群將同一個應用程序部署到多臺機器上,形成一個處理集群,該集群接收由負載平衡設備分發(fā)的請求,對其進行處理,并返回相應的數據。負載均衡設備根據負載均衡算法向集群中的處理服務器分發(fā)用戶訪問請求(向服務器群集中的可用服務器分發(fā)網絡請求的設備)。負載均衡設計圖如圖4所示。

圖4 負載均衡設計圖

負責均衡采用LVS+KeepAlived+Nginx組合實現。LVS是Linux Virtual Server的簡寫,意為Linux虛擬服務器,是虛擬的服務器集群系統,可在UNIX/LINUX平臺下實現負載均衡集群功能,通過核心IP負載均衡技術實現網絡地址轉換,將一組服務器構建成一個高性能的虛擬服務器集群。

KeepAlived通過VRRP協議實現高可用功能,解決負載均衡集群中單點故障問題,保證集群的高可用性(HA)。通過測試發(fā)現以LVS+KeepAlived實現的負載均衡集群可以達到F5性能的60%～70%。

Nginx是一個高性能的HTTP和反向代理服務器,同時支持TCP長連接,是負載均衡與實時交互的連接層,負責轉發(fā)網絡長連接請求到交互層。整個負載均衡層是實現應對百萬臺終端請求高并發(fā)連接的核心。

采用Nginx作為HTTP負載平衡器,將流量分配到多個應用服務器上提高性能,可擴展性和高可用性。解決了網站服務器對外可見的問題,提高了網站服務器的安全性,節(jié)約了有限的IP地址資源,后端服務器均可使用私有IP地址與代理服務器進行通信,加速了系統的訪問速度,減輕了真實Web服務器的負荷。

1.3 緩存系統設計

對于Web系統來說,大量的用戶請求不斷的與服務器和數據庫進行交互,高并發(fā)、海量數據會給整個系統帶來嚴重的負荷,而與服務器請求的數據往往都是使用頻繁或是一些固定的資源如熱點數據(新聞、政策、時事)、靜態(tài)的圖片、文檔等,這些資源訪問頻率高、每次都從數據庫中獲取會給數據庫帶來不小的壓力,因此,設計一套完善的緩存機制可以有效提高整個系統的數據訪問性能,減少延遲。因為請求是從緩存服務器(更靠近客戶機)而不是從源服務器發(fā)出的,所以這個過程花費的時間更少,從而使Web服務器看起來更快。減少網絡帶寬消耗;客戶可以節(jié)省帶寬費用,控制帶寬的需求的增長并更易于管理。通常情況下,用戶與系統交互最高的資源是數據,對于訪問以及使用頻率較高的數據,如用戶信息、班組信息、日報數據等可以放入緩存(通常為內存數據庫,內存數據庫提供更快更高效的訪問性能)中,應用程序讀取數據時,先到緩存中取,如緩存中沒有或失效,再到數據庫中取出,重新寫入緩存以供下一次訪問。因此,可以很好地改善系統性能,提高數據讀取速度,降低存儲訪問壓力。緩存系統設計圖如圖5所示。

圖5 緩存系統設計圖

有時在高并發(fā)的情況下,讀操作要遠遠高于寫操作,用戶的寫操作請求要等待很長時間才能得到響應,嚴重影響了系統的性能,降低了客戶體驗。在設計緩存時,可以考慮將用戶的寫操作數據存入緩存中,在同步到數據庫中,避開系統訪問的高峰期。

1.4 實時交互設計

實時交互層是負責處理連接請求,與電能表實時交互數據的重要部件,位于負載均衡層之下,主要有應用服務器集群組成,并通過分布式一致性框架Zookeeper實現統一配置和管理,實現應用服務器集群組的動態(tài)擴容,并監(jiān)控每個應用服務器的運行狀態(tài)以及連接負荷。整個應用集群在邏輯上分為三部分。

一、數據實時交互處理,用于處理電能表連接請求交互數據;

二、接口轉發(fā)層通路,用于傳遞數據到接口轉發(fā)層,屬于整個架構體系中的內部接口調用組件;

三、熱插拔擴展接口,由于數據前置主要實現的是負載請求,交互數據以及接口遠程調用等功能,并不對電能表數據進行處理,后期通過熱插拔擴展接口可以動態(tài)的實現第三方業(yè)務服務,如數據分析加工處理服務、數據動態(tài)展示服務、數據存儲服務等,實現動態(tài)整合集成到數據前置機中。

2 電能表系統功能及測試結果

該電能表除保持原有功能外,還新增以下新的功能。

2.1 基于光纖數據回傳的抄表功能

通過嵌入到電能表中的光纖傳輸模塊,將原電能表中通過電力線載波抄表的全部電能計量信息通過連接到電能表的高速光纖進行數據上傳,而不再采用過去信息經電力線載波到集中器傳輸方式。這樣就徹底解決了今后移動網絡標準不斷變化帶來的電網數據傳輸方式的更新換代問題,大大節(jié)約了人力物力資源。

2.2 光纖高速寬帶上網接入功能

目前家庭上網主要采取運營商提供的光貓(光纖接入)或ADSL(電纜接入),通過家庭鋪設有線或無線WIFI方式組建家庭網絡需要預先家庭墻壁上進行布線施工或使用有一定輻射危害的大功率路由器?！皢蜗嘀悄苜M控網絡電能表”具備了中國移動運營商光纖寬帶接入功能,可以實現在同一入戶電能表下,通過低壓配電線(380 V/220 V用戶線)為家庭用戶提供高速上網功能,用戶通過房間任意電源插座連接的電力貓即可方便快速上網。

2.3 基于大數據的智能數據處理功能

需求側管理是指通過采取有效的激勵措施,引導電力用戶改變用電模式,提高終端用電效率,優(yōu)化資源配置,改善和保護環(huán)境,實現電力服務成本最小化而開展的電力管理活動。促進電力工業(yè)與國民經濟和社會協調發(fā)展是一項系統工程。

結合大數據的技術優(yōu)勢和電力系統的應用需求,發(fā)揮大數據的價值。從電能表到大數據處理平臺采集用戶用電數據,通過數據圖表等多種顯示方式對用電信息進行挖掘、分析和詳細比較。從而創(chuàng)造個性化的節(jié)電和節(jié)能策略,讓用戶真正感受到智能電網的互動性、信息化和自動化。

2.4 實驗測試方案及結果

為了測試新式智能電能表的數據采集功能的準確性,依據《電能量信息采集與監(jiān)控終端技術規(guī)范》,進行準確度測試,電能表誤差在1 %以內。選取測試區(qū)321戶居民作為測試區(qū),安裝新式智能電能表,采用光纖通信進行采集數據。對整個測試區(qū)進行了10萬次不間斷采集測試,其中采集頻率最高可達0.5 s/次,測試結果100 %完全成功。

為了測試新式智能電能表的數據采集速率,對測試區(qū)所有電能表進行抄讀,最長耗時2.3 s,最短耗時0.7 s。分別采用100 Mbps上行速率測試全天24小時網線和Wi-Fi通信速率如圖6所示,其中網線下行速率平均可達82.90 Mbps,Wi-Fi通信速率可達37.44 Mbps。設備平均溫度51.21 ℃。

圖6 24小時數據采集圖

為了測試新式智能電能表高并發(fā)采集的性能,使用LoaderRunner 工具測試,模擬百萬個終端同時在線,測試時間 633分鐘,每秒處理事務平均數 1 758個,執(zhí)行用戶數成功率可達99.7 %,能夠完全達到設計指標。

從測試結果可以看出,光纖遠程收集方案不僅大大提高了電能信息采集的成功率。尤其在并發(fā)采集上完全達到設計指標。利用光纖遠程采集系統實現高速、實時的電力信息采集效率。同時與傳統方式相比,利用光纖網絡設計可以提供雙向的高帶寬、更長的距離和更廣的覆蓋范圍,提供全業(yè)務的接入能力。在傳輸過程中,信號損耗小,傳輸過程不需要繼電器設備,且傳輸距離長,安全性高;作為一種純介質網絡,完全避免了雷擊和電磁干擾的影響,非常適合在惡劣的自然條件下使用。

為了進一步提升采集成功率及出賬率,保障應用數據的完整性、準確性,通過對采集數據進行智能分析,從而對采集數據合理性進行判別,提升采集數據質量。在每個用戶前一年采集電量分析基礎上,形成預測下一階段的用電量最大值。針對每個用戶的用電量進行量化分析,找出該用戶用電規(guī)律,相對采用統一判斷規(guī)則更具有針對性,能兼顧不同類型用戶用電規(guī)律。支撐線損精細化、反竊電、在線監(jiān)測。

3 結束語

文中提出了一種應對百萬臺智能電能表高并發(fā)采集的數據采集前置機方案,該方法基于光纖通信技術TCP/IP協議,從邏輯上將架構分為三層,數據實時分布式采集配置項、資源協調服務中心配置項、數據存儲配置項,實現了電能表數據回傳抄表功能,高速寬帶上網接入功能實時數據傳輸和智能數據處理功能,測試結果表明新式智能電能表數據采集方案能夠完整地實現設計功能,執(zhí)行用戶數成功率可達99.7%,設備運行穩(wěn)定,網速測試結果滿意。該方法為光纖通信采集電能表數據提供了重要的基礎保證。