西安交通大學(xué) 曹朋軍 傅 哲

1 引言

隨著人工智能的發(fā)展，智能化趨勢越加明顯，尤其是針對勞動(dòng)密集型的產(chǎn)業(yè)，可以用人工智能的手段來替代人工，在電力行業(yè)亦是如此[1]。利用人工智能的方式對發(fā)電設(shè)備、配電設(shè)備、輸電設(shè)備等一些老舊的儀表、開關(guān)、指示燈等狀態(tài)進(jìn)行實(shí)時(shí)智能分析預(yù)警，可以減少人工巡檢的次數(shù)，并可以以數(shù)字化的形式對設(shè)備進(jìn)行實(shí)時(shí)監(jiān)管分析[2]。本文基于人工智能技術(shù)設(shè)計(jì)了一套智能化的設(shè)備狀態(tài)監(jiān)控預(yù)警系統(tǒng)，內(nèi)嵌深度學(xué)習(xí)圖像處理算法可以對發(fā)電廠壓力表、數(shù)字表、指示燈、開關(guān)狀態(tài)進(jìn)行實(shí)時(shí)分析，得出設(shè)備的運(yùn)行狀態(tài)。

2 行業(yè)現(xiàn)狀

傳統(tǒng)的發(fā)電模式是將熱能轉(zhuǎn)為電能，在能量轉(zhuǎn)化過程中需要控制好各個(gè)環(huán)節(jié)的氣體和水的壓力，會(huì)用到大量的專用壓力表，而這些壓力表大部分只是一個(gè)末端傳感器，并沒有將壓力的實(shí)時(shí)狀態(tài)值傳回到中控系統(tǒng)，所以需要人工定期檢查各個(gè)壓力表的壓力值狀態(tài)。同時(shí)，在發(fā)電廠內(nèi)部還存在著大量的控制柜，控制柜上也有許多儀表和開關(guān)，如點(diǎn)陣8段碼數(shù)字表、指示燈、旋鈕開關(guān)等，這些儀表開關(guān)的狀態(tài)直接決定了能量轉(zhuǎn)化的效率和廠區(qū)生產(chǎn)安全。目前，大多數(shù)電廠類似的設(shè)備都沒有較好地進(jìn)行智能化管控，或者基本是采用人工的方式進(jìn)行定期和不定期的巡檢以確保萬無一失，針對此類現(xiàn)狀，利用深度學(xué)習(xí)圖像處理技術(shù)可以規(guī)范化、流程化地對設(shè)備進(jìn)行智能化改造升級(jí)，通過監(jiān)控相機(jī)對設(shè)備進(jìn)行實(shí)時(shí)監(jiān)控，利用圖像處理算法對設(shè)備各個(gè)狀態(tài)進(jìn)行實(shí)時(shí)感知，最終將結(jié)果傳回中控系統(tǒng)。

隨著深度學(xué)習(xí)技術(shù)的發(fā)展，基于神經(jīng)網(wǎng)絡(luò)的圖像算法也在各行各業(yè)快速地應(yīng)用落地，深度學(xué)習(xí)圖像處理是對可見光傳感器采集的RGB 數(shù)據(jù)進(jìn)行特征提取建模，然后進(jìn)行回顧預(yù)測，從而理解圖像的語義信息，常見深度學(xué)習(xí)圖像處理算法有目標(biāo)檢測、圖像分割、圖像匹配、風(fēng)格遷移等。電力設(shè)備的壓力表、數(shù)字表、指示燈、開關(guān)等的特點(diǎn)是圖像特征相對固定，利用現(xiàn)場采集現(xiàn)場的視頻數(shù)據(jù)，經(jīng)過深度學(xué)習(xí)目標(biāo)檢測算法模型即可自動(dòng)識(shí)別設(shè)備的狀態(tài)[3-4]。

3 設(shè)備狀態(tài)監(jiān)控預(yù)警系統(tǒng)

3.1 狀態(tài)監(jiān)控預(yù)警系統(tǒng)組成

圖像采集設(shè)備。對于圖像處理來說，所以首先需要清晰成像，成像設(shè)備選用網(wǎng)絡(luò)監(jiān)控球機(jī)攝像頭可帶云臺(tái)功能，在球機(jī)中可以提前設(shè)定好云臺(tái)的預(yù)置點(diǎn)位，采用定時(shí)巡檢的模式，對電力設(shè)備的表計(jì)、開關(guān)、指示燈進(jìn)行拍攝，獲取每個(gè)點(diǎn)位的設(shè)備狀態(tài)照片。因?yàn)?，電力設(shè)備是全天候運(yùn)行，所以在晚上如果環(huán)境光線過暗，需要對相機(jī)進(jìn)行補(bǔ)光，補(bǔ)光的方式分為可見光和不可見光補(bǔ)光兩種，前者主要以白光為主，可在相機(jī)周圍安裝光源，對所監(jiān)控的區(qū)域進(jìn)行補(bǔ)光，后者主要是紅外補(bǔ)光，其缺點(diǎn)是夜間圖像呈黑白效果?？紤]到指示燈有顏色變化和顏色區(qū)分，所以一般選用白光進(jìn)行補(bǔ)光。

嵌入式AI 計(jì)算終端。AI 計(jì)算終端[5]是算力部分，主要是利用神經(jīng)網(wǎng)絡(luò)模型算法對輸入的圖像進(jìn)行推理處理，輸出圖像的檢測結(jié)果。嵌入式計(jì)算終端硬件設(shè)備選用國產(chǎn)嵌入式AI 芯片RK3399pro，具有雙核Cortex-A72和四核Cortex-A53的大小核處理器架構(gòu)，主頻高達(dá)1.8GHz，集成Mali-T860 MP4四核圖形處理器，內(nèi)嵌神經(jīng)網(wǎng)絡(luò)加速單元，兼容多種AI 框架，支持TensorFlow、Caffe、Darkent 等各種神經(jīng)網(wǎng)絡(luò)框架，支持8Bit/16Bit 運(yùn)算，運(yùn)算性能高達(dá)3.0TOPs，具有兩個(gè)千兆以太網(wǎng)接口和USB 接口，供電電壓12V。嵌入式AI 計(jì)算終端的特點(diǎn)是小型化、功耗低，易于部署和實(shí)施，如果前端采用移動(dòng)機(jī)器人進(jìn)行巡檢則也可以將嵌入式AI 計(jì)算終端與機(jī)器人本體進(jìn)行集成。將神經(jīng)網(wǎng)絡(luò)算法模型在GPU 端設(shè)計(jì)、訓(xùn)練、調(diào)優(yōu)后，經(jīng)過模型轉(zhuǎn)換、量化可以轉(zhuǎn)化為離線模型，部署到嵌入式邊緣計(jì)算終端中進(jìn)行離線推理，推理完成后在利用網(wǎng)口協(xié)議將推理結(jié)果推送到預(yù)警平臺(tái)。

預(yù)警管控平臺(tái)。預(yù)警管理平臺(tái)是對所有實(shí)時(shí)監(jiān)控的結(jié)果進(jìn)行業(yè)務(wù)匯總，形成可視化的界面進(jìn)行展示，從業(yè)務(wù)層面對儀表讀數(shù)、開關(guān)狀態(tài)、指示燈狀態(tài)等進(jìn)行實(shí)時(shí)讀取監(jiān)控和預(yù)警，設(shè)定預(yù)警規(guī)則，實(shí)現(xiàn)報(bào)警記錄查詢等功能，具體功能有今日報(bào)警統(tǒng)計(jì)、周報(bào)警統(tǒng)計(jì)；儀表數(shù)據(jù)讀數(shù)匯總和現(xiàn)場圖片記錄，閾值調(diào)節(jié)；開關(guān)、指示燈狀態(tài)數(shù)據(jù)匯總和圖片記錄等。整體業(yè)務(wù)架構(gòu)如圖1所示。

圖1 設(shè)備狀態(tài)監(jiān)控預(yù)警系統(tǒng)組成

3.2 圖像處理算法

在嵌入式AI 計(jì)算終端中，主要集成了圓形指針儀表數(shù)字讀取算法、數(shù)字表數(shù)字讀取算法、開關(guān)狀態(tài)檢測算法、指示燈狀態(tài)檢測算法。如圖2所示，算法的整個(gè)流程是接收輸入數(shù)據(jù)，通過目標(biāo)檢測網(wǎng)絡(luò)判斷待檢測目標(biāo)的類型，然后進(jìn)行分級(jí)進(jìn)入不同的算法子模塊，包括指針表讀取算法子模塊、數(shù)字表數(shù)值讀取算法子模塊、開關(guān)狀態(tài)判斷算法子模塊、指示燈狀態(tài)分析算法子模塊，通過算法子模塊對各個(gè)待測物體的狀態(tài)進(jìn)行檢測，最終輸出狀態(tài)，并將算法結(jié)果和現(xiàn)場帶標(biāo)記的照片推送到預(yù)警監(jiān)控平臺(tái)。

圖2 設(shè)備狀態(tài)監(jiān)控算法流程

3.2.1 指針表讀取算法

基于目標(biāo)檢測網(wǎng)絡(luò)獲取到圓形儀表在圖像中的位置后，將目標(biāo)區(qū)域的圖像進(jìn)行截取，然后用傳統(tǒng)的圖像處理算法霍夫圓擬合的方式對表盤進(jìn)行提取，包括對變形表盤進(jìn)行校正、旋轉(zhuǎn)、圖像模糊度判斷等，得出表盤的中心點(diǎn)即圓形表盤的圓心位置，然后利用直線檢測和擬合的方式將表計(jì)的指針在圖像中的直線提取出來，根據(jù)預(yù)先標(biāo)定好的表計(jì)量程信息即可換算出當(dāng)前指針?biāo)赶虻恼鎸?shí)刻度值，識(shí)別過程如圖3所示。

圖3 指針儀表識(shí)別算法過程

指針表數(shù)值讀取的難點(diǎn)是定位指針的位置，這里可選的方法有兩種，一種是通過傳統(tǒng)的方式先將圖像進(jìn)行二值化，然后進(jìn)行膨脹腐蝕，找到連通區(qū)域，最后選擇近似直線的連通區(qū)域即可得到指針起點(diǎn)和終點(diǎn)相對于圖像的像素坐標(biāo)；另一種方法是利用深度學(xué)習(xí)算法直接檢測旋轉(zhuǎn)目標(biāo)比如CerntNet網(wǎng)絡(luò)，可以回歸預(yù)測出指針的中心點(diǎn)及旋轉(zhuǎn)角度，從而計(jì)算出指針的相對位置坐標(biāo)。傳統(tǒng)算法的優(yōu)點(diǎn)是簡單、易用，但算法容易受光線等外界環(huán)境的變化，算法魯棒性能差，深度學(xué)習(xí)算法優(yōu)點(diǎn)是可適用各種光照條件、角度變化，算法魯棒性好，但設(shè)計(jì)算法模型前期需要大量的數(shù)據(jù)進(jìn)行訓(xùn)練。

3.2.2 數(shù)字表數(shù)值讀取算法

對于點(diǎn)陣的8段碼字符識(shí)別，在圖像處理領(lǐng)域是一個(gè)比較成熟的算法，可以用OCR 字符識(shí)別進(jìn)行獲取。通過目標(biāo)檢測網(wǎng)絡(luò)獲取到數(shù)字表在圖像中ROI區(qū)域后，將ROI 區(qū)域的圖像進(jìn)行截取，再將圖像輸入OCR 字符識(shí)別網(wǎng)絡(luò)中進(jìn)行識(shí)別，最終輸出符合順序的數(shù)值。圖像進(jìn)入OCR 網(wǎng)絡(luò)中具體識(shí)別步驟是先對圖像進(jìn)行預(yù)處理，預(yù)處理主要有灰度處理、二值化、去噪、傾斜校正等，預(yù)處理完成后將圖像輸入到已經(jīng)訓(xùn)練好的OCR 識(shí)別網(wǎng)絡(luò)中，網(wǎng)絡(luò)會(huì)輸出當(dāng)前畫面中的字符信息，最后將字符信息的輸出坐標(biāo)按照行和列的位置進(jìn)行重排，即可得出當(dāng)前圖片的字符的具體信息包括數(shù)值、單位、小數(shù)點(diǎn)等。

3.2.3 開關(guān)狀態(tài)判斷算法

利用目標(biāo)檢測網(wǎng)絡(luò)對所有的開關(guān)類型進(jìn)行目標(biāo)識(shí)別做一個(gè)粗分類，先確定每個(gè)開關(guān)的類型比如按壓式開關(guān)、旋鈕開關(guān)等，得出開關(guān)所在圖像的ROI區(qū)域，得到開關(guān)類型和ROI 區(qū)域后，再將ROI 區(qū)域圖像送入到分類網(wǎng)絡(luò)中進(jìn)行細(xì)分類，分類網(wǎng)絡(luò)可選ResNet、VggNet 等，通過不同的開關(guān)類型選取不同的分類模型，最終通過細(xì)分類的算法模型給出當(dāng)前輸入的真實(shí)狀態(tài)，如打開、關(guān)閉、擋位信息等。

3.2.4 指示燈狀態(tài)分析算法

通過目標(biāo)檢測可以得出部分燈的狀態(tài)，如紅燈、綠燈、黃燈以及燈的亮滅狀態(tài)，然后通過時(shí)間序列對這些檢測結(jié)果通過RGB+HSV 顏色空間進(jìn)行算法過濾，即可得出指示燈是否閃爍變化，閃爍時(shí)的顏色變化等信息。

3.3 算法測試結(jié)果分析

通過對本文設(shè)計(jì)的設(shè)備狀態(tài)監(jiān)控預(yù)警系統(tǒng)進(jìn)行實(shí)地部署，在實(shí)際現(xiàn)場最終測試算法性能時(shí)，隨機(jī)在現(xiàn)場采集的樣本中對指針表盤、數(shù)字表盤、開關(guān)、指示燈進(jìn)行隨機(jī)各選取1000張照片進(jìn)行實(shí)際算法測試，數(shù)字表盤、開關(guān)、指示燈的讀數(shù)和狀態(tài)判斷準(zhǔn)確率可達(dá)98%，圓形指針表由于拍攝時(shí)各種角度問題，準(zhǔn)確率可以達(dá)到92%。測試的部分結(jié)果如圖4所示。

圖4 算法測試結(jié)果展示

4 智能化改造應(yīng)用

通過將設(shè)備狀態(tài)監(jiān)控預(yù)警系統(tǒng)進(jìn)行實(shí)地部署應(yīng)用，不僅可以解決電力設(shè)備中老舊的末端采集設(shè)備的數(shù)據(jù)管理和可視化問題，還可以對新的具有數(shù)據(jù)傳輸功能的新設(shè)備所采集的數(shù)據(jù)進(jìn)行實(shí)時(shí)比對，從而反映現(xiàn)場的真實(shí)情況。對于智能化設(shè)備巡檢監(jiān)控系統(tǒng)主要可應(yīng)用于固定范圍場景巡檢和移動(dòng)場景巡檢任務(wù)。

固定范圍場景巡檢。通過在所需要監(jiān)測的設(shè)備周圍部署監(jiān)控球機(jī)，假如1個(gè)球機(jī)監(jiān)控10個(gè)儀表點(diǎn)位3個(gè)控制柜，以此類推按照該部署方式可覆蓋所有需要布控監(jiān)測范圍。將這些球機(jī)的視頻流接入到嵌入式AI 處理終端，即可實(shí)現(xiàn)各種表計(jì)和狀態(tài)的全范圍預(yù)警。

移動(dòng)場景巡檢。移動(dòng)場景是借助巡檢機(jī)器人，目前大多數(shù)巡檢機(jī)器人主要是以“看的清”為主，通過對機(jī)器人加入設(shè)備狀態(tài)監(jiān)控預(yù)警系統(tǒng)，將機(jī)器人由“看得清”變?yōu)椤翱吹枚?，通過設(shè)定路徑規(guī)劃等使得移動(dòng)機(jī)器人走到指定的表計(jì)和控制柜所在的位置，觸發(fā)機(jī)器人拍攝場景中包含待測表計(jì)和開光狀態(tài)等目標(biāo)的照片，然后將所拍攝的照片發(fā)送到嵌入式AI 處理終端中進(jìn)行圖像處理，最終將結(jié)果反饋到預(yù)警平臺(tái)。通過巡檢機(jī)器人不斷地在電廠進(jìn)行巡檢既可以得出整個(gè)電廠設(shè)備的運(yùn)行狀況。

5 結(jié)語

針對電廠老舊設(shè)備用深度學(xué)習(xí)圖像處理的方式進(jìn)行升級(jí)改造，可以充分利舊，在不改變原有設(shè)備的情況下達(dá)到對設(shè)備數(shù)據(jù)實(shí)時(shí)采集的目的。通過將本文設(shè)計(jì)的設(shè)備狀態(tài)監(jiān)控預(yù)警系統(tǒng)在華潤電力唐山分電廠、湖北蒲圻電廠進(jìn)行了實(shí)地部署應(yīng)用，取得了較好的效果，也進(jìn)一步驗(yàn)證了本文所設(shè)計(jì)的智能監(jiān)測系統(tǒng)的可行性和推廣價(jià)值。