趙恒 陳瑋 陳禹

(中國(guó)移動(dòng)通信集團(tuán)江蘇有限公司，南京 210023)

0 引言

隨著5G、家寬與集客業(yè)務(wù)的大力發(fā)展，光交箱作為光纜接入網(wǎng)中主干光纜與接入光纜交接處的接口設(shè)備，其規(guī)?？焖僭鲩L(zhǎng)。但是光交箱資源信息維護(hù)主要以手工臺(tái)賬為主，數(shù)據(jù)準(zhǔn)確率不高，變更不及時(shí)，對(duì)業(yè)務(wù)快速開(kāi)通、網(wǎng)絡(luò)精準(zhǔn)投資、故障快速處理、風(fēng)險(xiǎn)有效防控等均有較大影響。

針對(duì)以上問(wèn)題，本文對(duì)現(xiàn)有的圖像分類算法和目標(biāo)檢測(cè)算法進(jìn)行改進(jìn)，實(shí)現(xiàn)對(duì)光交箱工藝的分類檢測(cè)和端子占用情況的智能識(shí)別，打破長(zhǎng)期以來(lái)識(shí)別精準(zhǔn)度不高的困局，滿足實(shí)際生產(chǎn)需求。在江蘇移動(dòng)管線系統(tǒng)APP端開(kāi)發(fā)現(xiàn)場(chǎng)核查功能，將AI能力嵌入到資源入網(wǎng)、資源調(diào)度、資源核查和資源釋放4個(gè)實(shí)際生產(chǎn)流程，構(gòu)建光交箱資源全生命周期的自動(dòng)化、智能化的運(yùn)營(yíng)能力。

1 基于圖像分類算法的光交箱工藝檢測(cè)

1.1 光交箱工藝檢測(cè)算法選擇

光交箱工藝圖像的檢測(cè)算法需要兼顧準(zhǔn)確率和速度，針對(duì)現(xiàn)有多目標(biāo)跟蹤算法參數(shù)量和計(jì)算量大，難以滿足移動(dòng)端實(shí)時(shí)檢測(cè)要求的問(wèn)題，而Transformer網(wǎng)絡(luò)模型采用自注意力機(jī)制提取圖形的特征信息，且可以并行化利用資源加快模型的訓(xùn)練速度[1]，因此適用于光交箱工藝圖像檢測(cè)的場(chǎng)景。為提高模型的識(shí)別速度和準(zhǔn)確率，考慮使用改進(jìn)的EfficientNetv2作為特征提取層，重新構(gòu)建YoloV5的特征提取網(wǎng)絡(luò)，增強(qiáng)網(wǎng)絡(luò)模型的提取能力，達(dá)到提高實(shí)時(shí)檢測(cè)速度的目標(biāo)。改進(jìn)后的Transformer模型結(jié)構(gòu)圖如圖1所示。

圖1 改進(jìn)后的Transformer模型結(jié)構(gòu)圖

圖1中的編碼器包含N個(gè)相同的編碼塊，每個(gè)編碼塊包含多頭注意力層和前饋全連接層，每個(gè)編碼塊中的前饋全連接層都是一樣的，包含兩個(gè)線性轉(zhuǎn)換和一個(gè)ReLU激活函數(shù)。多頭注意力是把多個(gè)自注意力塊連接，計(jì)算后進(jìn)行拼接操作形成同緯度的輸出。每個(gè)自注意力塊包含查詢Q、鍵K和值V，其中Q∈Rdk、K∈Rdk、V∈Rdv。注意力Attention(Q，K，V)的計(jì)算如公式(1)所示：

(1)

給定所有查詢Q，鍵K和值V后，先通過(guò)公式(2)計(jì)算得到每個(gè)注意力頭的輸出值headi，即：

headi=Attention(Q，K，V)

(2)

然后將不同注意力頭的輸出進(jìn)行拼接，得到多頭注意力MultiHead(Q，K，V)，如公式(3)所示：

MultiHead(Q，K，V)=Contact(head1，head2，…h(huán)eadh)WO

(3)

公式(3)中，h為注意力頭的數(shù)量，WO∈Rhdv*dmodel，dmodel表示模型的緯度。

圖1中的解碼器同樣包含N個(gè)相同的解碼塊，解碼塊的結(jié)構(gòu)與編碼塊類似，區(qū)別在于其多頭注意力層的K和V輸入來(lái)自編碼器的輸出，而查詢Q來(lái)自解碼塊的輸出。

考慮到光交箱工藝識(shí)別的圖片具有類似的背景，具有判別性的信息大多在局部區(qū)域。可以采用弱監(jiān)督注意力數(shù)據(jù)增強(qiáng)網(wǎng)絡(luò)(Weakly Supervised Data Augmentation Network, WS-DAN)，通過(guò)弱監(jiān)督注意力機(jī)制的數(shù)據(jù)增強(qiáng)解決背景過(guò)擬合的同時(shí)[2]，增強(qiáng)網(wǎng)絡(luò)對(duì)圖片局部特征的學(xué)習(xí)，即使用WS-DAN算法進(jìn)行工藝識(shí)別的測(cè)試。該算法先使用卷積操作獲取注意力特征圖，然后將注意力特征圖和特征圖進(jìn)行雙線性池化得到特征矩陣[3]，算法流程如圖2所示。

圖2中，輸入圖片經(jīng)過(guò)預(yù)處理后，通過(guò)卷積神經(jīng)網(wǎng)絡(luò)對(duì)圖像進(jìn)行特征提取得到特征圖F∈RH×W×C，其中H、W、C分別表示特征圖的長(zhǎng)、寬和通道數(shù)，然后通過(guò)M個(gè)1×1的卷積核得到注意力圖A∈RH×W×M，計(jì)算使用的公式如下：

(4)

公式(4)中，f(·)表示卷積操作，M為超參數(shù)，代表特征圖的數(shù)量，Ak∈RH×W，表示目標(biāo)的部分特征。

圖2 WS-DAN算法流程圖

然后利用雙線性注意力池化操作將注意力圖和特征圖進(jìn)行融合，逐元素將特征圖F與每個(gè)注意力圖Ak相乘，生成M個(gè)部分特征圖Fk，接著使用全局平均池化或全局最大池化操作進(jìn)一步對(duì)Fk進(jìn)行特征提取，得到局部特征向量fk，通過(guò)將局部特征向量拼接得到特征矩陣，計(jì)算公式如下：

(5)

公式(5)中，P表示拼接得到的矩陣，Γ(A，F(xiàn))表示對(duì)注意力圖和特征圖的雙線性池化操作，g(·)表示全局池化操作，最后再通過(guò)全連接層計(jì)算損失函數(shù)。

為了比較EfficientNetv2改進(jìn)后的Transformer模型和WS-DAN模型兩個(gè)算法圖像檢測(cè)的性能，分別選擇WS-DAN細(xì)粒度分類算法和Efficientnetv2算法，搭建2個(gè)平臺(tái)進(jìn)行測(cè)試。從2022年4月1—30日，每天隨機(jī)抽樣選擇100 個(gè)光交進(jìn)行測(cè)試，50 個(gè)用WS-DAN細(xì)粒度分類算法平臺(tái)進(jìn)行識(shí)別，50 個(gè)用于Efficientnetv2平臺(tái)進(jìn)行識(shí)別，分析其總識(shí)別時(shí)長(zhǎng)和光交工藝識(shí)別率，結(jié)果如圖3所示。WS-DAN細(xì)粒度分類算法平臺(tái)平均每天識(shí)別時(shí)長(zhǎng)優(yōu)于Efficientnetv2算法平臺(tái)，且光交工藝識(shí)別率高于Efficientnetv2算法平臺(tái)，綜上所述，選擇WS-DAN細(xì)粒度分類算法。

圖3 WS-DAN細(xì)粒度分類算法和Efficientnetv2算法識(shí)別結(jié)果對(duì)比

1.2 光交箱工藝檢測(cè)算法優(yōu)化

利用WS-DAN深度神經(jīng)網(wǎng)絡(luò)構(gòu)建細(xì)粒度分類模型，通過(guò)采用類Center Loss的注意力監(jiān)督機(jī)制，在訓(xùn)練中快速實(shí)現(xiàn)模型“注意力”機(jī)制的構(gòu)建，提升訓(xùn)練效率。引入多種基于注意力的數(shù)據(jù)增強(qiáng)策略，提升模型的識(shí)別準(zhǔn)確率，彌補(bǔ)初始樣本不足的問(wèn)題。通過(guò)在模型中引入雙線性注意力池化機(jī)制，有效地消減了光交箱在拍攝過(guò)程中受背景因素影響的特點(diǎn)，將模型“注意力”聚焦在光交箱本身。光交箱工藝檢測(cè)算法優(yōu)化過(guò)程如圖4所示。

圖4 光交箱工藝檢測(cè)算法優(yōu)化過(guò)程

2 基于目標(biāo)檢測(cè)算法的光交箱端子識(shí)別

2.1 光交箱端子識(shí)別算法選擇

光交箱端子圖像分辨率高，包含的像素點(diǎn)較多，圖像信息量較大，而Transformer網(wǎng)絡(luò)處理信息量大的圖像容易產(chǎn)生計(jì)算量大的問(wèn)題。因此考慮采用包含滑窗操作和層級(jí)設(shè)計(jì)的Swin Transformer網(wǎng)絡(luò)模型，該網(wǎng)絡(luò)模型的主要結(jié)構(gòu)如圖5所示。

圖5 Swin Transformer主要結(jié)構(gòu)

由圖5可知，網(wǎng)絡(luò)中主要包括多層感知機(jī)(Multi layer Perceptron，MLP)、窗口多頭自注意力層(Window Multi-head Self Attention，W-MSA)、滑動(dòng)窗口多頭自注意力層(Shifted Window Based Multi-head Self attention，SW-MSA)和標(biāo)準(zhǔn)化層(Layer Normalization，LN)等。網(wǎng)絡(luò)的輸入首先通過(guò)LN層進(jìn)行歸一化，然后經(jīng)過(guò)W-SMA層進(jìn)行圖像特征的學(xué)習(xí)，計(jì)算殘差后再通過(guò)LN層和MLP層，再次計(jì)算殘差后得到這一層的輸出Xi。然后通過(guò)網(wǎng)絡(luò)的下一層，每部分的輸出計(jì)算公式如公式(6)～(9)所示：

(6)

(7)

(8)

(9)

通過(guò)這種層次結(jié)構(gòu)，Swin Transformer網(wǎng)絡(luò)在各類視覺(jué)任務(wù)中取得良好的效果。而YoloV5網(wǎng)絡(luò)作為一種目標(biāo)檢測(cè)算法，將目標(biāo)檢測(cè)問(wèn)題中的目標(biāo)分類和目標(biāo)位置回歸兩個(gè)問(wèn)題統(tǒng)一為回歸問(wèn)題，有效減少了圖像處理的計(jì)算量[4]。YoloV5網(wǎng)絡(luò)結(jié)構(gòu)包括輸入(Input)、骨干網(wǎng)絡(luò)(Backbone)、頸部(Neck)和預(yù)測(cè)層(Prediction)4個(gè)部分[5],如圖6所示。

圖6 YoloV5網(wǎng)絡(luò)結(jié)構(gòu)框圖

輸入端部分用于圖片的預(yù)處理，包括圖片的縮放、自適應(yīng)錨框的計(jì)算等，并使用Mosaic進(jìn)行數(shù)據(jù)集擴(kuò)充。Backbone部分包含F(xiàn)ocus結(jié)構(gòu)、跨階段局部網(wǎng)絡(luò) (Cross Stagepartial Connections，CSP)結(jié)構(gòu)和空間金字塔池化模塊 (Spatial Pyramid Pooling，SPP)結(jié)構(gòu)等，用于輸入圖形的特征提取，Neck的作用是融合從Backbone部分提取的特征信息，并發(fā)送到Prediction部分，Neck包含F(xiàn)PN和PAN結(jié)構(gòu)，特征金字塔網(wǎng)絡(luò) (Feature Pyramid Networks，F(xiàn)PN)通過(guò)將高層特征上采樣和底層特征融合得到新的特征圖來(lái)進(jìn)行預(yù)測(cè)[6]。最后是Prediction用于目標(biāo)的檢測(cè)，包含預(yù)測(cè)框、損失函數(shù)等部分。YoloV5中GIoU損失函數(shù)計(jì)算如：

(10)

式(10)中，Ac是預(yù)測(cè)框與真實(shí)框的最小外接矩形，U表示Ac中不屬于預(yù)測(cè)框與真實(shí)框的部分。真實(shí)框與預(yù)測(cè)框越接近，U越小，則損失函數(shù)GIoU越小。當(dāng)網(wǎng)絡(luò)處于預(yù)測(cè)階段時(shí)，對(duì)同一個(gè)目標(biāo)會(huì)產(chǎn)生多個(gè)預(yù)測(cè)框，使用非極大值抑制使預(yù)測(cè)框合并。

為比較兩種目標(biāo)檢測(cè)算法的性能，分別搭建基于YoloV5目標(biāo)檢測(cè)算法和Swin Transformer算法的軟件識(shí)別系統(tǒng)，分別對(duì)100個(gè)光交進(jìn)行端子識(shí)別，分別對(duì)每個(gè)光交的光交信息識(shí)別精度進(jìn)行統(tǒng)計(jì)，通過(guò)圖7可以看出兩種系統(tǒng)的光交信息識(shí)別精度集中于92%～100%，且均值都為96%，無(wú)法判斷優(yōu)劣。

圖7 YoloV5目標(biāo)檢測(cè)算法和Swin Transforme算法識(shí)別精度對(duì)比

進(jìn)一步對(duì)兩種系統(tǒng)對(duì)每個(gè)光交圖像每秒的讀寫(xiě)幀數(shù)進(jìn)行分析，如圖8所示，YoloV5目標(biāo)檢測(cè)算法的每秒讀寫(xiě)幀數(shù)優(yōu)于Swin Transforme算法，因此選擇YoloV5目標(biāo)檢測(cè)算法。

圖8 YoloV5目標(biāo)檢測(cè)算法和Swin Transforme算法每秒讀寫(xiě)幀數(shù)對(duì)比

2.2 光交箱端子識(shí)別算法優(yōu)化

YoloV5目標(biāo)檢測(cè)算法只支持水平矩形框的目標(biāo)檢測(cè)，對(duì)于傾斜的圖片檢測(cè)效果較差，但實(shí)際場(chǎng)景中由于設(shè)備安裝位置空間有限，拍攝圖片傾斜不可避免。本方案通過(guò)在神經(jīng)網(wǎng)絡(luò)訓(xùn)練過(guò)程中對(duì)每個(gè)標(biāo)注目標(biāo)計(jì)算角度信息，從而使得改進(jìn)模型支持帶有傾斜角度的矩形框檢測(cè)，無(wú)需更改原有標(biāo)注，即使在推理階段輸入傾斜圖片，仍然能夠計(jì)算出需檢測(cè)目標(biāo)的坐標(biāo)及角度。同時(shí)，采用自適應(yīng)錨框設(shè)計(jì)，針對(duì)性地解決了光交接箱中法蘭盤(pán)、行標(biāo)簽以及空閑端子大小尺寸不一致的問(wèn)題。

為了彌補(bǔ)初始樣本不足的問(wèn)題，同時(shí)為了提升實(shí)際應(yīng)用場(chǎng)景中多種混合目標(biāo)的識(shí)別準(zhǔn)確率，在數(shù)據(jù)增強(qiáng)方面使用了Mosaic、Mixup、Random_Perspective等多種數(shù)據(jù)增強(qiáng)的級(jí)聯(lián)策略；在后處理階段，本方案設(shè)計(jì)并應(yīng)用了支持旋轉(zhuǎn)框的非極大值抑制算法，從而極大地提升了空閑端子的檢測(cè)準(zhǔn)確性，同時(shí)通過(guò)端子和法蘭盤(pán)的位置關(guān)系準(zhǔn)確定位空閑端子所在的行和列。現(xiàn)場(chǎng)檢測(cè)場(chǎng)景要求實(shí)時(shí)返回結(jié)果，因此為了使得復(fù)雜模型能夠滿足實(shí)時(shí)推理，通過(guò)使用自適應(yīng)圖片縮放技術(shù)，在大幅提升模型推理速度的同時(shí)，也大大節(jié)省了計(jì)算資源。光交箱端子識(shí)別算法優(yōu)化過(guò)程如圖9所示。

圖9 光交箱端子識(shí)別算法優(yōu)化過(guò)程

3 系統(tǒng)流程設(shè)計(jì)

基于光交箱工藝檢測(cè)和端子識(shí)別的人工智能算法，在江蘇移動(dòng)管線系統(tǒng)APP端開(kāi)發(fā)現(xiàn)場(chǎng)核查功能，現(xiàn)場(chǎng)核查流程如圖10所示。

(1)面板拍照

支持全景拍照和普通拍照兩種模式。

普通拍照：在拍照界面中，能標(biāo)示區(qū)域邊框，以輔助用戶在拍照時(shí)將光交箱面板拍入照片中。

全景拍照：支持用戶在狹小空間中拍出完整的設(shè)備面板照片。

圖10 光交箱現(xiàn)場(chǎng)資源核查流程

(2)照片上傳與合格判別

傳入?yún)?shù)：省份、地市、資源id、圖片文件。

返回參數(shù)：{“id”:202001002,”validate”:0,”msg”：“合格”}，其中Id:上傳文件的id；Validate:判斷文件是否合格，1：合格 0：不合格 -1：不合規(guī)；Msg:返回圖紙檢查信息，合格或不合格原因。

(3)光交箱面板圖識(shí)別與提取

傳入?yún)?shù)：Id:上傳文件返回的id。

返回參數(shù)：{“id”:“202001001”,“count”:20, “free_ports”:[{1,2},{3,4}],“free_count”:10,“tags”:10, “rows”：20}，其中Id:上傳文件的id；Count：返回識(shí)別的面板端口容量數(shù)；free_ports：返回識(shí)別的空閑端口位置，通過(guò)行列號(hào)標(biāo)識(shí)來(lái)標(biāo)識(shí)位置，[{1,2},{3,4}]；free_count：空閑數(shù)；tags：標(biāo)識(shí)的標(biāo)簽數(shù)量(白色標(biāo)簽)；rows：盤(pán)數(shù)。

(4)數(shù)據(jù)對(duì)比

將提取的空閑端子信息與資源系統(tǒng)的數(shù)據(jù)進(jìn)行比對(duì)，對(duì)存在差異的數(shù)據(jù)進(jìn)行標(biāo)識(shí)，為一線人員快速發(fā)現(xiàn)錯(cuò)誤提供輔助，提升勘誤效率。

4 試驗(yàn)結(jié)果

將訓(xùn)練完成的光交箱工藝檢測(cè)和端子識(shí)別的算法模型部署到中國(guó)移動(dòng)九天人工智能平臺(tái)，通過(guò)江蘇移動(dòng)管線系統(tǒng)APP端的3000 個(gè)現(xiàn)場(chǎng)核查任務(wù)工單對(duì)算法效果進(jìn)行驗(yàn)證，工藝檢測(cè)算法模型的查準(zhǔn)率為96.45%，端子識(shí)別算法模型的查準(zhǔn)率為97.11%，光交箱工藝檢測(cè)和端子識(shí)別效果如圖11所示。

圖11 光交箱工藝檢測(cè)(a)和光交箱端子識(shí)別試驗(yàn)效果(b)

5 結(jié)束語(yǔ)

本文利用WS-DAN深度神經(jīng)網(wǎng)絡(luò)構(gòu)建細(xì)粒度分類模型，增加注意力機(jī)制，模擬人眼觀察圖片時(shí)關(guān)注重點(diǎn)區(qū)域忽略無(wú)關(guān)信息，側(cè)重提取光交箱施工違規(guī)特征，提升分類識(shí)別準(zhǔn)確率達(dá)97.75%?；谏窠?jīng)網(wǎng)絡(luò)原理構(gòu)建光交箱端子、標(biāo)簽、法蘭盤(pán)識(shí)別模型，創(chuàng)新性提出支持旋轉(zhuǎn)角度的目標(biāo)檢測(cè)算法，解決現(xiàn)有算法只能識(shí)別水平視角目標(biāo)的弊端，光交箱端子信息識(shí)別平均精度MAP提高到97%。

通過(guò)江蘇移動(dòng)管線系統(tǒng)APP端開(kāi)發(fā)現(xiàn)場(chǎng)核查功能完成全省現(xiàn)網(wǎng)22.8 萬(wàn)存量光交箱施工工藝、端子數(shù)量和占用情況的智能核查，并將識(shí)別提取的信息與系統(tǒng)中數(shù)據(jù)比對(duì)，觸發(fā)勘誤單5 萬(wàn)+條。單光交箱巡檢時(shí)長(zhǎng)由原來(lái)的0.5 天縮短到0.1 天，存量端子資源準(zhǔn)確性從70%提升到95%，全年節(jié)約一線人員現(xiàn)場(chǎng)維護(hù)工作量5.2 萬(wàn)人/天，累計(jì)盤(pán)活光纜19.8 萬(wàn)芯公里，可節(jié)省4 950萬(wàn)元新建光纜投資。