徐宏強(qiáng)，徐望明,3，王 望，伍世虔

(1.武漢科技大學(xué)信息科學(xué)與工程學(xué)院，湖北 武漢，430081；2.武漢科技大學(xué)機(jī)器人與智能系統(tǒng)研究院，湖北 武漢，430081；3.武漢科技大學(xué)冶金自動(dòng)化與檢測(cè)技術(shù)教育部工程研究中心，湖北 武漢，430081)

七段碼式液晶顯示(liquid crystal display,LCD)數(shù)字儀表被廣泛應(yīng)用于日常生活和工業(yè)生產(chǎn)中，如電表、水表、氣表、溫度表、壓力表等,為了能及時(shí)記錄能耗情況及其他監(jiān)測(cè)量，遠(yuǎn)程自動(dòng)抄表技術(shù)應(yīng)運(yùn)而生，其中常用的方式是采集儀表圖像并運(yùn)用圖像處理技術(shù)對(duì)表盤(pán)上顯示的讀數(shù)進(jìn)行識(shí)別[1]。然而，為節(jié)約運(yùn)營(yíng)成本，采集儀表圖像時(shí)一般通過(guò)廉價(jià)的普通攝像頭，其圖像分辨率不高，還容易受到拍攝視角、光照條件以及灰塵、油污和劃痕等多種因素的影響，出現(xiàn)讀數(shù)字符傾斜、模糊、部分缺失等現(xiàn)象，再加上不同類(lèi)型LCD儀表的表盤(pán)樣式、字體顯示風(fēng)格和背景復(fù)雜多樣，這些都對(duì)儀表讀數(shù)的準(zhǔn)確檢測(cè)和識(shí)別帶來(lái)了挑戰(zhàn)[2]。

對(duì)于段碼液晶數(shù)字儀表讀數(shù)識(shí)別問(wèn)題的研究成果有不少。陳剛等[3]將表盤(pán)圖像進(jìn)行預(yù)處理后，先定位數(shù)顯屏，再通過(guò)列切法分割出單個(gè)數(shù)碼字符，最后結(jié)合七段特征檢測(cè)法和五線相交檢測(cè)法實(shí)現(xiàn)對(duì)正體和斜體數(shù)碼的快速識(shí)別。鄧清男等[4]建立了七段碼數(shù)字0～9的標(biāo)準(zhǔn)模板庫(kù)，采用最大類(lèi)間方差法(OTSU)分割出目標(biāo)數(shù)字區(qū)域并使用模板匹配法完成數(shù)顯儀表讀數(shù)識(shí)別。Kanagarathinam等[5]使用MSER算法檢測(cè)出LCD儀表圖像的七段碼字符區(qū)域，通過(guò)圖像預(yù)處理、二值化等操作將字符進(jìn)行分割，最后使用訓(xùn)練好的OCR(optical character recognition)模型對(duì)單個(gè)七段碼字符進(jìn)行識(shí)別。上述傳統(tǒng)字符識(shí)別方法簡(jiǎn)單易實(shí)現(xiàn)，但通常依賴(lài)于前期圖像預(yù)處理效果，還依賴(lài)于模板文件或手工設(shè)計(jì)的圖像特征，且參數(shù)難以調(diào)整，因而算法的魯棒性較差。朱立倩[6]針對(duì)傳統(tǒng)方法適應(yīng)性差、準(zhǔn)確度低的不足，提出一種基于深度學(xué)習(xí)的數(shù)顯儀表字符自動(dòng)識(shí)別方法，其由基于改進(jìn)Faster R-CNN的字符區(qū)域定位網(wǎng)絡(luò)和嵌入了注意力機(jī)制的字符識(shí)別網(wǎng)絡(luò)構(gòu)成，在一定程度上提高了識(shí)別準(zhǔn)確率，但圖像模糊以及反光造成的字符漏檢和定位不準(zhǔn)現(xiàn)象仍然無(wú)法避免。

深度學(xué)習(xí)一般依賴(lài)于訓(xùn)練樣本的多樣性，實(shí)際應(yīng)用中往往存在樣本不足的情況，這時(shí)單一的深度學(xué)習(xí)方法就難以應(yīng)對(duì)多種環(huán)境因素對(duì)字符識(shí)別造成的干擾。為此，本文將深度學(xué)習(xí)和傳統(tǒng)方法相結(jié)合，提出一種針對(duì)多干擾環(huán)境下段碼LCD儀表讀數(shù)的自動(dòng)識(shí)別方法，并通過(guò)構(gòu)建包含視角傾斜、光照不均、碼字尺度變化、表盤(pán)外觀變化、讀數(shù)區(qū)數(shù)量變化等多種情況的儀表圖像數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)研究，以驗(yàn)證該方法的有效性。

1 儀表讀數(shù)識(shí)別流程

儀表讀數(shù)識(shí)別一般按照“先檢測(cè)、后識(shí)別”的兩步式流程進(jìn)行，考慮到多干擾環(huán)境下圖像質(zhì)量不佳，且實(shí)際應(yīng)用中多樣性的訓(xùn)練樣本通常難以獲得，即便采用深度學(xué)習(xí)方法，直接將讀數(shù)區(qū)域檢測(cè)結(jié)果輸入識(shí)別模型也并不總能得到理想的效果，因此根據(jù)段碼LCD儀表的特點(diǎn)，本文有針對(duì)性地增加了讀數(shù)區(qū)域的后處理環(huán)節(jié)，作為基于深度學(xué)習(xí)的讀數(shù)檢測(cè)模型和識(shí)別模型之間的橋梁，以改善識(shí)別效果。

如圖1所示，本文提出的段碼LCD儀表讀數(shù)識(shí)別方法的工作流程分為3個(gè)階段，即讀數(shù)檢測(cè)階段、讀數(shù)區(qū)域后處理階段和讀數(shù)識(shí)別階段。

圖1 本文提出的段碼LCD儀表讀數(shù)識(shí)別方法流程

(1)讀數(shù)檢測(cè)階段：自動(dòng)檢測(cè)所輸入儀表圖像上七段碼讀數(shù)字符的位置信息，包括單個(gè)數(shù)字的字符位置和整體讀數(shù)中相鄰字符的連接關(guān)系，這可用于確定數(shù)字字符和讀數(shù)區(qū)域邊界位置。本文借鑒經(jīng)典CRAFT模型[7]的設(shè)計(jì)思想，改進(jìn)了其主干網(wǎng)絡(luò)和字符連接關(guān)系，新模型用M-CRAFT(modified CRAFT)表示，其輸出是高斯熱力圖形式的可表征七段碼字符位置的數(shù)字中心概率圖以及連通域形式的可表征儀表讀數(shù)區(qū)域位置信息的字符連接關(guān)系圖。

(2)讀數(shù)區(qū)域后處理階段：考慮到前述各種成像條件和干擾因素可能造成讀數(shù)識(shí)別困難，為確保讀數(shù)識(shí)別效果，有針對(duì)性地對(duì)檢測(cè)到的儀表讀數(shù)區(qū)域進(jìn)行后處理操作，主要包括：將檢測(cè)階段與識(shí)別階段關(guān)聯(lián)，利用透視變換對(duì)檢測(cè)到的讀數(shù)區(qū)域子圖和相應(yīng)數(shù)字中心概率圖的方向和尺度進(jìn)行同時(shí)校正；通過(guò)分析光照影響進(jìn)行圖像對(duì)比度增強(qiáng)。

(3)讀數(shù)識(shí)別階段：無(wú)需字符分割，以序列識(shí)別方式直接整體識(shí)別儀表讀數(shù)[8]。但不同于直接將讀數(shù)區(qū)域子圖像送入CRNN模型[9]識(shí)別的方法，本文采用基于注意力機(jī)制引導(dǎo)的方式來(lái)改善CRNN識(shí)別效果，故稱(chēng)之為AG-CRNN(attention guided CRNN)模型。具體做法是：將后處理得到的儀表讀數(shù)區(qū)域子圖像和對(duì)應(yīng)數(shù)字中心概率圖進(jìn)行通道融合后輸入專(zhuān)門(mén)訓(xùn)練的AG-CRNN模型，得到讀數(shù)數(shù)字序列識(shí)別結(jié)果，同時(shí)針對(duì)不同儀表小數(shù)點(diǎn)顯示差異性較大的問(wèn)題，再次基于傳統(tǒng)圖像處理方法識(shí)別出小數(shù)點(diǎn)，從而得到最終識(shí)別結(jié)果。

2 儀表讀數(shù)識(shí)別方法

2.1 讀數(shù)字符檢測(cè)

根據(jù)段碼LCD儀表圖像的特點(diǎn)，本文基于CRAFT模型進(jìn)行改進(jìn)，提出了M-CRAFT模型，如圖2所示。M-CRAFT以Resnet34[10]替換原VGG-16作為骨干網(wǎng)絡(luò)，以輕量級(jí)FPN[11]作為不同尺度特征的融合網(wǎng)絡(luò)，最終輸出尺寸為原圖一半的2通道特征圖，即數(shù)字中心概率圖和字符連接關(guān)系圖。Resnet34主干網(wǎng)絡(luò)中1/n(n=2,4,8,16,32)表示該層特征圖與原圖相比的尺寸縮放比例，輕量級(jí)FPN網(wǎng)絡(luò)中Dwise表示深度可分離卷積，up×n(n=2,4,8)表示特征圖上采樣倍數(shù)。由于M-CRAFT模型專(zhuān)門(mén)針對(duì)七段碼數(shù)字字符進(jìn)行訓(xùn)練，數(shù)字中心概率圖表示儀表圖像中每個(gè)像素位置為七段碼字符中心的概率，用于確定儀表讀數(shù)中每個(gè)七段碼字符的位置，而字符連接關(guān)系圖則表示同一讀數(shù)區(qū)域中七段碼字符的連接關(guān)系，用于確定讀數(shù)區(qū)域的邊界位置。

圖2 M-CARFT模型的網(wǎng)絡(luò)結(jié)構(gòu)

在對(duì)儀表圖像進(jìn)行標(biāo)注時(shí)，M-CRAFT與CRAFT一樣使用高斯熱力圖的形式定義數(shù)字中心概率圖，不同之處在于前者改變了字符連接關(guān)系圖的定義方式。由于儀表同一讀數(shù)區(qū)域里的七段碼字符呈直線布局，M-CRAFT用同一讀數(shù)區(qū)域相鄰七段碼字符之間中心線附近的四邊形連接起來(lái)的二值圖作為字符連接關(guān)系圖。如圖3所示，包含兩個(gè)讀數(shù)區(qū)域的圖3(a)的數(shù)字中心概率標(biāo)簽圖為圖3(b)，字符連接關(guān)系標(biāo)簽圖為圖3(d)，它按圖3(c)所示的方法生成，先初始化一個(gè)和原圖同尺寸的全0值圖，然后對(duì)于任意兩個(gè)相鄰七段碼字符，在前一字符最小外接矩形框左側(cè)和后一字符最小外接矩形框右側(cè)的1/3和2/3高度處各取一個(gè)點(diǎn)連接成四邊形，并將四邊形以?xún)?nèi)像素值置1即可。

M-CRAFT模型訓(xùn)練采用的數(shù)字中心概率損失函數(shù)、字符連接關(guān)系損失函數(shù)及總損失函數(shù)分別為：

(1)

(2)

Ldet=Lcenter+Llink

(3)

(a)原圖 (b)數(shù)字中心概率標(biāo)簽圖

2.2 儀表讀數(shù)區(qū)域后處理

對(duì)讀數(shù)字符檢測(cè)模型的輸出進(jìn)行后處理，其目的是為了給儀表讀數(shù)識(shí)別模型提供更合適的輸入，提高數(shù)字識(shí)別準(zhǔn)確率。由于成像視角的原因，非正對(duì)拍攝情況下儀表圖像中讀數(shù)區(qū)域可能是傾斜的，同一讀數(shù)區(qū)域中七段碼字符尺度也可能不一致，一般表現(xiàn)為向一邊逐漸變大或逐漸變小的趨勢(shì)。實(shí)際應(yīng)用場(chǎng)景下這種干擾幾乎不可避免，如果直接裁剪這樣的讀數(shù)區(qū)域子圖進(jìn)行識(shí)別則效果較差，因此本文根據(jù)前述讀數(shù)字符檢測(cè)網(wǎng)絡(luò)得到的結(jié)果，采用傳統(tǒng)圖像處理方法，一方面進(jìn)行讀數(shù)區(qū)域的邊界擬合并求解透視變換矩陣，來(lái)實(shí)現(xiàn)讀數(shù)區(qū)域的方向和尺度校正，另一方面針對(duì)特殊情況下的小尺度數(shù)字字符進(jìn)行判定和拉伸，同時(shí)針對(duì)光照不均造成的圖像質(zhì)量問(wèn)題進(jìn)行對(duì)比度增強(qiáng)。

對(duì)二維平面圖像的透視變換一般可表示為：

(4)

令a33=1，可將式(4)展開(kāi)得：

(5)

由上式可見(jiàn)，根據(jù)8個(gè)方程便可求解透視變換矩陣中的8個(gè)未知數(shù)，因此在變換前、后的圖像中找出4組對(duì)應(yīng)像素點(diǎn)坐標(biāo)即可。在本文方法中，將包含讀數(shù)區(qū)域邊界的緊湊四邊形4個(gè)頂點(diǎn)與后續(xù)數(shù)字字符序列識(shí)別模型需要輸入的矩形子圖像的4個(gè)頂點(diǎn)建立對(duì)應(yīng)關(guān)系求解透視變換矩陣，可一步實(shí)現(xiàn)讀數(shù)區(qū)域子圖像及其對(duì)應(yīng)的數(shù)字中心概率圖的方向和尺度的校正。

因LCD儀表讀數(shù)區(qū)域不存在彎曲現(xiàn)象，可使用分水嶺算法對(duì)數(shù)字中心概率圖二值化，再使用最小二乘法分別對(duì)讀數(shù)區(qū)域數(shù)字字符的上、下邊界點(diǎn)進(jìn)行直線擬合，并結(jié)合字符連接關(guān)系圖確定的讀數(shù)區(qū)域起止位置信息，即可確定包含讀數(shù)數(shù)字字符的緊湊四邊形。

設(shè)識(shí)別模型輸入圖像尺寸為W×H，坐標(biāo)(0,0)、(W-1,0)、(0,H-1)和(W-1,H-1)分別與上述緊湊四邊形4個(gè)頂點(diǎn)坐標(biāo)(xi,yi) (i=1,2,3,4)對(duì)應(yīng)。代入式(5)，得：

(6)

解式(6)即得透視變換矩陣，將其應(yīng)用于緊湊四邊形包圍的讀數(shù)區(qū)域和對(duì)應(yīng)的數(shù)字中心概率圖即可實(shí)現(xiàn)方向和尺度的同時(shí)校正。

另外，借助傳統(tǒng)圖像處理方法的優(yōu)勢(shì)，針對(duì)某些LCD儀表讀數(shù)可能存在小數(shù)最后一位高度明顯偏小的情況進(jìn)行特殊處理，先通過(guò)連通域分析判斷最后一位是否為小尺度數(shù)字，若是則按歸一化高度與自身高度的比值進(jìn)行擴(kuò)展。

同時(shí)，為減少光照不均的影響，按下式進(jìn)一步計(jì)算校正后讀數(shù)區(qū)域灰度圖像的平均梯度：

(7)

式中：(i,j)為像素點(diǎn)坐標(biāo)；Gx為水平方向梯度；Gy為垂直方向梯度。對(duì)于G低于指定閾值的圖像，使用CLAHE算法[12]進(jìn)行對(duì)比度增強(qiáng)。

對(duì)圖1中輸入圖像進(jìn)行后處理的結(jié)果如圖4所示，后處理得到的灰度化讀數(shù)區(qū)域子圖(圖4(f))和相應(yīng)的數(shù)字中心概率子圖(圖4(e))將參與后續(xù)讀數(shù)識(shí)別過(guò)程。

圖4 輸入圖像的后處理結(jié)果

2.3 讀數(shù)識(shí)別

傳統(tǒng)讀數(shù)識(shí)別方法和一些基于CNN的讀數(shù)識(shí)別方法需要將讀數(shù)區(qū)域子圖分割成單個(gè)數(shù)字字符進(jìn)行識(shí)別[13]，其效果易受成像干擾因素和分割算法性能的影響。本文方法在讀數(shù)識(shí)別階段將讀數(shù)區(qū)域子圖作為整體進(jìn)行序列識(shí)別。一般來(lái)說(shuō)，直接輸入讀數(shù)區(qū)域子圖到CRNN模型即可，但為了有效利用數(shù)字中心概率圖，這里將其視為注意力引導(dǎo)圖用于輔助訓(xùn)練CRNN，即AG-CRNN模型。在數(shù)字中心概率圖中，數(shù)字字符中心處的數(shù)值最大，遠(yuǎn)離中心時(shí)數(shù)值逐漸減小。將數(shù)字中心概率圖與讀數(shù)區(qū)域子圖進(jìn)行信息融合，使得模型在提取特征時(shí)更關(guān)注數(shù)字區(qū)域。具體實(shí)現(xiàn)時(shí)，本文將后處理階段最終得到的讀數(shù)區(qū)域子圖和數(shù)字中心概率子圖進(jìn)行通道融合后輸入AG-CRNN模型。在結(jié)構(gòu)設(shè)計(jì)上，AG-CRNN只需改變?cè)瑿RNN的輸入通道數(shù)，之后同樣使用“CNN+RNN+CTC”的網(wǎng)絡(luò)結(jié)構(gòu)得到識(shí)別結(jié)果。

AG-CRNN模型訓(xùn)練采用CTC損失函數(shù)[14]。由于識(shí)別模型訓(xùn)練效果對(duì)檢測(cè)模型的最終結(jié)果影響較大，因此AG-CRNN模型采取先獨(dú)立訓(xùn)練再協(xié)同訓(xùn)練的方式進(jìn)行。在獨(dú)立訓(xùn)練階段，不依賴(lài)M-CRAFT模型的預(yù)測(cè)結(jié)果，直接根據(jù)訓(xùn)練樣本真實(shí)標(biāo)簽裁剪得到讀數(shù)區(qū)域子圖和對(duì)應(yīng)數(shù)字中心概率子圖進(jìn)行訓(xùn)練，直到模型收斂；在協(xié)同訓(xùn)練階段，采用已收斂的M-CRAFT模型預(yù)測(cè)的讀數(shù)區(qū)域來(lái)裁剪圖像，并過(guò)濾掉檢測(cè)誤差較大的樣本，繼續(xù)訓(xùn)練得到最終的AG-CRNN模型。

需要說(shuō)明的是，小數(shù)點(diǎn)是段碼液晶儀表讀數(shù)中的特殊字符，實(shí)際應(yīng)用中不同儀表顯示的小數(shù)點(diǎn)差異較大，本文通過(guò)實(shí)驗(yàn)發(fā)現(xiàn)使用CRNN模型識(shí)別小數(shù)點(diǎn)效果不佳，因此AG-CRNN模型只用于識(shí)別數(shù)字序列，小數(shù)點(diǎn)識(shí)別仍然采用傳統(tǒng)圖像處理方法。由數(shù)字中心概率圖可得單個(gè)字符的位置信息，若小數(shù)點(diǎn)存在，則其必定位于相鄰數(shù)字字符中左邊字符的右下方，且其灰度與字符筆劃灰度接近，因此通過(guò)對(duì)去噪并二值化后的讀數(shù)區(qū)域子圖進(jìn)行連通域分析即可準(zhǔn)確檢測(cè)小數(shù)點(diǎn)位置。將數(shù)字序列識(shí)別結(jié)果與小數(shù)點(diǎn)識(shí)別結(jié)果相結(jié)合就得到最終的儀表讀數(shù)結(jié)果。

3 實(shí)驗(yàn)與結(jié)果分析

3.1 參數(shù)設(shè)置

本文采用文獻(xiàn)[5]中以及自主采集的共913幅不同類(lèi)型段碼LCD儀表圖像組成數(shù)據(jù)集，包含了視角傾斜、光照不均、碼字尺度變化、表盤(pán)外觀變化、讀數(shù)區(qū)域數(shù)量變化等多種情況，其中730幅作為訓(xùn)練集，183幅作為測(cè)試集。訓(xùn)練M-CRAFT模型時(shí)，網(wǎng)絡(luò)輸入圖像像素縮放成320×320，訓(xùn)練AG-CRNN模型時(shí)，網(wǎng)絡(luò)輸入圖像像素縮放為128×32。為提升模型魯棒性，采用隨機(jī)裁剪、隨機(jī)旋轉(zhuǎn)、對(duì)比度增強(qiáng)等操作進(jìn)行數(shù)據(jù)增強(qiáng)。實(shí)驗(yàn)采用Pytorch框架，NVIDIA Quadro GP100 GPU，CUDA版本11.1，cuDNN版本7.5，檢測(cè)網(wǎng)絡(luò)使用Adam梯度下降法，識(shí)別網(wǎng)絡(luò)采用Adadelta梯度下降法，初始學(xué)習(xí)率為0.01，動(dòng)量為0.9，批大小為16，獨(dú)立訓(xùn)練階段迭代150次，協(xié)同訓(xùn)練階段迭代100次。

3.2 結(jié)果及分析

對(duì)于讀數(shù)檢測(cè)模型，使用精確率(Precision)、召回率(Recall)和F1值作為評(píng)價(jià)指標(biāo)：

(8)

(9)

(10)

式中：TP為七段碼數(shù)字被正確檢測(cè)的數(shù)量；FP為儀表背景被錯(cuò)誤預(yù)測(cè)為七段碼數(shù)字的數(shù)量；FN為七段碼數(shù)字被錯(cuò)誤預(yù)測(cè)為儀表背景的數(shù)量。本文采用交并比(intersection-over-union,IoU)判斷是否檢測(cè)到七段碼數(shù)字，根據(jù)設(shè)置的IoU閾值(本文取0.5)計(jì)算Precision和Recall值。

對(duì)于讀數(shù)識(shí)別模型，采用讀數(shù)識(shí)別準(zhǔn)確率作為評(píng)價(jià)指標(biāo)，即正確識(shí)別樣本數(shù)與總樣本數(shù)之比。

為了檢驗(yàn)本文的注意力引導(dǎo)策略和協(xié)同訓(xùn)練策略對(duì)識(shí)別效果的影響，首先進(jìn)行了消融實(shí)驗(yàn)研究，結(jié)果如表1所示，可以看到，兩種策略對(duì)提高識(shí)別準(zhǔn)確率均有明顯作用。

表1 識(shí)別模型的消融實(shí)驗(yàn)結(jié)果

為了進(jìn)一步驗(yàn)證本文方法的綜合性能，將其與幾種典型的深度學(xué)習(xí)方法進(jìn)行對(duì)比，實(shí)驗(yàn)結(jié)果如表2所示。表2中，F(xiàn)OTS[15]是一種端到端的區(qū)域級(jí)文本檢測(cè)與識(shí)別方法，“DB+CRNN”是區(qū)域級(jí)字符檢測(cè)網(wǎng)絡(luò)DBNet[16]與CRNN相結(jié)合的識(shí)別方法，這兩種方法不能進(jìn)行單字符定位，故其單數(shù)字字符檢測(cè)指標(biāo)為空；“CRAFT+CRNN”是字符級(jí)檢測(cè)網(wǎng)絡(luò)CRAFT與CRNN相結(jié)合的識(shí)別方法，可進(jìn)行單字符定位及讀數(shù)區(qū)域定位。

由表2可見(jiàn)：在單數(shù)字字符檢測(cè)方面，本文方法的Recall指標(biāo)與CRAFT+CRNN方法接近，且Precision和F1指標(biāo)較后者對(duì)應(yīng)指標(biāo)有所提升；在讀數(shù)區(qū)域檢測(cè)方面，本文方法除了Precision指標(biāo)稍低于CRAFT+CRNN方法之外，Recall和F1指標(biāo)在4個(gè)方法中都是最高的，表明本文方法截取的讀數(shù)區(qū)域子圖更有利于識(shí)別；本文方法對(duì)于CRAFT+CRNN方法的改進(jìn)策略取得了較好的效果，顯著提升了最終的讀數(shù)識(shí)別準(zhǔn)確率，達(dá)到98.9%，是對(duì)比方法中最高的。

表2 采用不同深度學(xué)習(xí)方法的實(shí)驗(yàn)結(jié)果對(duì)比

圖5展示了部分典型測(cè)試圖像的讀數(shù)識(shí)別結(jié)果，由圖可見(jiàn)，本文方法能較好地處理成像時(shí)視角傾斜、光照不均、七段碼字符尺度變化、儀表表盤(pán)外觀變化以及存在多個(gè)讀數(shù)區(qū)域的情況。

圖5 典型測(cè)試圖像讀數(shù)識(shí)別結(jié)果展示

4 結(jié)語(yǔ)

本文提出了一種針對(duì)多干擾環(huán)境下的七段碼式液晶顯示儀表讀數(shù)識(shí)別方法，其主要特點(diǎn)在于：①針對(duì)實(shí)際應(yīng)用中段碼液晶儀表圖像的特點(diǎn)，將深度學(xué)習(xí)和傳統(tǒng)圖像處理方法相結(jié)合，設(shè)計(jì)了改進(jìn)的儀表讀數(shù)檢測(cè)模型和讀數(shù)序列識(shí)別模型，并采用一系列儀表讀數(shù)區(qū)域后處理方法來(lái)克服多重干擾的影響，搭建了檢測(cè)模型和識(shí)別模型之間的橋梁，三階段無(wú)縫連接可極大提高儀表讀數(shù)的識(shí)別準(zhǔn)確率；②針對(duì)段碼讀數(shù)字符檢測(cè)任務(wù)，采用Resnet34主干網(wǎng)絡(luò)和輕量級(jí)FPN模塊改進(jìn)了CRAFT模型，從字符級(jí)和區(qū)域級(jí)兩個(gè)層面定位儀表讀數(shù)區(qū)域，定位精度更高，有利于后續(xù)讀數(shù)識(shí)別；③針對(duì)讀數(shù)識(shí)別任務(wù)，采用注意力引導(dǎo)策略改進(jìn)CRNN序列識(shí)別模型，并采用先獨(dú)立訓(xùn)練再協(xié)同訓(xùn)練的方式有效提升識(shí)別模型的準(zhǔn)確率。

在測(cè)試數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果顯示本文方法的 魯棒性?xún)?yōu)于對(duì)比方法，取得了高達(dá)98.9%的儀表讀數(shù)識(shí)別準(zhǔn)確率。本文方法亦可推廣用于解決其他數(shù)顯儀表(如字輪式儀表)的讀數(shù)識(shí)別問(wèn)題。后續(xù)研究可進(jìn)一步優(yōu)化模型結(jié)構(gòu)和性能，進(jìn)行輕量化改造，以期將該方法部署到算能有限的移動(dòng)式或嵌入式終端設(shè)備上運(yùn)行。