李飛 盛剛 畢佳佳

摘要：為了有效識(shí)別裝維人員在分纖箱上標(biāo)記的唯一標(biāo)識(shí)碼，將識(shí)別出來(lái)的標(biāo)識(shí)信息與資源系統(tǒng)工單中的信息進(jìn)行比對(duì)，實(shí)現(xiàn)家庭寬帶裝維工單的一致性檢驗(yàn)，本文提出了一種分纖箱噴碼識(shí)別技術(shù)。該方法將文本檢測(cè)技術(shù)Ctpn及tesseract文字識(shí)別技術(shù)進(jìn)行結(jié)合，實(shí)現(xiàn)對(duì)分纖箱噴碼的有效智能識(shí)別，替代了人工抽查的方式，提升了質(zhì)檢效率。

關(guān)鍵詞：文本檢測(cè);分纖箱;噴碼識(shí)別;工單質(zhì)檢;質(zhì)檢效率

中圖分類(lèi)號(hào)：TP391 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2020）13-0018-02

當(dāng)前家庭寬帶裝維工單的質(zhì)檢工作普遍采用人工抽查的方式進(jìn)行，需要大量人力進(jìn)行重復(fù)性勞作，存在覆蓋率低、時(shí)延長(zhǎng)、效率低、成本高等問(wèn)題。因此，裝維質(zhì)量監(jiān)管力量有限，成為影響裝維工作質(zhì)量的重要因素之一。在裝維工作中，裝維人員需要根據(jù)工單分配的信息對(duì)裝機(jī)的分纖箱進(jìn)行唯一標(biāo)識(shí)噴碼標(biāo)記，為了檢驗(yàn)施工人員的施工一致性，需要將分纖箱上的唯一標(biāo)識(shí)噴碼識(shí)別出來(lái)，與工單中的標(biāo)識(shí)信息進(jìn)行比對(duì)，校驗(yàn)施工是否一致。傳統(tǒng)的檢驗(yàn)方式是需要人工進(jìn)行核對(duì)，對(duì)于這種重復(fù)性的工作是非常耗費(fèi)人力的。因此，隨著人工智能技術(shù)的飛速發(fā)展，OCR文字識(shí)別技術(shù)也得到了進(jìn)一步的發(fā)展，應(yīng)用到不同的場(chǎng)景中，如證件識(shí)別、車(chē)牌識(shí)別、拍照識(shí)別等不同場(chǎng)景，并取得了很好的效果。本文中的分纖箱噴碼識(shí)別場(chǎng)景屬于一種比較復(fù)雜的場(chǎng)景，存在著拍攝角度問(wèn)題、噴碼清晰度問(wèn)題以及字體多樣化等問(wèn)題，因此本文采用CTPNm網(wǎng)絡(luò)及tesser-act文字識(shí)別結(jié)合的方式，對(duì)分纖箱上的噴碼進(jìn)行識(shí)別，有效提高了識(shí)別的準(zhǔn)確率，提高工單智能質(zhì)檢的效率和準(zhǔn)確性。

1基于Ctpn和tesseract結(jié)合的分纖箱噴碼識(shí)別方法

采用基于CTPN文本檢測(cè)及tessemct文字識(shí)別技術(shù)相結(jié)合的方式，對(duì)分纖箱噴碼進(jìn)行識(shí)別。首先，先對(duì)采集的圖片進(jìn)行圖像預(yù)處理，提高輸入圖像的質(zhì)量;然后將處理后的圖片輸入到Ctpn網(wǎng)絡(luò)中，實(shí)現(xiàn)文字區(qū)域的檢測(cè)與分割;最后調(diào)用tesseract文字識(shí)別技術(shù)，實(shí)現(xiàn)對(duì)噴碼的識(shí)別，并輸出識(shí)別的噴碼字符。

1.1文字圖像預(yù)處理

實(shí)驗(yàn)所用圖片由運(yùn)營(yíng)商的服務(wù)保障系統(tǒng)采集而來(lái)。采集后的分纖箱圖片先經(jīng)過(guò)噴碼預(yù)檢測(cè)模型，過(guò)濾掉一些噴碼拍攝不完整、無(wú)噴碼以及噴碼非常模糊的圖片，如圖2所示。圖中的boxl.ipg、box2.ipg、box4.i，pg屬于不合規(guī)圖片，需要過(guò)濾掉。box3.jpg屬于合規(guī)圖片，將相對(duì)合格的分纖箱噴碼圖片進(jìn)行后面的文字識(shí)別。將保留合規(guī)噴碼的圖片進(jìn)行圖像預(yù)處理，主要包括圖像灰度化、圖像去噪、圖像增強(qiáng)以及圖像二值化處理方法。圖像預(yù)處理過(guò)程如圖3所示。

1.2基于Ctpn的文字檢測(cè)與分割方法

對(duì)于復(fù)雜場(chǎng)景的文字識(shí)別，首先要定位文字的位置，即文字檢測(cè)，然后再對(duì)檢測(cè)的文字區(qū)域進(jìn)行文字識(shí)別。文本檢測(cè)可以看成特殊的目標(biāo)檢測(cè)，但又不同于通用的目標(biāo)檢測(cè)。文本檢測(cè)不僅要正確檢測(cè)到文字，還需要覆蓋整個(gè)文本長(zhǎng)度。本文采取的CTPN算法是在ECCV 2016提出的一種文字檢測(cè)算法。

傳統(tǒng)的文字檢測(cè)方法沒(méi)有考慮到上下文，是先將單個(gè)字符檢測(cè)出來(lái)后再連接起來(lái)。CTPN結(jié)合CNN與LSTM深度網(wǎng)絡(luò)，進(jìn)行序列特征識(shí)別和深度特征提取，能有效地檢測(cè)出復(fù)雜場(chǎng)景的橫向分布的文字。CTPN的關(guān)鍵思想是：1）采用垂直anchor回歸機(jī)制，檢測(cè)小尺度的文本候選框;2）只預(yù)測(cè)文本的豎直方向的位置，水平方向的位置不預(yù)測(cè)，并將候選區(qū)域產(chǎn)生的滑窗寬度設(shè)為固定值;3）采用RNN循環(huán)網(wǎng)絡(luò)將檢測(cè)的小尺度文本進(jìn)行連接，得到文本行。

CTPN的具體實(shí)現(xiàn)流程包含三個(gè)部分：檢測(cè)小尺度文本框、循環(huán)連接文本框、文本行邊緣細(xì)化。具體的實(shí)現(xiàn)步驟如下：

1）使用VGGl6作為基網(wǎng)絡(luò)提取特征，得到W*H*C大小的特征圖;

2）在上述得到的特征圖上使用大小3*3的滑動(dòng)窗口進(jìn)行滑動(dòng)，每個(gè)窗口都得到一個(gè)長(zhǎng)度為3*3*C的特征向量;

3）將特征向量輸入到一個(gè)雙向的LSTM中，得到長(zhǎng)度為W*256的輸出;

4）然后接一個(gè)512的全連接層，輸出2k個(gè)垂直坐標(biāo)，2k個(gè)評(píng)分，k個(gè)邊緣細(xì)化;

5）使用一個(gè)標(biāo)準(zhǔn)的非極大值抑制算法來(lái)過(guò)濾多余的文本框;

6）使用基于圖的文本行構(gòu)造算法，得到由一個(gè)個(gè)文本段合并的文本行。

本文采用YCG09在github上開(kāi)源的chinese_ocr項(xiàng)目中基于CTPN訓(xùn)練的模型，該模型使用3420張左右自然場(chǎng)景的文字圖片進(jìn)行訓(xùn)練，并采用定向文本連接器對(duì)文字進(jìn)行連接，最終得到模型參數(shù)。由于拍攝角度原因，分纖箱圖片上噴碼字體存在傾斜的情況，因此在使用CTPN模型檢測(cè)出文字區(qū)域后，根據(jù)每個(gè)文字區(qū)域的坐標(biāo)計(jì)算其傾斜角度degree，degree的計(jì)算方法通過(guò)調(diào)用python中math庫(kù)下的degrees0函數(shù)獲取，核心代碼計(jì)算如下圖4所示。其中pt2[o]、pt2[l]是檢測(cè)的文本矩形框的右下角坐標(biāo)中的x軸坐標(biāo)值及y軸坐標(biāo)值，ptl[o]、ptl[l]是檢測(cè)的文本矩形框左下角坐標(biāo)中的x軸坐標(biāo)值及v軸坐標(biāo)值。

之后以圖像為中心，角度為degree對(duì)圖像進(jìn)行旋轉(zhuǎn)，并且在旋轉(zhuǎn)矩陣中加入平移操作，使得原圖旋轉(zhuǎn)后完全落在圖像中。這樣就會(huì)輸出每個(gè)相對(duì)水平的文字區(qū)域圖像，能夠有效提高識(shí)別準(zhǔn)確率。將檢測(cè)出的文字區(qū)域進(jìn)行分割，如圖2中的box3jpg圖片經(jīng)過(guò)Ctpn后分割后的字符圖片如圖5所示。

1.3基于Tesseract的文字識(shí)別方法

Tesseract是一款開(kāi)源的文字識(shí)別引擎，最先由HP實(shí)驗(yàn)室于1985年研發(fā)，后來(lái)由Google接收進(jìn)行改進(jìn)和優(yōu)化嘲。Tesser-act能夠兼容多種語(yǔ)言的字符識(shí)別，在識(shí)別英文字符和數(shù)字上有著比較精準(zhǔn)的效果。

Tesseract的核心步驟包括字符定位與分割、字符識(shí)別。Tesseract的字符定位與分割是先將一段文本分割成單個(gè)字符，然后逐個(gè)識(shí)別每個(gè)字符。字符識(shí)別則采用基于LSTM的深度學(xué)習(xí)框架。

本文初始嘗試了直接調(diào)用開(kāi)源的tesseraet引擎對(duì)噴碼圖片進(jìn)行識(shí)別，先進(jìn)行圖片字符的定位與分割，然后再進(jìn)行字符識(shí)別，但識(shí)別的效果非常差，原因是許多分纖箱圖片中噴碼拍攝不是水平的，tesseraet中對(duì)噴碼字符的定位與分割效果比較差。因此，本文嘗試將Ctpn的文字檢測(cè)與tesseract文字識(shí)別技術(shù)相結(jié)合，利用Ctpn將圖片的文字區(qū)域檢測(cè)并分割出子圖，每個(gè)子圖是一個(gè)文本行圖片。然后將子圖輸入到tesseraet中，并設(shè)置tesseract中參數(shù)PSM為7，7代表將整個(gè)圖像作為一個(gè)單個(gè)的文本行。經(jīng)實(shí)驗(yàn)驗(yàn)證，該方法大大提高了識(shí)別準(zhǔn)確率。

由于分纖箱圖片中不僅僅包含噴碼字符，還包括其他無(wú)關(guān)字符，如圖5所示，為了精準(zhǔn)定位到噴碼字符圖片，精確輸出噴碼字符文字，本文做了如下工作：

1）首先對(duì)圖5中的每一張圖片進(jìn)行文字識(shí)別，輸出每張圖片的識(shí)別結(jié)果;

2）將每張圖片識(shí)別的文字結(jié)果依次與原圖對(duì)應(yīng)的工單中的噴碼字符進(jìn)行文本相似度計(jì)算，輸出每個(gè)相似度值;

3）取相似度值最大的文本字符，即是原圖中對(duì)應(yīng)的噴碼字符。

2識(shí)別準(zhǔn)確率的驗(yàn)證結(jié)果及分析

為了驗(yàn)證文中的噴碼識(shí)別方法，從運(yùn)營(yíng)商的服務(wù)保障系統(tǒng)采集了8000張分纖箱圖片進(jìn)行實(shí)驗(yàn)。經(jīng)過(guò)噴碼預(yù)檢測(cè)模型，過(guò)濾掉4957張不合規(guī)圖片，對(duì)3043張拍攝合規(guī)的分纖箱噴碼圖片進(jìn)行文字檢測(cè)與識(shí)別。為了對(duì)比本文中識(shí)別方法的有效性，本文將該方法與直接調(diào)用tesseract方法和由CTPN檢測(cè)、由DenseNet及CTC訓(xùn)練識(shí)別文字的方法進(jìn)行對(duì)比，實(shí)驗(yàn)對(duì)比結(jié)果如表1所示。

由表1可知，本文提出的基于CTPN和Tesseract的噴碼識(shí)別方法在準(zhǔn)確率上有了較大的提高，驗(yàn)證了本方法的有效性。

3結(jié)束語(yǔ)

本文針對(duì)裝維質(zhì)檢場(chǎng)景中的分纖箱噴碼識(shí)別，提出了將Ctpn與tesseract技術(shù)相結(jié)合的方法對(duì)噴碼進(jìn)行識(shí)別。本文通過(guò)讀取分纖箱噴碼圖片，經(jīng)過(guò)一系列的預(yù)檢測(cè)、灰度化、圖像去噪、圖像增強(qiáng)以及圖像二值化處理預(yù)處理，然后Ctpn對(duì)圖片進(jìn)行文字檢測(cè)與分割，分割成多個(gè)文字子圖，并將子圖輸入到tes-seract中識(shí)別結(jié)果，并對(duì)識(shí)別結(jié)果通過(guò)相似度匹配進(jìn)行篩選，輸出噴碼字符。通過(guò)實(shí)驗(yàn)對(duì)比，驗(yàn)證了本方法的有效性。但本方法仍有一定的缺陷，由于在分割文字子圖后直接調(diào)用tesseract，沒(méi)有考慮到編碼的規(guī)則性及上下字符的關(guān)聯(lián)，后期再繼續(xù)研究過(guò)程中，將根據(jù)實(shí)際噴碼文字制作噴碼字符的圖片，利用tes-seract進(jìn)行自訓(xùn)練，提高識(shí)別的準(zhǔn)確率。