余先濤，秦 巖

(武漢理工大學(xué) 機(jī)電工程學(xué)院，湖北 武漢 430070)

QR碼(quick response code)是一種二維條碼，目前廣泛應(yīng)用于身份驗證、安全防偽、電子商務(wù)等領(lǐng)域。如圖1所示，QR碼圖案由深、淺兩色的單位模塊排列組成，分為編碼區(qū)域和功能區(qū)域。編碼區(qū)域用于存儲數(shù)據(jù)信息，包括數(shù)據(jù)碼字與糾錯碼字。功能區(qū)域用于輔助識別，主要包括位置探測圖形與校正圖形等。QR碼識別過程包括圖像預(yù)處理、定位、校正、解碼等流程，其中定位算法的性能對QR碼識別率的影響最為顯著，是識別過程中至關(guān)重要的一步。

圖1 QR碼結(jié)構(gòu)

廣義的QR碼定位包括QR碼區(qū)域分割與QR碼坐標(biāo)計算兩個過程。區(qū)域分割將QR碼圖案從背景圖案中分離出來，從而縮小后續(xù)識別流程的作業(yè)區(qū)域。坐標(biāo)計算確定QR碼關(guān)鍵點在圖像中的坐標(biāo)，后續(xù)識別流程據(jù)此坐標(biāo)對QR碼圖案進(jìn)行校正后，確定QR碼編碼區(qū)域內(nèi)數(shù)據(jù)的排列，進(jìn)而按解碼規(guī)則完成解碼。為方便表述，將QR碼區(qū)域分割記為粗定位，將QR碼坐標(biāo)計算記為精定位。

在粗定位算法中，根據(jù)神經(jīng)網(wǎng)絡(luò)自動提取特征檢測QR碼。這種基于深度學(xué)習(xí)的算法[1-2]，較基于LBP(local binary pattern)、SIFT(scale invariant feature transform)、HOG(histogram of oriented gradient)等人工紋理特征的算法[3-5]在復(fù)雜條件下的定位效果更穩(wěn)定。但現(xiàn)有算法所使用的網(wǎng)絡(luò)結(jié)構(gòu)一般較為龐大，參數(shù)量大，不適用于運算能力有限的計算機(jī)系統(tǒng)。對此，筆者基于YOLOv3[6](you only lock once vesion 3)深度學(xué)習(xí)模型，設(shè)計了一種輕巧的QR碼檢測模型，使算法在復(fù)雜條件下取得較好定位效果,同時保持在運算能力有限的計算機(jī)上運行的實時性。

常用精定位算法有基于角點檢測的算法[7-8]、基于包圍關(guān)系的算法[9]與基于比例關(guān)系的算法[10-11]，其中基于比例關(guān)系的算法以其計算簡單、實時性好、魯棒性好的特點應(yīng)用最為廣泛。但算法的定位比例關(guān)系(1∶1∶3∶1∶1)較為嚴(yán)格，要求位置探測圖形結(jié)構(gòu)保持較好的完整性，在污損情況下應(yīng)用能力較差。對此，筆者對算法作出改進(jìn)，放寬定位比例關(guān)系(1∶1∶3或3∶1∶1)，并通過評分系統(tǒng)抑制誤檢，在保證定位精度的情況下提高了算法定位污損位置探測圖形的能力。

1 基于YOLOv3的QR碼粗定位算法

YOLOv3是一個端到端的目標(biāo)檢測模型，是當(dāng)前目標(biāo)檢測領(lǐng)域最優(yōu)秀的算法之一。YOLOv3通過全卷積網(wǎng)絡(luò)Darknet-53在輸入圖像中提取特征，依據(jù)輸出特征映射的尺寸將輸入圖像劃分為多個單元格，在每個單元格上預(yù)測目標(biāo)種類、邊框與置信度。通過在不同大小的單元格上進(jìn)行預(yù)測，YOLOv3實現(xiàn)了對目標(biāo)的多尺度檢測。YOLOv3面向多目標(biāo)種類的復(fù)雜應(yīng)用場景，網(wǎng)絡(luò)層數(shù)深，檢測能力強(qiáng)，對計算機(jī)的運算能力要求高。而在QR碼的部分應(yīng)用場景中，粗定位算法運行于運算能力有限的計算機(jī)系統(tǒng)中，YOLOv3無法滿足其實時性要求。另一方面，在QR碼粗定位中，檢測目標(biāo)單一，QR圖案特征明顯，且僅需確定QR碼的大致位置區(qū)域，因此對算法的特征提取能力與定位精度要求較低。因此，筆者在YOLOv3的基礎(chǔ)上，精簡卷積網(wǎng)絡(luò)層數(shù)與通道數(shù)，建立了既能滿足粗定位精度需求又能在運算能力有限的計算機(jī)上保證定位速度的卷積神經(jīng)網(wǎng)絡(luò)模型-YOLO-QR。

1.1 YOLO-QR網(wǎng)絡(luò)結(jié)構(gòu)

(1)網(wǎng)絡(luò)層數(shù)大量減少。YOLO-QR僅使用9層卷積層提取特征，并且卷積層的通道數(shù)量較YOLOv3大量縮減，減少了網(wǎng)絡(luò)參數(shù)量，降低了計算量。

(2)單尺度預(yù)測。由于模型的檢測對象僅為QR碼一個種類，即使考慮到圖案采集距離的變化，QR碼在輸入圖像中的面積占比變化仍然有限。因此，在網(wǎng)絡(luò)設(shè)計時舍棄了YOLOv3的多尺度預(yù)測，僅使用一個尺度。

(3)使用最大池化層實現(xiàn)張量尺寸變化。不同于YOLOv3中通過增大卷積步長實現(xiàn)張量尺寸變化，YOLO-QR由最大池化操作實現(xiàn)張量尺寸變化。池化層卷積核大小均為2×2，步長為1。經(jīng)5次最大池化操作后，張量尺寸縮小為初始輸入的1/32。

圖2 YOLO-QR網(wǎng)絡(luò)結(jié)構(gòu)

1.2 YOLO-QR模型訓(xùn)練

(1)數(shù)據(jù)集制作。采集7 000張QR碼圖像制作出QR碼數(shù)據(jù)集，用于模型訓(xùn)練與測試。數(shù)據(jù)集中共包含7 000個背景雜亂、角度不一、光照不同、完整或污損的QR碼。將其中6 000張圖像以90:1:9的比例，劃分為訓(xùn)練集、驗證集與測試集Ⅰ。將另外1 000張與前6 000張背景不同的圖像作為測試集Ⅱ，用于測試模型在陌生背景中的定位性能。

(2)模型訓(xùn)練的軟硬件環(huán)境如表1所示。

表1 模型訓(xùn)練的軟硬件環(huán)境

(3) 訓(xùn)練結(jié)果。經(jīng)10 000次迭代后，模型的損失值loss值穩(wěn)定在0.2左右，平均交并比IOU穩(wěn)定在0.85左右。以20次迭代為步長，取平均值，得到訓(xùn)練過程中平均loss值及平均IOU值變化曲線，如圖3所示。

圖3 訓(xùn)練過程的loss曲線與IOU曲線

1.3 YOLO-QR性能測試

在表1所示的軟硬件環(huán)境上對模型進(jìn)行測試，結(jié)果如表2所示。由表2可知，在兩個測試集上，模型召回率均大于等于99%，平均IOU均大于0.8，說明算法取得了較好的QR碼圖案識別率與分割準(zhǔn)確度。測試集Ⅱ的兩項評價指標(biāo)都低于測試集Ⅰ，說明相較于已知背景，模型在陌生背景中的粗定位能力有所下降。但即使如此，99.00%的召回率與80.74%的平均交并比仍足以滿足粗定位分割QR碼大致位置區(qū)域的精度需求。

表2 YOLO-QR模型測試結(jié)果

部分測試樣本的定位效果如圖4所示，圖4中顯示了模型所分割出的QR碼位置區(qū)域及置信度?？梢钥吹?，模型對多種背景、多種角度、多種尺寸、遮擋與污損破壞的QR碼都有較好的定位能力。

其中，1-（i/2K）為線性衰減系數(shù)，列表中位置越靠后的點對距離的貢獻(xiàn)越小，Ia（i）返回列表Oa中位于第i位的數(shù)據(jù)點P，例如圖1中Ia（0）返回點a。Rb（P）返回點P位于列表Ob中的位置，由于列表里只包含前K個最近鄰居，點P有可能不存在于Ob中，故Rb（P）為：

圖4 模型定位效果

在運算量上，YOLO-QR與YOLOv3的數(shù)據(jù)對比如表3所示。由表3可知，YOLO-QR的單幀定位時間約為YOLOv3的1.82%，YOLO-QR的權(quán)重文件大小約為YOLOv3的1.17%，反映了該模型結(jié)構(gòu)的輕巧性。此外，由于測試平臺為普通PC，且無GPU加速，在測試中仍取得0.12 s的檢測時間，說明算法在計算能力有限的計算機(jī)上能夠滿足實時性要求。

表3 YOLO-QR與YOLOv3運算量對比

2 基于比例關(guān)系的改進(jìn)精定位算法

如圖5所示，QR碼位置探測圖形由3層同心的連通域組成，邊長大小分別為7、5、3個單位模塊。對于這樣的結(jié)構(gòu)組成，任何穿過內(nèi)層連通域邊緣對邊的直線，覆蓋在位置探測圖形各段的比例均為1:1:3:1:1，如圖6所示。基于比例關(guān)系的傳統(tǒng)精定位算法即根據(jù)這一具有旋轉(zhuǎn)不變性的比例特征，在圖像中統(tǒng)計像素排列，將滿足比例關(guān)系的位置探測圖形從圖像中定位出來。

在惡劣的應(yīng)用場景中，存在QR碼圖案被污漬、磨損等情況。此時，若污損位置處于QR碼編碼區(qū)域中，由于存在糾錯碼字，污損程度在糾錯范圍內(nèi)的QR碼仍可由普通算法進(jìn)行識別。而如圖7所示，若污損位于QR碼位置探測圖形上，并使其符號特征受到破壞不能滿足前述比例關(guān)系時，傳統(tǒng)算法則無法定位出位置探測圖形，進(jìn)而造成QR碼識別失敗，限制了QR碼抵抗污損的能力。因此對傳統(tǒng)算法在特征檢測上作出了改進(jìn)，降低定位條件，提高算法定位污損位置探測圖形的能力。

圖5 QR碼位置探測圖形結(jié)構(gòu)

圖6 直線的覆蓋比例

圖7 位置探測圖形污損的QR碼

2.1 算法思路

圖8為兩個污損位置探測圖形，比例特征受到不同的破壞，在水平與垂直兩個方向上的黑白像素連續(xù)段的比例關(guān)系分別為：1∶1∶3與1∶1∶3∶1∶1、3∶1∶1與1∶1∶3∶1∶1，均未達(dá)到傳統(tǒng)算法的比例條件。但其仍保留著寬松的比例關(guān)系：1∶1∶3或3∶1∶1，因此若將定位比例條件放寬，仍然能夠?qū)⑦@些位置探測圖形從QR碼圖案中提取出來。

圖8 污損位置探測圖形的比例關(guān)系

在降低比例條件的同時，增加了將QR碼編碼區(qū)域的局部圖案誤檢為位置探測圖形的概率。如圖9所示，編碼區(qū)域的局域圖案與位置探測圖形的一部分組成的一個局部區(qū)域，在水平與垂直方向上同樣滿足寬松比例關(guān)系(3∶1∶1與1∶1∶3)，若直接使用降低后的比例關(guān)系，會產(chǎn)生對編碼區(qū)域圖案的誤檢。在進(jìn)一步對比分析后，發(fā)現(xiàn)污損位置探測圖形較滿足寬松比例關(guān)系的局部編碼區(qū)域具有更顯著的比例特征表達(dá)。

圖9 滿足低比例關(guān)系的QR碼編碼區(qū)域

(1)部分污損位置探測圖形仍保持嚴(yán)格比例關(guān)系。部分污損程度較低的位置探測圖形仍在一個或兩個方向上保持嚴(yán)格比例關(guān)系(1∶1∶3∶1∶1)，而誤檢的QR碼局部區(qū)域通常僅滿足降低后的寬松比例關(guān)系(1∶1∶3或3∶1∶1)。

(2)部分污損位置探測圖形保持比例關(guān)系的像素行或列跨度大。由于污損程度不同，污損位置探測圖形維持比例關(guān)系的跨度不同，最高仍可達(dá)到3個單位模塊跨度，如圖10(a)所示。而滿足比例關(guān)系的編碼區(qū)域通常僅在一個單位模塊跨度上保持著比例關(guān)系，如圖10(b)所示。

圖10 滿足比例關(guān)系的像素跨度

(3)部分誤檢的圖案區(qū)域，比例關(guān)系的基本單位大于1個單位模塊，而實際位置探測圖形的比例單位均應(yīng)為1個單位模塊。

根據(jù)上述特點，在算法中加入評分系統(tǒng)，依據(jù)比例特征的表達(dá)程度對候選區(qū)域進(jìn)行評分，進(jìn)而篩選出比例特征表達(dá)更顯著的位置探測圖形。

2.2 算法流程

改進(jìn)的精定位算法流程如圖11所示。

圖11 精定位流程圖

具體實施步驟如下：

(1)對候選區(qū)域進(jìn)行評分。對QR碼位置區(qū)域進(jìn)行掃描，統(tǒng)計當(dāng)前區(qū)域內(nèi)黑、白連續(xù)像素的數(shù)量關(guān)系，將滿足定位比例關(guān)系的區(qū)域記為候選位置探測圖形，按圖12所示評分機(jī)制計算其單次得分，并由像素的數(shù)量計算出中心坐標(biāo)與單位模塊尺寸。

圖12 精定位評分機(jī)制

具體計算方法為：

①在橫向與縱向兩個方向上對當(dāng)前區(qū)域進(jìn)行評分，對于滿足嚴(yán)格比例關(guān)系(1∶1∶3∶1∶1)的區(qū)域與滿足寬松比例關(guān)系(1∶1∶3或3∶1∶1)的區(qū)域，分別計分為a與b(a>b)，得到橫向得分Sx與縱向得分Sy。由此計算出單次得分Ss:

Ss=Sx+Sy

(1)

②若當(dāng)前候選位置探測圖形N與完成檢測的候選位置探測圖形M二者中心坐標(biāo)的直線距離小于1個單位模塊，且二者單位模塊尺寸的差值小于較小者的50%，則N與M為同一候選位置探測圖形，合并二者，仍記為M。其中：N的單次得分Ss與M的初始分St相加的和，記為M新的初始分St；N與M中心坐標(biāo)連線的中點，作為合并后M的中心坐標(biāo)；N與M的單位模塊尺寸平均值，作為合并后M的單位模塊尺寸；合并后M的定位次數(shù)t加1；新的初始分St除以定位次數(shù)t，得到M的平均得分Sa。

若不滿足上述條件，則當(dāng)前候選位置探測圖形為首次檢出，取當(dāng)前單次得分Ss作為其平均分Sa與初始分St，定位次數(shù)t記為1。記錄候選位置探測圖形的中心坐標(biāo)(x,y)，單位模塊尺寸m、定位次數(shù)t、初始分St、平均分Sa。

(2) 選取可靠性高的候選位置探測圖形，計算可靠模塊尺寸ma。掃描完成后，統(tǒng)計所有候選位置探測圖形的數(shù)量。若數(shù)量小于3，則無法進(jìn)行后續(xù)步驟，算法無法實現(xiàn)當(dāng)前QR碼的精定位。若數(shù)量大于或等于3，計算所有候選位置探測圖形的平均定位次數(shù)ta，并按下述方法選取可靠位置探測圖形。

記錄定位次數(shù)大于平均值且平均得分在(a+a)與(a+b)之間的候選位置探測圖形，統(tǒng)計其數(shù)量v的方法為：若03，則取平均得分Sa最高的3個候選作為可靠位置探測圖形；若v=0，則取平均得分Sa最高的2個候選作為可靠位置探測圖形。

記候選位置探測圖形的數(shù)量為n。取所有可靠位置探測圖形的單位模塊尺寸m，計算其平均值，記為可靠模塊尺寸ma：

(2)

(3)根據(jù)每個候選位置探測圖形的單位模塊尺寸與可靠模塊尺寸的偏差，計算其得分系數(shù)c。偏差越小，候選位置探測圖形與可靠位置探測圖形越相似，為真實位置探測圖形的概率越大，得分系數(shù)越高。

(3)

(4)通過得分系數(shù)，計算候選位置探測圖形的最終得分Sf。通過得分系數(shù)，可以降低單位模塊尺寸與可靠模塊尺寸偏差大的候選位置探測圖形的分值，進(jìn)一步抑制誤檢。

Sf=c×St

(4)

(5)對最終得分Sf進(jìn)行排序，選取最終得分最高的3個候選位置探測圖形作為QR碼的位置探測圖形。

3 算法測試

3.1 可行性驗證

以圖7所示污損QR碼為例，取分值a為3，b為1，對改進(jìn)算法的可行性進(jìn)行驗證。驗證過程中，算法掃描QR碼位置區(qū)域后，共得到7個候選位置探測圖形及其坐標(biāo)、單位模塊尺寸、定位次數(shù)、初始分、平均分，結(jié)果如表4所示。然后取出3個可靠位置探測圖形，計算得到可靠單位模塊尺寸為7.8。最后，計算出各候選位置探測圖形的得分系數(shù)與最終得分，排序后取最終分最高的3個候選為當(dāng)前QR碼位置探測圖形，即表4中序號2、3、6為候選。根據(jù)算法定位得到的位置探測圖形坐標(biāo)及單位模塊尺寸，在Zxing[12]QR碼識別庫中完成后續(xù)解碼流程，得以成功輸出QR碼數(shù)據(jù)信息，驗證了改進(jìn)比例關(guān)系算法的可行性。

3.2 與傳統(tǒng)算法結(jié)果對比

表5為改進(jìn)比較關(guān)系算法與傳統(tǒng)的基于比例關(guān)系算法在120張污損QR碼樣本上的測試數(shù)據(jù)。由表5可知，改進(jìn)算法的定位成功率提高了28.3%，增長1.6倍；平均單張定位時間增加了0.17 ms，增長低于1%。

表4 改進(jìn)比例關(guān)系算法的定位過程數(shù)據(jù)

表5 改進(jìn)算法與傳統(tǒng)算法的性能對比

4 結(jié)論

筆者基于卷積神經(jīng)網(wǎng)絡(luò)與QR碼位置探測圖形的比例特征，對QR碼定位問題展開了研究。在粗定位方面，基于YOLOv3建立了一種輕巧的QR碼檢測模型。模型在已知背景、未知背景的兩個測試集上的召回率分別為99.81%與99.00%，平均IOU值分別為84.23%與80.74%，平均單幀檢測時間為0.12 s，表明其不僅滿足了粗定位識別率與準(zhǔn)確度，而且保證了在運算能力有限的計算機(jī)上運行的實時性。在精定位方面，在基于比例關(guān)系的傳統(tǒng)算法基礎(chǔ)上，加入評分系統(tǒng)，將位置探測圖形的定位比例條件由1∶1∶3∶1∶1降低為1∶1∶3或3∶1∶1。在污損QR碼測試集上，改進(jìn)算法以小于1%的定位時間增長，將定位成功率由傳統(tǒng)算法的17.5%提高為45.8%，表明其在較小的時間損失下，較大地提高了對污損QR碼的定位能力。