劉石堅,林錦嘉,陳梓燦,鄒崢

(1. 福建省大數(shù)據(jù)挖掘與應用技術(shù)重點實驗室,福建 福州 350118;2. 福建師范大學 計算機與網(wǎng)絡空間安全學院,福建 福州 350117)

生物實驗室常需要采集大量樣本,并保存到試管中、放置于支架槽內(nèi)。為方便快速管理和分析,裝有樣本的試管底部往往會印刷一種名為Data Matrix(DM)[1]碼的矩陣式二維碼,作為樣本唯一標識。相較其他條碼,DM碼具有尺寸小、存儲信息量大、糾錯能力和抗干擾能力強等特點,被廣泛應用于集成電路、機械磨具、精密生物器械等小件物品上。深度學習技術(shù)在過去幾年發(fā)展迅速,已被廣泛用于各領域,將其應用于DM碼識別和信息讀取,有利于實驗室自動化[2]。

1 相關(guān)工作

DM碼的傳統(tǒng)識別方法主要利用其所具有L形狀幾何邊界的特點來實現(xiàn)。例如,王等人[3]采用Hough變換[4]來實現(xiàn)DM碼的檢測定位。然而在實際應用中,輸入數(shù)據(jù)中往往存在多個條碼,且條碼周圍通常存在較多干擾。雖然許多方法[5～6]試圖解決上述問題,但在面對復雜情況時,方法的穩(wěn)定性仍然難以保證。相較而言,基于深度學習的方法因不依賴人工特征,具有更好的準確性和泛化能力,成為目前的研究趨勢。

1.1 目標識別策略

基于深度學習的方法在實現(xiàn)條碼定位時可分為目標識別策略和實例分割策略。

目標識別策略的思路是先通過YOLO[7]、Faster R-CNN[8]等目標識別方法找到輸入圖片中包含條碼的局部矩形區(qū)域(即粗定位),再結(jié)合上述傳統(tǒng)方法完成條碼的最終定位。例如,易等人[9]提出一種級聯(lián)多尺度特征融合網(wǎng)絡快速檢測算法實現(xiàn)對識別物流包裹的條形碼。謝等人[10]基于Faster R-CNN框架提出一種香煙條碼識別方法。針對復雜背景下的多條碼檢測問題,文獻[11][12]提出不同的基于改進YOLO模型的條碼檢測方法。

1.2 實例分割策略

目標識別策略的局限性在于需要兩個階段來實現(xiàn)條碼的定位,其深度學習的優(yōu)勢僅體現(xiàn)在第一階段。實例分割策略則直接基于條碼的實例分割結(jié)果進行定位,更簡潔高效。例如,Zharkov等人[13]使用基于實例分割的深度學習方法識別一維條形碼。胡等人[14]提出基于SegNet的DM碼定位方法。分割策略的關(guān)鍵問題在于構(gòu)建準確的分割模型,來獲取可靠的DM碼邊界。

本課題提出的DeepDMCode方法與已有深度學習方法的主要差別在于處理對象和應用領域的不同。已有相關(guān)研究多處理一維條形碼和QR碼識別,面向多DM碼的文獻較少,討論試管-支架系統(tǒng)中DM碼識別的文獻更加寥寥無幾。其次,本課題雖采用基于Mask R-CNN[15]模型的實例分割路線,但針對提升準確性所提出的數(shù)據(jù)合成方法、標注方法及旋轉(zhuǎn)矯正方法是普適性的策略,與特定分割模型的選取無關(guān)。

2 研究內(nèi)容及挑戰(zhàn)

課題以包含96個試管槽的一套固定支架為環(huán)境,在支架底部放置相機獲取拍攝圖像,以自動識別如圖1所示圖像中所有試管DM碼為研究目標。

圖1 試管支架底部成像圖片F(xiàn)ig.1 Image captured at the bottom of a tube rack

DM碼識別具體可分為碼定位(第3章)和矯正解碼(第4章)兩部分,即首先找到DM碼所在位置,然后將其旋轉(zhuǎn)至標準朝向進行解碼。其中碼定位是識別的前提基礎,旋轉(zhuǎn)矯正使得通過標準解碼庫實現(xiàn)解碼成為可能。

本課題面臨以下挑戰(zhàn):

(1)DM碼為小目標。單個試管DM碼約占整副圖像面積的1/1 200,如圖1所示,定位和識別時容易對誤差敏感。

(2)位置和旋轉(zhuǎn)角度分布不均。如圖1所示,單個DM碼的位置和方向是隨機分布的,這種差異和變化增加碼識別難度。

(3)目標邊界模糊。相對如圖2(a)所示的標準DM碼,在實際應用中,當照片受到光照不均或噪聲影響時,DM碼邊界常常呈現(xiàn)模糊甚至消失的情況,如圖2(b)所示。

圖2 DM碼展示Fig.2 Demonstration of data matrix codes

(4)存在相似性干擾。如圖2(c)所示,在試管槽孔連接處以及鏤空槽孔處存在與DM碼邊界相似的特征,這類相似性干擾會降低識別區(qū)分能力。

(5)數(shù)據(jù)量不足。深度學習方法依賴大規(guī)模數(shù)據(jù)進行模型訓練,但試管支架圖片數(shù)據(jù)來源有限,且沒有公開的數(shù)據(jù)集作為補充。

本課題以支架試管圖片作為輸入,將單張圖片中多個DM碼作為檢測對象,在無法獲取大量學習樣本的前提下,以減少繁瑣的小目標手工標注和提高識別精度為目標,實現(xiàn)多目標碼的識別。

3 碼字區(qū)域精定位

在DM碼字區(qū)域定位環(huán)節(jié),首先針對訓練樣本數(shù)量有限的問題,采用多層隨機方式來生成人工合成數(shù)據(jù),在保證多樣性的前提下,最大程度地擴展數(shù)據(jù)規(guī)模;其次,為解決樣本數(shù)量增加所導致的標注工作量劇增問題,使用同步式策略在合成數(shù)據(jù)時同步產(chǎn)生標注,提高標注效率。

3.1 多重隨機的內(nèi)容差異化數(shù)據(jù)合成

數(shù)據(jù)增強是一種廣泛應用于深度學習中的技術(shù),旨在提升模型性能[16]。通過對現(xiàn)有訓練數(shù)據(jù)進行各種變換和擴充,有效增加樣本的多樣性,從而提供更豐富、更全面的訓練數(shù)據(jù)集。傳統(tǒng)數(shù)據(jù)增強方法通常通過圖片翻轉(zhuǎn)、調(diào)整明暗等來擴充數(shù)據(jù),此類調(diào)整屬于淺層調(diào)整,沒有對關(guān)鍵特征即DM碼內(nèi)容進行變換,導致數(shù)據(jù)只是在數(shù)量上增大,而不能在內(nèi)容上進行實質(zhì)性的擴充,無法真正為深度識別提供多樣性。

為了在增加圖片集規(guī)模的同時保證圖片集的差異化和豐富性,本課題提出通過多層隨機構(gòu)建內(nèi)容差異的數(shù)據(jù)增強方案,從光照、位置、內(nèi)容、方向多層次地模擬真實場景,提高識別的魯棒性,降低識別時對位置和數(shù)量因素的敏感性。

3.1.1 合成數(shù)據(jù)背景設計

合成數(shù)據(jù)可分為含DM碼的試管底部前景數(shù)據(jù)和其余含支架的背景數(shù)據(jù)?？梢苑謩e對前景和背景數(shù)據(jù)進行設計,再將兩者疊加起來生成新的數(shù)據(jù)。

當支架未滿載時,光線會穿過未放置試管的孔洞區(qū)域,導致成像光照不均。為模擬和復現(xiàn)這種真實光照環(huán)境,在背景設計時,對頂部光源打開狀態(tài)下的全空支架進行成像,獲取背景數(shù)據(jù)(即圖1中沒有試管DM碼時的狀態(tài))。

3.1.2 內(nèi)容差異化的前景設計

差異化前景試管碼構(gòu)建是數(shù)據(jù)合成的重點部分,本課題對前景從局部到整體進行分層構(gòu)建,即先構(gòu)建單個試管碼單元;后將多個碼單元組成碼目標群。因此前景設計根據(jù)這種層次分為以下幾個階段。

(1)構(gòu)建試管碼單元階段。為保證編碼內(nèi)容多樣性,隨機生8位隨機字符r(C)作為內(nèi)容,其中r均代表隨機生成器,C代表字符,結(jié)合libdmtx庫編碼生成DM碼圖像g,該圖像與圓形試管底部疊加,形成試管碼單元圖片?？紤]到實現(xiàn)場景中試管擺放方向完全隨機,因此需要對試管碼單元施加一個隨機旋轉(zhuǎn)角度r(α)如公式(1),進行旋轉(zhuǎn)得到試管碼單元m。

(1)

(2)構(gòu)建碼目標群階段。目標群設計主要包含目標總數(shù)的設計和各個目標在支架的空間位置設計。為模擬實際操作中支架上試管數(shù)量和位置會因?qū)嶒炄蝿詹煌嬖谳^大差別,為此針對數(shù)量和位置設計如下:

首先,為了模擬不同目標總數(shù)差異性,假定支架試管總數(shù)設置為r(N)(1≤r(N)≤N0),值域為1到N0之間,N0為支架能承載的最大試管數(shù),試管總數(shù)用隨機生成器生成,而k個試管對應的目標單元mj組成的集合M{m1,m2,…,mj,…,mk|k≤r(N)}形成一個目標群,其中單元總數(shù)k不超過實際試管總數(shù)r(N);其次,為確保目標位置隨機,考慮到支架大小統(tǒng)一,槽孔排列規(guī)則,視覺上類似矩陣,因此為每個目標單元mk(xi,yj)生成一個隨機空間位置r(i,j),i和j分別代表mk所在行序號和列序號。這樣目標碼群內(nèi)的每個目標單元可以隨機獲取一個二維行列位置,分配到具體的槽孔位置。

3.1.3 背景疊加與空間密度模糊

對支架背景和前景進行疊加,即將碼單元圖片在背景圖片中進行逐一對齊,對齊的兩個對象為:碼單元圖片中心點,和被分配槽孔的中心點。假設第1行第1列試管槽中心點(支架左上角位置)為(x1,y1),則其第i(1

(2)

為模擬真實光照不均造成的圖像模糊,通過統(tǒng)計目標群在支架中的分布位置,計算目標群放置的空間密度,來設置相應的模糊度。

(1)構(gòu)建n行m列槽孔矩陣G。矩陣元素代表每個槽孔是否放置了試管,元素值為1代表有試管,為0則無試管。

(2)統(tǒng)計槽孔矩陣內(nèi)的試管密度。針對G施加卷積操作?,設置卷積核h(t×t)大小為t,用卷積核在G中逐行逐列滑動并統(tǒng)計固定區(qū)域內(nèi)放置試管總數(shù),獲得大小為(n-t+1,m-t+1)大小的矩陣結(jié)果。

(3)計算試管空間密度。將結(jié)果展開成一維向量即F向量,分別計算其均值mean(F)和標準差std(F)如公式(3)所示,將標準差除以均值便可以得到試管密度ρ。ρ為大于0小于1的值,數(shù)值越大,代表試管擺放越不均勻,應施加的模糊度越高,反之數(shù)值越小,代表光照越均勻,應施加的模糊度越低。

(4)施加模糊效果。使用高斯低通濾波,假設濾波的截止頻率范圍為(D0,D1),截止頻率是影響模糊關(guān)鍵因子,截止頻率越高,圖片越清晰,因此結(jié)合試管密度,截止頻率應設置為d如公式(3),這樣的設計根據(jù)實際目標群分布,設置對應的模糊度。

(3)

3.2 數(shù)據(jù)同步自動化標注

通過多重隨機合成方案能有效擴充訓練數(shù)據(jù),但隨之引發(fā)了新增數(shù)據(jù)的標注工作量過大的問題。使用人工分割方形碼字區(qū)域(即掩膜)作為標注,耗時費力又容易出現(xiàn)差錯。由于合成圖片集的過程,和相關(guān)隨機系數(shù)都是已知,這代表決定碼字區(qū)域的大小、位置、方向都可知,因此可以重用合成流程,共享相關(guān)參數(shù),來生成最終的標注,為此提出一種同步自動標注方法,生成對應的標注數(shù)據(jù)。如圖3所示,該流程衍生自合成過程,可分為3部分:構(gòu)建掩膜單元前景、構(gòu)建掩膜群前景、疊加純色背景。

圖3 同步合成與標注方法示意圖Fig.3 Demonstration of simultaneous synthesis and annotation method

(1)構(gòu)建掩膜單元。當前DM碼單元生成并旋轉(zhuǎn)后,其碼字區(qū)域的尺寸以及旋轉(zhuǎn)角度r(α)便確定。同步生成大小、角度一致的方塊區(qū)域,即掩膜單元圖片。單元圖片中像素值設為隨機標簽值l(1≤l≤255),其余區(qū)域設置為0。

(2)構(gòu)建掩膜群。為保證標注目標與合成圖片中的目標一致,根據(jù)當前圖片合成時的試管總數(shù)r(N),以及碼目標群分配的槽孔行列位置r(i,j),同步生成同數(shù)目和分布的掩膜群。

(3)背景疊加。共享合成背景尺寸,但與合成背景不同,創(chuàng)建全0像素圖片即黑色掩膜背景,而非支架背景圖片,按照公式(2)準確計算槽孔位置,將掩膜圖片疊加至黑色背景上。

圖4展示了使用DeepDMCode法實現(xiàn)的一組合成圖像及其標注數(shù)據(jù)樣例。

圖4 使用同步合同與標注方法所生成的合成圖像及其同步式標注結(jié)果展示Fig.4 Demonstration of the synthesis and annotation result by the proposed method

4 旋轉(zhuǎn)矯正及解碼

旋轉(zhuǎn)矯正的目標是將圖5(a)所示的DM碼修正為圖5(b)所示狀態(tài),以便調(diào)用標準解碼庫進行編碼信息的讀取。

圖5 旋轉(zhuǎn)矯正方法示意圖Fig.5 Demonstration of the rotation correction method

具體來說,圖5(a)中彩色掩膜所示為上述方法所得分割結(jié)果,在掩膜圖片中將y值最小點作為角點a:(xa,yb=ymin),以a為原點構(gòu)建坐標系,此時DM碼與X軸的夾角為θ可以按照公式(4)計算獲得。根據(jù)得到的角度,以逆時針方向?qū)Υa單元進行旋轉(zhuǎn),即可得到矯正后結(jié)果。最后使用第三方解碼庫,對其進行規(guī)范解碼便可提取最終字符內(nèi)容。

(4)

5 實驗及結(jié)果

實驗均運行于一臺顯卡為NVIDIA GeForce RTX 3060(12 GB),CPU為Intel Core i7-11700(2.50 GHz)的臺式計算機上。輸入數(shù)據(jù)分辨率為1 600×1 200,訓練數(shù)據(jù)集包括兩部分:第一類是原始采集圖片集,由uEye UI-3013XC series攝像機拍攝,共516張,使用手工標注;第二類是通過2.1節(jié)方法合成的新增數(shù)據(jù),共3 000張,使用2.2節(jié)方法進行自動標注。驗證集和測試集均為上述第一類數(shù)據(jù),三者比例約為8∶1∶1。

5.1 檢測結(jié)果

圖6展示為應用DeepDMCode進行DM碼精定位的典型結(jié)果,其中各DM碼實例均能夠被正確識別(見圖中彩色掩膜區(qū)域)。

圖6 DeepDMCode的DM碼檢測結(jié)果展示Fig.6 Demonstration of DM code detection result by DeepDMCode

5.2 對比實驗

選擇目前條碼識別主流的3種模型:YOLO[12]、SegNet[14]以及CenterNet[17]和DeepDMCode進行對比。針對碼識別中碼定位和碼內(nèi)容提取兩個階段的結(jié)果進行對比,同時針對本課題數(shù)據(jù)合成模塊設計消融實驗,來驗證其貢獻。

5.2.1 檢測結(jié)果對比

分別使用3種方法對模糊圖像中的目標進行定位,選擇相同局部區(qū)域展示圖片結(jié)果如圖7所示,可見,YOLO無法識別碼的方向,且存在誤檢,將具有相似直角和強邊緣的背景錯認為目標碼;SegNet檢測到的區(qū)域邊界較粗糙,且大于真實碼區(qū)域范圍;DeepDMCode可較為準確的檢測出模糊圖片中對象邊界,且不會受到相似性背景干擾,這得益于所提出的同步式差異性數(shù)據(jù)增強方法。

圖7 檢測結(jié)果對比Fig.7 Comparison of detection results

將定位結(jié)果與真實碼字區(qū)域進行對照,使用mIoU[20]作為準確性指標,對4種方法進行數(shù)值評估。由于YOLO和CenterNet只適用于粗定位,無法精確反應碼字區(qū)域,故用基于L型特征方法進行再處理,保證可比性,結(jié)果如表1所示。DeepDMCode的mIoU值為0.92,優(yōu)于其他3種方法。

表1 準確性對比Tab.1 Accuracy comparison

5.2.2 DM碼內(nèi)容提取結(jié)果對比

針對3種方法的定位結(jié)果,選擇libdmtx進行解碼,與真實結(jié)果進行對照,分別計算正確率和平均解碼時間兩個指標,統(tǒng)計結(jié)果如表2所示,DeepDMCode正確率90.8%,平均解碼時間為5.2 s;CenterNet和YOLO目標檢測雖然更快,但正確率較低。

表2 DM碼解碼結(jié)果對比Tab.2 Comparison of DM code decoding results

5.2.3 消融實驗

為驗證本課題數(shù)據(jù)集合成模塊對碼定位的貢獻,使用僅改變對比度和明暗的傳統(tǒng)數(shù)據(jù)增強方法進行DM碼定位,與內(nèi)容差異化增強后定位結(jié)果進行對比,計算其mIoU指標。從表3中可知,在傳統(tǒng)增強數(shù)據(jù)集上運行結(jié)果的準確性較Deep-DMCode約低10%,這證明內(nèi)容差異化合成模塊的嵌入,能很好地改善條碼定位結(jié)果,進而提高后續(xù)碼字內(nèi)容提取的精確度。

表3 消融實驗結(jié)果Tab.3 Ablation results

6 結(jié)語

以試管-支架系統(tǒng)作為研究對象,基于分割策略對輸入圖像中的所有DM碼進行定位和旋轉(zhuǎn)矯正,實現(xiàn)編碼信息的讀取。本研究的主要貢獻包括:(1)提出一種多重隨機的內(nèi)容差異化數(shù)據(jù)合成方法DeepDMCode。(2)部分重用合成流程,提出一種同步式的自動標注方法,共享隨機參數(shù),提高標注效率。(3)利用分割結(jié)果,提出一種旋轉(zhuǎn)矯正方法,使得通過標準解碼庫對DM碼編碼信息進行提取成為可能。實驗表明,該方法能有效克服圖片分辨率低、目標數(shù)量和分布不確定、光照條件動態(tài)變化等因素所造成的識別困難,減少不必要的人工干預。后續(xù)工作將專注于提升方法的速度,以實現(xiàn)DM碼的實時讀取。