韋泰丞 劉雁兵 陳浩 趙弘胤

摘要：為解決采集的卷煙圖像數(shù)據(jù)類別分布不均衡、樣本數(shù)量少帶來的識別率低的問題，提出了一種基于加權(quán)分類損失和樣本合成的卷煙圖像精細(xì)識別模型。針對類別數(shù)量長尾分布問題，設(shè)計了一種新型的加權(quán)分類損失函數(shù)，用于增強對不同卷煙類別的學(xué)習(xí)能力；針對部分卷煙類別樣本數(shù)量少，在不增加采集成本情況下提出了一種高質(zhì)量卷煙虛擬樣本生成方法，極大地緩解了某些卷煙數(shù)據(jù)量不足、識別精度低下的問題。模型在大規(guī)模真實測試集上進(jìn)行測試，卷煙的識別平均精確率達(dá)到95%。證明對于不同的復(fù)雜場景，模型的魯棒性強，可以在圖像翻轉(zhuǎn)、倒置的情況下準(zhǔn)確識別出不同卷煙類別，能夠滿足零售終端卷煙自動化識別的需求，為建設(shè)終端評價系統(tǒng)提供了算法與模型支持。

關(guān)鍵詞：深度學(xué)習(xí)；神經(jīng)網(wǎng)絡(luò)；目標(biāo)檢測；卷煙識別；數(shù)據(jù)擴增；長尾分布

中圖分類號：TP391.4文獻(xiàn)標(biāo)志碼：A文章編號：1008-1739（2022）23-65-8

0引言

零售終端是零售產(chǎn)業(yè)鏈的重要組成部分，是零售商品實現(xiàn)最終銷售的關(guān)鍵環(huán)節(jié)。零售終端對于零售商品的品牌培育、產(chǎn)品銷售的作用愈發(fā)凸顯，了解自主品牌和其他工業(yè)公司品牌在零售終端的陳列狀況，根據(jù)零售終端總體情況針對性實施營銷策略，對促進(jìn)品牌培育、擴大品牌銷售和影響力十分重要。

近年來，人工智能技術(shù)在零售行業(yè)發(fā)展迅速，以圖像識別為代表的人工智能技術(shù)，給零售行業(yè)帶來了巨大的變動與機遇。生鮮超市、智能便利店、無人貨架、自助售貨機等新概念遍地開花，這些都離不開以圖像識別為基礎(chǔ)的技術(shù)支撐，通過店鋪內(nèi)安裝攝像頭設(shè)備，實現(xiàn)客流統(tǒng)計、客流分析，同時準(zhǔn)確地把握顧客的年齡、性別和喜好，識別新老顧客，實現(xiàn)精準(zhǔn)的營銷推廣活動；通過店鋪陳列與客流停留時長的分析，優(yōu)化店鋪布局和產(chǎn)品陳列方式，實現(xiàn)店鋪銷售額的提升。

在煙草零售行業(yè)中，傳統(tǒng)人工方式進(jìn)行在銷商品統(tǒng)計時面臨統(tǒng)計效率低、識別誤差大、人工成本高等問題，每次統(tǒng)計需要較長的統(tǒng)計周期，往往沒有辦法即時得到銷售信息等關(guān)鍵內(nèi)容，而通過人工智能等前沿技術(shù)對卷煙零售店中在銷的卷煙信息進(jìn)行采集和分析，可以幫助煙草工商企業(yè)更高效、及時地獲取卷煙在銷品類、規(guī)格以及不同卷煙的銷售情況。本文針對卷煙零售終端統(tǒng)計在銷商品時所面臨的統(tǒng)計效率低、數(shù)據(jù)長尾分布、識別誤差大、人工成本高等問題，通過計算機視覺和人工智能技術(shù)，構(gòu)建了一種加權(quán)分類和樣本合成的精細(xì)識別模型，主要貢獻(xiàn)有以下3點：

①為了更好地提取圖像中物體的特征信息，對網(wǎng)絡(luò)結(jié)構(gòu)的Backbone部分進(jìn)行了修改，使用分組級聯(lián)的結(jié)構(gòu)替換了網(wǎng)絡(luò)中的殘差模塊，增大了模型的感受野，幫助更好地提取物體的細(xì)節(jié)特征。

②提出一種針對樣本分布不均衡的分類損失函數(shù)，在訓(xùn)練過程中動態(tài)地根據(jù)分類器對不同類別的正負(fù)梯度和得分調(diào)節(jié)損失的權(quán)重，有效提升數(shù)量稀少類別的識別精度。

③針對訓(xùn)練中樣本數(shù)量少的類別，提出高質(zhì)量虛擬樣本生成技術(shù)，在數(shù)據(jù)預(yù)處理階段生成大量多樣化的稀少類別虛擬樣本，緩解了樣本不均衡問題。

1相關(guān)工作

1.1相關(guān)背景

目標(biāo)檢測任務(wù)是計算機視覺領(lǐng)域的一個基礎(chǔ)任務(wù)，其目的是對輸入的圖像或視頻中出現(xiàn)的物體進(jìn)行分類和定位。目標(biāo)檢測作為場景理解的重要組成部分，廣泛應(yīng)用于現(xiàn)代生活的許多領(lǐng)域，如安全領(lǐng)域、軍事領(lǐng)域、交通領(lǐng)域、醫(yī)療領(lǐng)域和生活領(lǐng)域。當(dāng)前的目標(biāo)檢測方法可以劃分為三大類：基于傳統(tǒng)方法的目標(biāo)檢測方法、基于深度學(xué)習(xí)的雙階段目標(biāo)檢測方法和基于深度學(xué)習(xí)的單階段目標(biāo)檢測方法。

傳統(tǒng)目標(biāo)檢測算法主要基于手工方式提取特征，該方法用于從指定區(qū)域中提取特征，再把得到的特征輸入線性SVM分類器進(jìn)行檢測。由于傳統(tǒng)方法需要通過滑動窗口來獲取候選區(qū)域，且特征提取算法往往需要通過手工設(shè)計，這類方法存在識別效果不佳、準(zhǔn)確率不高、計算量較大、運算速度慢等缺陷，所以一直沒有很好地應(yīng)用。

以YOLO[1-3]系列為代表的單階段目標(biāo)檢測算法不需要區(qū)域候選框生成，而是將檢測任務(wù)視為一個回歸問題，直接通過卷積神經(jīng)網(wǎng)絡(luò)預(yù)測物體的類別和位置坐標(biāo)值，并對檢測的性能進(jìn)行了優(yōu)化[4]。隨后提出的RetinaNet[5]，SSD[6]等模型，加入了多尺度融合機制，提升了不同尺度下的物體和小目標(biāo)的檢測精度。這類方法的特點是檢測速度快、模型參數(shù)量小，但是受限于輸入尺寸無法在卷煙密集場景下取得很好的檢測效果。

而雙階段模型近年來大部分基于Faster-RCNN[7]，Cascade-RCNN[8]等，雙階段目標(biāo)檢測器主要由以下2個階段構(gòu)成：從圖中生成候選區(qū)域，對候選區(qū)域提取特征經(jīng)過分類和回歸層得到最終的分類和回歸結(jié)果。這類方法利用滑動窗口和錨框生成手段，對圖像中密集出現(xiàn)的卷煙目標(biāo)可以有很好的檢測效果，但是面對長尾分布的數(shù)據(jù)，會由于不均衡的數(shù)據(jù)分布導(dǎo)致對樣本數(shù)量少的類別檢測效果不佳，影響整體性能表現(xiàn)。

1.2卷煙圖像識別的技術(shù)現(xiàn)狀

近年來，人工智能技術(shù)[9]在煙草行業(yè)發(fā)展迅速。其中，洪金華等[10]使用YOLOv3模型對煙蟲進(jìn)行檢測；高震宇等[11]使用卷積神經(jīng)網(wǎng)絡(luò)檢測煙絲物質(zhì)組成；肖雷雨等[12]利用深度學(xué)習(xí)技術(shù)檢測煙梗形態(tài)；鄧超等[13]利用深度學(xué)習(xí)構(gòu)建卷煙投放預(yù)測模型。在卷煙零售端，也有利用深度學(xué)習(xí)方法進(jìn)行場景文本識別[14-15]，梁冬等[16]提出了基于圖像識別技術(shù)的卷煙零售數(shù)據(jù)采集方法；單宇翔等[17]提出了基于深度學(xué)習(xí)的復(fù)雜場景中卷煙煙盒檢測與識別方法，這些方法利用關(guān)鍵點檢測與分割方法進(jìn)行了探索并取得了一定的效果，但對于大規(guī)模多類別的卷煙識別效果仍有待提高。在國外，卷煙識別任務(wù)主要關(guān)注于吸煙行為的檢測[18]，對于卷煙種類識別任務(wù)還處于探索階段。

卷煙識別任務(wù)需要對零售店鋪中出現(xiàn)的卷煙煙盒進(jìn)行定位和識別，該任務(wù)目前仍面臨許多挑戰(zhàn)。由于零售終端行業(yè)在各個城市發(fā)展各不相同，卷煙零售店鋪可能包含了超市、便利店、直營店鋪等各種類型，店鋪條件的差異導(dǎo)致采集的煙盒圖像差異巨大。同時，由于沒有統(tǒng)一的行業(yè)采集標(biāo)準(zhǔn)，采集圖片受到采集人員、采集設(shè)備、光照等因素的影響，使得采集圖像規(guī)格各異，其中出現(xiàn)的遮擋、過曝、過暗、拍攝角度不同等都會使得同一個類別卷煙煙盒的外在特征產(chǎn)生很大差異。另外，由于卷煙品牌數(shù)量眾多，新品迭代更新快，部分品牌的卷煙外觀差異非常小，對檢測器性能提出了更高的要求。如何在密集出現(xiàn)、相鄰擺放的場景中很好地區(qū)分不同品種的卷煙是一個很大的挑戰(zhàn)。此外，由于卷煙種類繁多，在采集時很難均衡地對每個類別進(jìn)行采樣，而受限于人工標(biāo)注的成本，如何在數(shù)據(jù)量不充分且存在不均衡卷煙種類分布的情況下，得到對所有類別良好的檢測性能是該任務(wù)面臨的第二個挑戰(zhàn)。

2基于加權(quán)分類損失和樣本生成的卷煙精細(xì)識別方法

2.1整體模型架構(gòu)

由于卷煙識別需要在復(fù)雜多樣的環(huán)境下對多種類別的卷煙進(jìn)行識別，對于網(wǎng)絡(luò)的特征提取能力有很大的要求，傳統(tǒng)Faster-RCNN網(wǎng)絡(luò)使用的特征提取模塊的卷積核感受野較小，對圖像中某些細(xì)節(jié)特征提取能力不足，因此本文利用分組級聯(lián)的Res2net[19]模塊替換了原始網(wǎng)絡(luò)中的卷積模塊，增強了網(wǎng)絡(luò)的特征提取能力。針對卷煙數(shù)據(jù)類別存在的樣本不均衡問題，從數(shù)據(jù)與模型2個角度出發(fā)，設(shè)計了可以根據(jù)梯度自適應(yīng)調(diào)節(jié)損失權(quán)重的類別自適應(yīng)加權(quán)損失，以提升稀少類別的分類性能；同時提出卷煙虛擬樣本生成技術(shù)，對稀少的數(shù)據(jù)類別進(jìn)行擴增，有效改善了樣本分布不均衡的問題。模型的整體架構(gòu)如圖1所示。

首先使用虛擬樣本生成技術(shù)，抽取樣本數(shù)量少的類別，經(jīng)過隨機數(shù)據(jù)增強后得到多樣化的樣本，通過一定的排列規(guī)則與背景場景構(gòu)造虛擬樣本，并和原始數(shù)據(jù)一起送入模型進(jìn)行訓(xùn)練。隨后模型會將輸入圖片經(jīng)過卷積神經(jīng)網(wǎng)絡(luò)得到特征圖，特征圖通過區(qū)域候選網(wǎng)絡(luò)得到大量可能包含目標(biāo)的候選框，并經(jīng)過RoI池化層進(jìn)一步壓縮特征得到候選框的特征圖。最后在得到的特征圖后連接2個全連接層對物體類別和位置進(jìn)行預(yù)測。模型在訓(xùn)練過程中使用類別自適應(yīng)加權(quán)損失動態(tài)調(diào)節(jié)各個類別的正負(fù)梯度，使得每個類別都可以得到較好的訓(xùn)練，經(jīng)過多個輪次的訓(xùn)練后，得到最終的卷煙精細(xì)識別模型。

2.2分組級聯(lián)特征提取模塊

為了使Faster-RCNN模型更好地契合卷煙檢測場景，解決對于多種不同卷煙類別的精確識別，需要更好地提取圖像中卷煙煙盒的外在特征信息。針對上述問題，本文使用分組級聯(lián)的方式重新設(shè)計了網(wǎng)絡(luò)Backbone模塊中的殘差模塊。圖2展示了Backbone網(wǎng)絡(luò)結(jié)構(gòu)，圖像依次經(jīng)過幾個卷積模塊，得到包含目標(biāo)特征的特征圖，其中每個卷積模塊由若干個BottleNeck殘差模塊堆疊而成。通過引入殘差結(jié)構(gòu)，解決了隨著網(wǎng)絡(luò)深度增加，而性能下降的“退化”問題；另一方面，利用2個1×1卷積進(jìn)行降維與升維操作，有效降低了卷積操作的計算量。

為了進(jìn)一步增強網(wǎng)絡(luò)對于圖像中物體細(xì)節(jié)特征的提取能力，使用Res2net模塊替換了Conv1，Conv2_x，Conv3_x，Conv4_x，Conv5_x中所有的BottleNeck結(jié)構(gòu)。將通過原有的3×3卷積替換為了更細(xì)粒度的按照通道維度分組的3×3卷積核結(jié)構(gòu)，通道的不同組之間會進(jìn)行信息的交互，4的輸出中包含了2，3，4維度的所有信息，同時由于經(jīng)過了多個3×3卷積核，使得網(wǎng)絡(luò)輸出相較于原始的BottleNeck結(jié)構(gòu)擁有更大的感受野，從而能夠更好地提取圖像中豐富的細(xì)節(jié)特征信息。

2.3類別自適應(yīng)加權(quán)損失

由于不同品牌、規(guī)格卷煙的上架率不同，采集到的數(shù)據(jù)集存在嚴(yán)重的類別不均衡問題。不同類別樣本數(shù)目的不均衡會影響模型對于該類別的識別效果，進(jìn)而影響模型整體精度。經(jīng)過對數(shù)據(jù)集的分析，發(fā)現(xiàn)卷煙圖像樣本的數(shù)據(jù)分布符合長尾分布，如圖3所示。這是一種數(shù)據(jù)分布不均衡的問題，少數(shù)的幾個卷煙類別占據(jù)數(shù)據(jù)集中很大的比重，而許多類別只有很少的數(shù)據(jù)量，導(dǎo)致訓(xùn)練過程中大量來自頭部類別的負(fù)向梯度淹沒尾部類別的正向梯度，從而導(dǎo)致檢測模型在尾部類別上的精度下降嚴(yán)重。

為了解決這一問題，本文設(shè)計了類別自適應(yīng)加權(quán)損失來解決卷煙數(shù)據(jù)集中的類別不均衡問題。類別自適應(yīng)加權(quán)損失通過保留網(wǎng)絡(luò)對于容易混淆類別之間的抑制梯度來保留網(wǎng)絡(luò)對于易混淆類別的判別力，同時在訓(xùn)練過程中減小頭部類別對于尾部類別過多的負(fù)向抑制梯度。損失函數(shù)通過動態(tài)加權(quán)的方式在訓(xùn)練中自適應(yīng)地調(diào)節(jié)權(quán)重的大小，使得網(wǎng)絡(luò)可以在訓(xùn)練過程中根據(jù)不同類別的學(xué)習(xí)狀況自適應(yīng)地進(jìn)行調(diào)整。

2.4高質(zhì)量卷煙虛擬樣本生成

由于采集的卷煙種類繁多，部分卷煙類別由于上柜率較低，在采集到的圖像中涵蓋這些類別的圖像數(shù)量較少，導(dǎo)致在模型訓(xùn)練時該類別無法得到充分的訓(xùn)練，影響到模型檢測的效果。為緩解該問題，加入了卷煙虛擬樣本生成技術(shù)，對采集數(shù)量較少的卷煙類別圖像進(jìn)行數(shù)據(jù)擴增。由于在銷卷煙圖像排列有規(guī)律、場景固定，基于以上特點，利用Copy-and-Paste方法，將卷煙樣本依照類別間關(guān)系粘貼到背景圖像上，得到人工生成的虛擬樣本，并將其加入到數(shù)據(jù)集中訓(xùn)練模型，從而提高對于真實圖像中數(shù)量少的卷煙類別的識別能力和性能，如圖4所示。

考慮到人工收集的數(shù)據(jù)遠(yuǎn)少于真實數(shù)據(jù)集中的數(shù)據(jù)，為了增強虛擬樣本方法生成圖像的多樣性，在每一次擴充過程中加入了圖像尺度隨機抖動、基于HSV顏色空間的數(shù)據(jù)增強、隨機翻轉(zhuǎn)等圖像增強手段，增加圖像的豐富度：①尺度隨機抖動，將收集到的待擴增的圖像大小隨機在0.5～1.5的倍率選擇一個系數(shù)進(jìn)行放縮變化。②基于HSV空間的數(shù)據(jù)增強，將圖像從RGB空間轉(zhuǎn)為HSV空間，隨后從色相、飽和度、亮度這3個維度值對圖像進(jìn)行微調(diào)，調(diào)節(jié)范圍保持在0.8～1.2，模仿不同光照下的采集圖像，為了不生成過于失真的圖像，在較小的范圍內(nèi)進(jìn)行調(diào)節(jié)，從而進(jìn)一步增強了擴增圖像的多樣性，RGB到HSV轉(zhuǎn)換如式（11）～式（14）所示，其中R，G，B代表紅綠藍(lán)3個顏色通道，每種亮度各分為256階亮度。H代表色相，用角度度量取值為0°～360°，從紅色開始按逆時針方向計算，紅色為0°，綠色為120°，藍(lán)色為240°，轉(zhuǎn)換如式（11）和式（12）所示；S代表飽和度，表示顏色接近光譜色的程度，取值為0%～100%，值越大代表顏色越飽和，其轉(zhuǎn)換如式（13）所示；V代表亮度，表示顏色的明亮程度，通常取值為0%（黑），100%（白），其轉(zhuǎn)換如式（14）所示。③隨機翻轉(zhuǎn)，隨機對擴增卷煙的實例進(jìn)行水平翻轉(zhuǎn)操作，增強模型的魯棒性。以上所有增強操作都取=0.5的概率，隨機對圖像進(jìn)行擴增組合，使每一次生成的圖像都是不同數(shù)據(jù)增強方法的隨機組合。因此，即使僅通過少量采集圖像，也能擴增出大量多樣化的虛擬樣本，有效解決某些類別樣本數(shù)量少的問題。

3數(shù)據(jù)與評價指標(biāo)

3.1實驗數(shù)據(jù)

實驗數(shù)據(jù)使用山東泰安卷煙零售終端采集到的前柜、背柜圖像。圖像中包含店鋪在銷的不同品牌卷煙煙盒陳列圖像，其中包含的卷煙種類共計207。對1 200家店鋪進(jìn)行了數(shù)據(jù)采樣，通過手機、相機等設(shè)備對經(jīng)營店鋪的前柜、背柜進(jìn)行拍攝采樣。采樣時采取正面俯拍的角度進(jìn)行拍攝，減少大角度傾斜的拍攝情況，對每家店鋪不重復(fù)地采集前柜數(shù)據(jù)2～3張，背柜數(shù)據(jù)2～3張。按要求匯總后經(jīng)過數(shù)據(jù)清洗，去除部分拍攝質(zhì)量低（模糊、過曝、過暗）的圖像，最終得到用于訓(xùn)練與測試的卷煙圖像共計5 000張。

3.2實驗方法

實驗使用采集到的店鋪前柜、背柜圖像共5 000張，將其劃分為訓(xùn)練集和測試集，訓(xùn)練集包含圖像4 500張，測試集包含圖像500張。訓(xùn)練集作為訓(xùn)練數(shù)據(jù)用于訓(xùn)練卷煙精細(xì)識別模型。測試集用于評估模型的精確率以及各類別的識別效果。本文基于目標(biāo)檢測雙階段模型Faster R-CNN，以原始Faster R-CNN訓(xùn)練結(jié)果作為基線，通過實驗對比驗證了分組級聯(lián)特征提取模塊的有效性，對本文提出的類別自適應(yīng)加權(quán)損失、高質(zhì)量虛擬樣本在長尾分布下尾部類別數(shù)據(jù)的作用進(jìn)行了驗證。

3.3實驗評價指標(biāo)

針對卷煙圖像識別效果的評價，需要根據(jù)模型對卷煙的類別信息和位置信息進(jìn)行綜合評價。為了更好地評價模型性能，依據(jù)單類別識別平均精確率（AveragePrecision，AP）和全部類別平均精確率（mean Average Precision，mAP）對煙盒識別模型進(jìn)行評估，計算如下：

4實驗結(jié)果

4.1實驗設(shè)計

實驗采用Faster-RCNN模型為基礎(chǔ)，加入特征金字塔結(jié)構(gòu)從而更好地提取圖像中的語義信息，采用2.3節(jié)的類別自適應(yīng)加權(quán)損失函數(shù)和2.4節(jié)中高質(zhì)量卷煙虛擬樣本生成方法增強后的數(shù)據(jù)集進(jìn)行模型的訓(xùn)練。為了增強模型的魯棒性，在訓(xùn)練中加入了多尺度訓(xùn)練和隨機旋轉(zhuǎn)的數(shù)據(jù)增強，模型共經(jīng)過72個訓(xùn)練周期的迭代，使用隨機梯度下降法對模型進(jìn)行優(yōu)化，初始學(xué)習(xí)率設(shè)置為0.01，在第44和第60個訓(xùn)練周期時將學(xué)習(xí)率縮放為原來的1/10。實驗運行使用的顯卡為4塊GeForce GTX 1080 Ti。模型訓(xùn)練的損失曲線如圖5所示。可以看出，當(dāng)?shù)喆螢?0 000時，損失值趨于穩(wěn)定收斂。

4.2測試結(jié)果分析

選取原始Faster-RCNN模型作為基準(zhǔn)進(jìn)行對比測試，結(jié)果如表1所示。由表1可以看出，在相同的模型骨架和不使用數(shù)據(jù)擴增的情況下，相對比基準(zhǔn)網(wǎng)絡(luò)與分類層微調(diào)訓(xùn)練的方法，加入類別自適應(yīng)加權(quán)損失后，模型取得了最優(yōu)的效果，可以在原始模型上提高平均識別精確率2.1個百分點。而使用數(shù)據(jù)擴增后數(shù)據(jù)集進(jìn)行訓(xùn)練的方式可以使模型性能進(jìn)一步提升，相對于原始數(shù)據(jù)訓(xùn)練，取得了7.2個百分點的提升。最終，加入替換模型骨架為具有更強特征提取能力的Res2net網(wǎng)絡(luò)結(jié)構(gòu)，綜合使用數(shù)據(jù)擴增和類別自適應(yīng)加權(quán)損失取得了最優(yōu)效果，可以在200余類卷煙種類下，達(dá)到95%的模型識別精度，同時具有較強的泛化性，可以應(yīng)對密集場景和旋轉(zhuǎn)、顛倒圖像的卷煙識別。