許勝寶 鄭飂默 袁德成
摘 要:由于布匹疵點(diǎn)種類分布不均,部分疵點(diǎn)具有極端的寬高比,而且小目標(biāo)較多,導(dǎo)致檢測難度大,因此提出一種改進(jìn)級聯(lián)R-CNN的布匹疵點(diǎn)檢測方法。針對小目標(biāo)問題,在R-CNN部分采用在線難例挖掘,加強(qiáng)對小目標(biāo)的訓(xùn)練;針對布匹疵點(diǎn)極端的長寬比,在特征提取網(wǎng)絡(luò)中采用了可變形卷積v2來代替?zhèn)鹘y(tǒng)的正方形卷積,并結(jié)合布匹特征重新設(shè)計邊界框比例。最后采用完全交并比損失作為邊界框回歸損失,獲取更精確的目標(biāo)邊界框。結(jié)果表明:對比改進(jìn)前的模型,改進(jìn)后的模型預(yù)測邊界框更加精確,對小目標(biāo)的疵點(diǎn)檢測效果更好,在準(zhǔn)確率上提升了3.57%,平均精確度均值提升了6.45%,可以更好地滿足面料疵點(diǎn)的檢測需求。
關(guān)鍵詞:級聯(lián)R-CNN;面料疵點(diǎn);檢測;可變形卷積v2;在線難例挖掘;完全交并比損失
中圖分類號:TS101.8;TP391
文獻(xiàn)標(biāo)志碼:A
文章編號:1009-265X(2022)02-0048-09
收稿日期:20210607 網(wǎng)絡(luò)出版日期:20210803
基金項目:國家重點(diǎn)研發(fā)計劃“智能機(jī)器人專項”項目(2018YFB1308803)
作者簡介:許勝寶(1993-),男,遼寧丹東人,碩士研究生,主要從事計算機(jī)視覺方面的研究。
通信作者:鄭飂默,E-mail:zhengliaomo@sict.ac.cn
A method for fabric defect detection based on improved cascade R-CNN
XU Shengbao1a, ZHENG Liaomo2,3, YUAN Decheng1b
(1a.College of Computer Science and Technology; 1b. College of Information Engineering, Shenyang
University of Chemical Technology, Shenyang 110142, China; 2.Shenyang Institute of Computing
Technology, Chinese Academy of Sciences, Shenyang 110168, China; 3.Shenyang CASNC
Technology Co., Ltd., Shenyang 110168, China)
Abstract: To solve the difficult detection problem due to the uneven distribution of different fabric defects, extreme aspect ratios existing in some defects, and a large number of small targets, a method for fabric defect detection based on improved cascade R-CNN was proposed. The difficult examples were mined online in R-CNN part to strengthen small target training. To address the issue of the extreme aspect ratio of fabric defects, the traditional square volume in the feature extraction network was replaced by deformable convolution v2. The scale of the bounding box was redesigned according to the characteristics of the fabric. Finally, the complete intersection over union loss was adopted as the bounding box regression loss, and a more accurate target bounding box was obtained. The experimental results indicated that the improved model was more accurate in predicting the bounding box than that before improvement, and it achieved a better effect on small target detection. The accuracy was improved by 3.57%, and the average accuracy was improved by 6.45%. Therefore, it can better meet the requirements of fabric defect detection.
Key words: cascade R-CNN; fabric defect; detection; deformable convolution v2; online difficult example mining; complete intersection over union loss
布匹缺陷檢測任務(wù)的難點(diǎn)可能有以下幾個方面:小目標(biāo)問題,缺陷具有極端的寬高比,樣本不均衡。在MS COCO數(shù)據(jù)集[1]中,面積小于32×32像素的物體被認(rèn)為是小目標(biāo)。小目標(biāo)具有分辨率低,圖像模糊,攜帶的信息少的特點(diǎn),導(dǎo)致其特征表達(dá)能力弱,也就是在提取特征過程中,能提取到的特征非常少,不利于其檢測;布匹疵點(diǎn)由于生產(chǎn)工藝的原因常常具有極端的寬高比,例如斷經(jīng)、斷緯等,給其邊界框的預(yù)測增添了難度;樣本不均衡是指部分疵點(diǎn)擁有大量的訓(xùn)練樣本,而另一部分疵點(diǎn)則只有少數(shù)的樣本,讓分類器學(xué)習(xí)起來很困難。
針對小目標(biāo)問題,Hu等[2]認(rèn)為小目標(biāo)在ROI池化之后會破壞小尺度目標(biāo)的結(jié)構(gòu),導(dǎo)致物體結(jié)構(gòu)失真,于是提出了新的場景感知ROI池化層,維持場景信息和小目標(biāo)的原始結(jié)構(gòu),可以在不增加額外時間復(fù)雜度的前提下提升檢測精度;Li等[3]提出了Perceptual GAN網(wǎng)絡(luò)來生成小目標(biāo)的超分表達(dá),Perceptual GAN利用大小目標(biāo)的結(jié)構(gòu)相關(guān)性來增強(qiáng)小目標(biāo)的表達(dá),使其與其對應(yīng)大目標(biāo)的表達(dá)相似,從而提升小目標(biāo)檢測的精度。
針對布匹缺陷極端的長寬比,陳康等[4]提出了通過增加錨定框的尺寸和比例來增加錨定框的數(shù)量,最終提升了對多尺度目標(biāo)的檢測。孟志青等[5]提出基于快速搜索密度頂點(diǎn)的聚類算法的邊框生成器,結(jié)合真實(shí)框的分布特征分區(qū)間對聚類中心進(jìn)行加權(quán)融合,使區(qū)域建議網(wǎng)絡(luò)生成的邊界框更符合布匹疵點(diǎn)特征。
針對樣本不均衡,Chawla等[6]提出了人工少數(shù)類過采樣法,非簡單地對少數(shù)類別進(jìn)行重采樣,而是通過設(shè)計算法來人工合成一些新的少數(shù)樣本,減少隨機(jī)過采樣引起的過度擬合問題,因?yàn)樯傻氖呛铣墒纠?,而不是?shí)例的復(fù)制,也不會丟失有用的信息;Yang等[7]通過半監(jiān)督和自監(jiān)督這兩個不同的視角去嘗試?yán)斫夂屠貌黄胶獾臄?shù)據(jù),并且驗(yàn)證了這兩種框架均能提升類別不均衡的長尾學(xué)習(xí)問題。
針對布匹疵點(diǎn)小目標(biāo)多,極端長寬比的問題,本文提出一種改進(jìn)的Cascade R-CNN[8]布匹疵點(diǎn)檢測方法,為適應(yīng)布匹疵點(diǎn)的極端長寬比,在特征提取網(wǎng)絡(luò)的后三個階段采用了可變形卷積(DCN)v2[9],在RCNN部分采用了在線難例挖掘(OHEM)[10]來提高小目標(biāo)的檢測效果,并采用完全交并比損失函數(shù)(CIoU Loss)[11]進(jìn)一步提升目標(biāo)邊界框的回歸精度。
1 改進(jìn)Cascade R-CNN的面料疵點(diǎn)檢測方法
Faster R-CNN[12]的單一閾值訓(xùn)練出的檢測器效果有限,本文采用了Cascade R-CNN網(wǎng)絡(luò)結(jié)構(gòu),如圖1所示。其在Faster R-CNN的基礎(chǔ)上通過級聯(lián)的方式逐階段提高IoU的閾值,從而使得前一階段重新采樣過的建議框能夠適應(yīng)下一個有更高閾值的階段。工業(yè)場景下目標(biāo)面積小,特征微弱,通過多級調(diào)整,可以使網(wǎng)絡(luò)集中于低占比的缺陷目標(biāo),最終獲得更為精確的檢測框。
考慮到實(shí)驗(yàn)環(huán)境的顯存和算力,骨干網(wǎng)絡(luò)主要采用了ResNet50[13]作為特征提取網(wǎng)絡(luò)來進(jìn)行對比實(shí)驗(yàn),并接入特征金字塔網(wǎng)絡(luò)[14]進(jìn)行多尺度的特征融合,提升對小目標(biāo)的檢測效果。
1.1 在線難例挖掘采樣
在兩階段的目標(biāo)檢測模型中,區(qū)域建議網(wǎng)絡(luò)會產(chǎn)生大量的建議框,但一張圖片的目標(biāo)數(shù)量有限,絕大部分建議框是沒有目標(biāo)的,為了減少計算量,避免網(wǎng)絡(luò)的預(yù)測值少數(shù)服從多數(shù)而向負(fù)樣本靠攏,需要調(diào)整正負(fù)樣本之間的比例。
目前常規(guī)的解決方式是對兩種樣本進(jìn)行隨機(jī)采樣,以使正負(fù)樣本的比例保持在1∶3,這一方式緩解了正負(fù)樣本之間的比例不均衡,也被大多數(shù)兩階段目標(biāo)檢測方法所使用,但隨機(jī)選出來的建議框不一定是易出錯的框,這就導(dǎo)致對易學(xué)樣本產(chǎn)生過擬合。
在線難例挖掘就是多找一些困難負(fù)樣本加入負(fù)樣本集進(jìn)行訓(xùn)練,如圖2所示,b部分是a部分的復(fù)制,a部分只用于尋找困難負(fù)例,b部分用來反向傳播,然后把更新的參數(shù)共享到a部分,a部分正常的前向傳播后,獲得每個建議框的損失值,在非極大值抑制后對剩下的建議框按損失值進(jìn)行排序,然后選用損失較大的前一部分當(dāng)作輸入再進(jìn)入b部分進(jìn)行訓(xùn)練。
布匹疵點(diǎn)中的小目標(biāo)疵點(diǎn)往往難以檢測,小目標(biāo)常常被劃分為難例,在Cascade R-CNN的每個級聯(lián)層引入在線難例挖掘采樣之后,提高了整個網(wǎng)絡(luò)的短版,防止了網(wǎng)絡(luò)針對大量易學(xué)樣本過擬合,有利于提升面料疵點(diǎn)的檢測精度。訓(xùn)練集越大越困難,在線難例挖掘在訓(xùn)練中所選擇的難例就越多,訓(xùn)練就更有針對性,效果就越好。而布匹疵點(diǎn)恰好小目
標(biāo)多,寬高比方差大,難例較多,更適合在線難例挖掘的應(yīng)用,通過讓網(wǎng)絡(luò)花更多的精力學(xué)習(xí)難樣本,進(jìn)一步提高了檢測的精度。
1.2 可變形卷積v2
可變形卷積v2由可變形卷積[15]演變而來??勺冃尉矸e顧名思義就是卷積的位置是可變形的,并
非在傳統(tǒng)的N×N的網(wǎng)格上做卷積,傳統(tǒng)卷積僅僅只能提取到矩形框的特征,可變形卷積則能更準(zhǔn)確地提取到復(fù)雜區(qū)域內(nèi)的特征。以N×N卷積為例,每個輸出y(p 0),都要從中心位置x(p 0)上采樣9個位置,(-1,-1)代表x(p 0)的左上角,(1,1)代表x(p 0)的右下角。傳統(tǒng)的卷積輸出如式(2),R為規(guī)格網(wǎng)格,而可變形卷積如式(3),在傳統(tǒng)卷積操作上加入了一個偏移量Δp n,使采樣點(diǎn)擴(kuò)散成非網(wǎng)格的形狀。
R=-1,-1,-1,0...,0,1,1,1(1)
yp 0=∑p n∈Rwp n·xp 0+p n(2)
yp 0=∑p n∈Rwp n·xp 0+p n+Δp n(3)
而可變形卷積v2如式(4),在可變形卷積的基礎(chǔ)上加上了每個采樣點(diǎn)的權(quán)重Δm n,這樣增加了更
大的變形自由度,對于某些不想要的采樣點(diǎn)可以將權(quán)重設(shè)置為0,提高了網(wǎng)絡(luò)適應(yīng)幾何變化的能力。
yp 0=∑p n∈Rwp n·xp 0+p n+Δp n·Δm n(4)
ResNet網(wǎng)絡(luò)共有5個階段,如圖3所示,第一階段為對圖像的預(yù)處理,結(jié)構(gòu)較為簡單,后4個階段結(jié)構(gòu)類似,包含不可串聯(lián)的Conv Block和可串聯(lián)的Identity Block。本文在ResNet50骨干網(wǎng)絡(luò)的最后3個階段采用可變形卷積v2,能夠計算每個點(diǎn)的偏移和權(quán)重,從最合適的地方取特征進(jìn)行卷積,以此來適應(yīng)不同形狀的瑕疵,緩解了傳統(tǒng)卷積規(guī)格格點(diǎn)采樣無法適應(yīng)目標(biāo)的幾何形變問題,如圖4所示,改進(jìn)后的骨干網(wǎng)絡(luò)更能適應(yīng)布匹疵點(diǎn)的極端長寬比,有利于疵點(diǎn)的精確檢測。
1.3 完全交并比損失函數(shù)
目標(biāo)檢測中常用的邊界框回歸損失函數(shù)有L1 Loss,L2 Loss,Smooth L1 Loss,上述3種損失在計算時,先獨(dú)立地求出邊界框4個頂點(diǎn)的損失,然后相加得到最終的邊界框回歸損失,這種計算方法的前提是假設(shè)4個點(diǎn)是相互獨(dú)立的,但實(shí)際它們是相關(guān)的。而評價邊界框的指標(biāo)是IoU,如式(5)所示,即預(yù)測邊界框和真實(shí)邊界框的交并比。
IoU=|A∩B||A∪B|(5)
但上述3種損失和IoU并不等價,多個邊界框可能損失大小相同,但I(xiàn)oU差異較大,因此就有了IoU Loss[16],如式(6)所示。
IoU Loss=-lnIoU(6)
IoU Loss直接把IoU作為損失函數(shù),但它無法解決預(yù)測框和真實(shí)框不重合時IoU為0的問題,由此產(chǎn)生了GIoU Loss[17],GIoU如式(7),對于兩個邊界框A和B,要找到一個最小的封閉形狀C,讓C將A和B包圍在里面,然后計算C中沒有覆蓋A和B的面積占C總面積的比例,最后用A和B的IoU值減去這個比值。
GIoU=IoU-|C\A∪B|C,(7)
但是當(dāng)目標(biāo)框完全包含預(yù)測框時,GIoU退化為IoU,IoU和GIoU的值相等,無法區(qū)分其相對位置關(guān)系,由此產(chǎn)生了DIoU和CIoU。DIoU將真實(shí)框與預(yù)測框之間的距離,重疊率以及尺度都考慮進(jìn)去,如式(8):
DIoU=IoU-ρ2b,bgtc2(8)
式中:b,bgt分別代表預(yù)測框和真實(shí)框的中心點(diǎn),ρ表示計算兩個中心點(diǎn)之間的歐式距離,c表示包含預(yù)測框和真實(shí)框的最小外界矩形的對角線長度。
CIoU考慮到邊界框回歸中的長寬比還沒被考慮到計算中,在DIoU懲罰項的基礎(chǔ)上添加了影響因子αv,如式(9):
R CIoU=ρ2b,bgtc2+αυ(9)
式中:α是權(quán)重函數(shù), v表示長寬比的相似性,如式(10):
υ=4π2arctanwgthgt-arctanwh2(10)
式中:w、wgt分別代表預(yù)測框和真實(shí)框的寬度,h、hgt分別代表預(yù)測框和真實(shí)框的高度。
最終CIoU的損失定義如式(11):
L CIoU=1-IoU+ρ2b,bgtc2+αυ(11)
本文將原始模型中的邊界框回歸損失選為CIoU Loss,CIoU能夠?qū)⒅丿B面積,中心點(diǎn)距離,長寬比這3個幾何因素都考慮進(jìn)去,相比其他邊界框損失函數(shù),其收斂的精度更高,從而可以提升布匹疵點(diǎn)檢測時的定位準(zhǔn)確度。
2 實(shí)驗(yàn)結(jié)果與對比分析
2.1 實(shí)驗(yàn)數(shù)據(jù)集
本文使用天池布匹疵點(diǎn)數(shù)據(jù)集,包含約9600張大小為2446×1000的純色布匹圖像,其中正常圖片約3600張,瑕疵圖片約6000張,每張圖片包含一種或多種瑕疵的一個或幾個,共9523個疵點(diǎn),包含了紡織業(yè)中常見的34類布匹瑕疵,將某些類別合并后,最終分為20個類別。各類疵點(diǎn)的分類及數(shù)量見表1,其中6百腳、9松經(jīng)、10斷經(jīng)、11吊經(jīng)、14漿斑等屬于寬高比比較極端的疵點(diǎn),3三絲、4結(jié)頭、7毛粒、12粗緯、13緯縮等屬于小目標(biāo)的疵點(diǎn)。
圖5為數(shù)據(jù)集中不同類型疵點(diǎn)的目標(biāo)數(shù)統(tǒng)計,不同疵點(diǎn)間數(shù)目差異巨大,種類分布嚴(yán)重不均,例如結(jié)頭近2000個樣本,而花板跳只有134個樣本,這容易產(chǎn)生過擬合,使訓(xùn)練出的模型泛化能力較差;圖6展示了不同類型疵點(diǎn)的寬高比,從零點(diǎn)零幾到五十,疵點(diǎn)尺寸差異較大;圖7展示了典型的寬高比懸殊的疵點(diǎn);圖8為不同面積目標(biāo)的數(shù)量占比,其中小目標(biāo)占比較高,約四分之一,這些都給布匹疵點(diǎn)的檢測帶來了困難。
由于數(shù)據(jù)尺度固定,也不涉及自然場景,非常適合通過上下反轉(zhuǎn)等操作來進(jìn)行數(shù)據(jù)增強(qiáng)。為減少過擬合,降低疵點(diǎn)種類分布不均的影響,本文對樣本數(shù)小于200的四類疵點(diǎn)進(jìn)行了水平翻轉(zhuǎn)和垂直翻轉(zhuǎn)的線下增強(qiáng),對樣本數(shù)在200~300之間的三類疵點(diǎn)進(jìn)行了水平翻轉(zhuǎn)的線下增強(qiáng),最終將數(shù)據(jù)集擴(kuò)充到約10000張瑕疵圖片。
2.2 實(shí)驗(yàn)環(huán)境及配置
實(shí)驗(yàn)運(yùn)行的環(huán)境為英特爾i9 10900X,GeForce RTX3080,32G內(nèi)存,Ubuntu18.04操作系統(tǒng)。
為盡可能地利用實(shí)驗(yàn)數(shù)據(jù),訓(xùn)練集中只使用瑕疵圖片,隨機(jī)選1000張正常圖片進(jìn)行兩等分,分別放于驗(yàn)證集和測試集,并向驗(yàn)證集和測試集中加入瑕疵圖片,最終訓(xùn)練集、驗(yàn)證集和測試集比例約為60%、20%和20%。對于所提出的Cascade R-CNN卷積神經(jīng)網(wǎng)絡(luò),選擇交叉熵作為分類損失函數(shù)。為了加快收斂速度,使用了COCO的預(yù)訓(xùn)練權(quán)重,并設(shè)置了梯度裁剪來穩(wěn)定訓(xùn)練過程,避免產(chǎn)生梯度爆炸或梯度消失。
考慮到樣本的寬高比差異較大,而Cascade R-CNN網(wǎng)絡(luò)原始的邊界框比例是根據(jù)COCO數(shù)據(jù)集設(shè)計的,原始的[0.5,1.0,2.0]的比例并不能滿足布匹疵點(diǎn)的需要,因此將邊界框比例設(shè)計為[0.02,0.05,0.1,0.5,1.0,2.0,10.0,20.0,50.0]來提高檢測精度。
用Soft-NMS[18]代替了原模型中NMS[19],Soft-NMS沒有將其重合度較高的邊界框直接刪除,而是通過重合度對邊界框的置信度進(jìn)行衰減,最終得到的結(jié)果并非一定是全局最優(yōu)解,但比NMS更泛化,能有效避免面料疵點(diǎn)丟失,且不會增加算法的復(fù)雜度[20]。
2.3 實(shí)驗(yàn)結(jié)果對比
在進(jìn)行數(shù)據(jù)擴(kuò)增前,數(shù)量多的樣本能夠最先被識別出來,而且最終的平均精確度較高,而數(shù)量少的樣本,識別出來的較晚,且最終的平均精確度較低,模型明顯過擬合,偏向于數(shù)量較多的樣本,通過對類別少的數(shù)據(jù)進(jìn)行數(shù)據(jù)擴(kuò)增,有效的緩解了這一問題,且最終的檢測精度也有提升。
模型改進(jìn)前后的檢測效果對比如圖9所示,改進(jìn)前后的效果按照上下分布,改進(jìn)后的模型對目標(biāo)的邊界識別更加精準(zhǔn),對小目標(biāo)的檢出能力更強(qiáng),疵點(diǎn)檢測效果更好。
為了對比模型的性能,本文以準(zhǔn)確率ACC和平均精確度均值mAP[21]作為評價指標(biāo),ACC是有瑕疵或無瑕疵的二分類指標(biāo),評估瑕疵檢出能力。mAP是所有類別的平均精確度的均值,參照PASCALVOC的評估標(biāo)準(zhǔn)[22]進(jìn)行計算。模型改進(jìn)
前后的評價參數(shù)如表2所示,在線難例挖掘采樣對2、7、13、15、17、18、20等類別的提升較大,這些類型本身的AP較低,可以歸為難例,證明了在線難例挖掘采樣的有效性。引入OHEM后,雖然模型準(zhǔn)確率略微下降,但平均精確度均值還是有較為明顯的提升。綜合來看,改進(jìn)后的模型在準(zhǔn)確率和平均精確度均值上分別提升了3.57%和6.45%,證明了上述3種方法的有效性。
影響小目標(biāo)檢測效果的因素有輸入圖像的尺度、小目標(biāo)的數(shù)量、特征融合、邊界框的設(shè)計和光照強(qiáng)度等,為了獲得更好的檢測效果,在訓(xùn)練出模型后,再在不同的光強(qiáng)下對測試集進(jìn)行測試,本文使用了mmdetection框架的線上調(diào)整亮度的方式,將亮度劃分為0~10之間的小數(shù)范圍,對比實(shí)驗(yàn)結(jié)果如表3所示,不同光強(qiáng)下的平均精確度均值差異較大,驗(yàn)證了光強(qiáng)對布匹疵點(diǎn)的識別影響較大,但本文未能找到統(tǒng)一的最佳的光照強(qiáng)度,后通過比較數(shù)據(jù)集發(fā)現(xiàn),本文數(shù)據(jù)源于實(shí)際工業(yè)場景,不同數(shù)據(jù)已有明顯不同的光強(qiáng),且布匹顏色并不一致,不同顏色的布匹最合適的光強(qiáng)可能并不一致,因此本文的后續(xù)實(shí)驗(yàn)不再調(diào)整統(tǒng)一的光照強(qiáng)度,采用原始數(shù)據(jù)集的亮度。
表4為引入在線難例挖掘采樣前后的模型性能對比,在引入在線難例挖掘之后,測試集上的性能明顯提升,而訓(xùn)練集上的性能反而下降,證明了在線難例挖掘采樣能夠減輕模型的過擬合,同時對于模型的性能提升也是有效的。
除ResNet50外,本文還選用了不同的特征提取網(wǎng)絡(luò)進(jìn)行對比實(shí)驗(yàn),如表5所示,改進(jìn)后的算法分別采用了ResNet50,ResNet101,ResNext101骨干網(wǎng)絡(luò)進(jìn)行對比,結(jié)果表明本文算法對這幾種骨干網(wǎng)絡(luò)都適用,在相同算法下,ResNext101的性能優(yōu)于ResNet101和ResNet50,準(zhǔn)確率和平均精確度均值分別達(dá)到了98.46%和58.11%,相比原來的ResNet50分別提升了1.26%和2.74%,平均精確度均值相比準(zhǔn)確率有著更為明顯的提升。
3 結(jié) 論
針對布匹疵點(diǎn)具有極端的寬高比,而且小目標(biāo)較多的問題,提出了基于Cascade R-CNN的布匹檢測算法,根據(jù)布匹疵點(diǎn)的形狀特點(diǎn),用可變形卷積v2替代傳統(tǒng)的卷積方式進(jìn)行特征提取,并使用在線難例挖掘采樣的方法提升對小目標(biāo)疵點(diǎn)的檢測效果,用CIoU Loss提升邊界框的精度。結(jié)果表明,本文提出的方法比原始模型擁有更高的準(zhǔn)確率和平均精確度均值,疵點(diǎn)檢出能力更強(qiáng),精度更高。此外,由于實(shí)驗(yàn)環(huán)境算力的限制,本文未采用更多的擴(kuò)增數(shù)據(jù),也并沒有進(jìn)行模型融合去提升最終的模型評價指標(biāo)。實(shí)驗(yàn)過程中發(fā)現(xiàn),邊界框?qū)捀弑?,NMS閾值,IoU閾值等一些超參數(shù)的設(shè)置,對模型的性能有極大的影響。例如小目標(biāo)尺度小,邊界框的交并比更低,在相同閾值下難以得到足夠的正樣本[23],因此,如何更深的理解布匹疵點(diǎn)數(shù)據(jù)特性,選擇最適合布匹疵點(diǎn)特性的超參數(shù)列表,以此來提高目標(biāo)檢測的性能,將是未來的一個研究方向。
參考文獻(xiàn):
[1]LIN T Y, MAIRE M, BELONGIE S, et al. Microsoft COCO: Common objects in context [C]// European Conference on Computer Vision, Cham: Pringer International Pubcishing, 2014:740-755.
[2]HU X, XU X, XIAO Y, et al. SINet: A scale-insensitive convolutional neural network for fast vehicle detection[J]. IEEE Transactions on Intelligent Transportation Systems,2019,20(3): 1010-1019.
[3]LI J, LIANG X, WEI Y, et al. Perceptual generative adversarial networks for small object detection [C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Honolulu, HI, USA. IEEE, 2017: 1222-1230.
[4]陳康,朱威,任振峰,等.基于深度殘差網(wǎng)絡(luò)的布匹疵點(diǎn)檢測方法[J]. 小型微型計算機(jī)系統(tǒng),2020,41(4):800-806.
CHEN Kang, ZHU Wei, REN Zhenfeng, et al. Fabric defect detection method based on deep residual network[J]. Journal of Chinese Mini-Micro Computer Systems. 2020, 41(4): 800-806.
[5]孟志青,邱健數(shù).基于級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)的復(fù)雜花色布匹瑕疵檢測算法[J]. 模式識別與人工智能,2020,33(12): 1135-1144.
MENG Zhiqing, QIU Jianshu. Defect detection algorithm of complex pattern fabric based on cascaded convolution neural network[J]. Pattern Recognition and Artificial Intelligence, 2020, 33(12): 1135-1144.
[6]CHAWLA N V, BOWYER K W, HALL L O, et al. Synthetic minority over-sampling technique[J]. Journal of artificial intelligence research,2002,16: 321-357.
[7]YANG Y Z, XU Z. Rethinking the value of labels for improving class-imbalanced learning[EB/OL]. 2020: arXiv: 2006.07529[cs.LG]. https://arxiv.org/abs/2006.07529.
[8]CAI Z W, VASCONCELOS N. Cascade R-CNN: Delving into high quality object detection[C]//Conference on Computer Vision and Pattern Recognition. Salt Lake City, UT, USA. IEEE, 2018: 6154-6162.
[9]ZHU X Z, HU H, LIN S, et al. Deformable ConvNets V2: More deformable, better results[C]//Conference on Computer Vision and Pattern Recognition. Long Beach, CA, USA. IEEE, 2019: 9300-9308.
[10]SHRIVASTAVA A, GUPTA A, GIRSHICK R. Training region-based object detectors with online hard example mining[C]// Conference on Computer Vision and Pattern Recognition. Las Vegas, NV, USA. IEEE, 2016: 761-769.
[11]ZHENG Z H, WANG P, LIU W, et al. Distance-IoU loss: Faster and better learning for bounding box regression[J]. Proceedings of the AAAI Conference on Artificial Intelligence, 2020, 34(7): 12993-13000.
[12]REN S Q, HE K M, GIRSHICK R, et al. Faster R-CNN: Towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(6): 1137-1149.
[13]HE K M, ZHANG X Y, REN S Q, et al. Deep residual learning for image recognition[C]// Conference on Computer Vision and Pattern Recognition. Las Vegas, NV, USA. IEEE, 2016: 770-778.
[14]LIN T Y, DOLLR P, GIRSHICK R, et al. Feature pyramid networks for object detection[C]// Conference on Computer Vision and Pattern Recognition. Honolulu, HI, USA. IEEE, 2017: 936-944.
[15]DAI J F, QI H Z, XIONG Y W, et al. Deformable convolutional networks[C]//International Conference on Computer Vision. Venice, Italy. IEEE, 2017: 764-773.
[16]YU J H, JIANG Y N, WANG Z Y, et al. UnitBox: An advanced object detection network[C]//Proceedings of the 24th ACM International Conference on Multimedia. Amsterdam The Netherlands. New York, NY, USA: ACM, 2016: 516-520.
[17]REZATOFIGHI H, TSOI N, GWAK J, et al. Generalized intersection over union: A metric and a loss for bounding box regression[C]// Conference on Computer Vision and Pattern Recognition. Long Beach, CA, USA. IEEE, 2019: 658-666.
[18]BODLA N, SINGH B, CHELLAPPA R, et al. Soft-NMS: Improving object detection with one line of code[C]// International Conference on Computer Vision. Venice, Italy. IEEE, 2017: 5562-5570.
[19]NEUBECK A, VAN GOOL L. Efficient non-maximum suppression[C]// 18th International Conference on Pattern Recognition. Hong Kong, China. IEEE,2006: 850-855.
[20]安萌,鄭飂默,王詩宇,等.一種改進(jìn)Faster R-CNN的面料疵點(diǎn)檢測方法[J]. 小型微型計算機(jī)系統(tǒng),2021,42(5):1029-1033.
AN Meng, ZHENG Liaomo, WANG Shiyu, et al. A fabric defect detection method based on improved faster R-CNN[J]. Journal of Chinese Computer Systems, 2021,42(5):1029-1033.
[21]張澤苗,霍歡,趙逢禹. 深層卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測算法綜述[J]. 小型微型計算機(jī)系統(tǒng),2019,40(9):1825-1831.
ZHANG Zemiao, HUO Huan, ZHAO Fengyu. Survey of object detection algorithm based on deep convolutional neural networks[J]. Journal of Chinese Computer Systems, 2019, 40(9): 1825-1831.
[22]PADILLA R, PASSOS W L, DIAS T L B, et al. A comparative analysis of object detection metrics with a companion open-source toolkit[J]. Electronics,2021,10(3): 279.
[23]陳科圻,朱志亮,鄧小明,等.多尺度目標(biāo)檢測的深度學(xué)習(xí)研究綜述[J]. 軟件學(xué)報,2021,32(4):1201-1227.
CHEN Keqi, ZHU Zhiliang, DENG Xiaoming, et al. Deep learning for multi-scale object detection: asurvey[J]. Journal of Software. 2021,32(4):1201-1227.