宋 陳, 儲(chǔ)紫微, 汪晨燦
(安徽理工大學(xué)機(jī)械工程學(xué)院,安徽 淮南 232000)
視覺測量方法是近年來逐步發(fā)展成熟的一種非接觸光學(xué)測量法,能夠通過圖像采集的方式,無損、快速、準(zhǔn)確地獲得被測對象的全場應(yīng)變和位移信息[1]。通過對目標(biāo)的實(shí)時(shí)檢測,我們可以更加高效的提取出圖片或視頻中的有效信息。盡管在過去十年目標(biāo)追蹤取得了重大進(jìn)展[2-4],但由于光照,環(huán)境,設(shè)備精度等問題追蹤位移檢測技術(shù)依舊是一個(gè)具有很大的挑戰(zhàn)性的問題,且追蹤算法需兼具有較強(qiáng)的時(shí)間與空間魯棒性。在進(jìn)行夜間物體位移檢測中,由于可見光不足,傳統(tǒng)成像設(shè)備無法輸出有效圖像,本文中選擇型號(hào)為3200_1080p工業(yè)紅外攝像裝備以及紅外補(bǔ)光燈作為物體圖像采集設(shè)備?;谙嚓P(guān)濾波的跟蹤算法的實(shí)時(shí)性表現(xiàn)非常穩(wěn)定因此其成為目標(biāo)檢測與跟蹤研究領(lǐng)域的研究熱點(diǎn)[5]。Bolme 等[4]人提出 MOSSE跟蹤算法,首次將相關(guān)濾波應(yīng)用于目標(biāo)追蹤,可適應(yīng)復(fù)雜環(huán)境下的目標(biāo)追蹤,但其精度不高。Henriques 等[6]人提出了 CSK算法,該算法采用分類器進(jìn)一步提高核相關(guān)濾波的檢測精度,隨后于2015年提出KCF跟蹤算法[7],KCF追蹤器能夠準(zhǔn)確追蹤標(biāo)記物體并實(shí)時(shí)輸出標(biāo)記物體坐標(biāo)在追蹤過程中保持圖像平滑以避免丟失幀。KCF追蹤器可以適應(yīng)的成像設(shè)備的幀率范圍更加廣泛。采用改進(jìn)后的追蹤算法將運(yùn)動(dòng)物體的識(shí)別、追蹤與位移計(jì)算相結(jié)合,設(shè)計(jì)基于機(jī)器視覺的物體實(shí)時(shí)位移監(jiān)測系統(tǒng)。通過對KCF追蹤器進(jìn)行研究,建立低亮度位移檢測系統(tǒng);利用形態(tài)學(xué)腐蝕、膨脹、二值化等多種圖像處理方法對圖像干擾信號(hào)進(jìn)行過濾處理;通過相似算法對標(biāo)簽位移進(jìn)行實(shí)時(shí)測量并輸出實(shí)際位移,并在多種干擾條件下進(jìn)行實(shí)驗(yàn),實(shí)現(xiàn)在夜間環(huán)境下位移檢測要求。
隨著近年來計(jì)算機(jī)視覺技術(shù)的快速發(fā)展和數(shù)據(jù)樣本量的大量擴(kuò)充,以深度學(xué)習(xí)為代表的人工智能算法越來越多地應(yīng)用在圖像識(shí)別領(lǐng)域[8]。卷積神經(jīng)網(wǎng)絡(luò)是實(shí)現(xiàn)深度學(xué)習(xí)的一項(xiàng)重要技術(shù),已在圖像識(shí)別領(lǐng)域取得了良好效果[9]。通過算法來進(jìn)行定位捕捉成功率不能達(dá)到精度要求,針對此問題使用合適算法同時(shí)對于標(biāo)簽相應(yīng)做了一系列參數(shù)標(biāo)定,用以提高捕捉準(zhǔn)確率。由于低光照強(qiáng)度下的特殊環(huán)境,不同顏色以及材料對標(biāo)簽捕捉的精度有很大影響,在經(jīng)過實(shí)驗(yàn)對比后選擇采用黑色顆粒標(biāo)簽,其反射紅外線的能力較強(qiáng),成像效果最佳并對其進(jìn)行圖像增強(qiáng)處理[10]。RGB值在通過紅外攝像反饋后比較穩(wěn)定,受環(huán)境影響較小。具體捕捉方法可分為三個(gè)步驟;
1)對目標(biāo)圖像以左上角為原點(diǎn)建立坐標(biāo),對坐標(biāo)正方向進(jìn)行切割,裁切后圖像保留標(biāo)簽所在有效區(qū)域,防止物體邊緣對識(shí)別的干擾。對裁切后的圖像精選灰度轉(zhuǎn)化然后進(jìn)行高斯模糊。如圖2(a)-(b)。
2)然后對標(biāo)簽進(jìn)行腐蝕膨脹處理排除標(biāo)簽周圍雜物對標(biāo)簽的干擾,經(jīng)過多次試驗(yàn)得出腐蝕2次膨脹3次對標(biāo)簽原始參數(shù)影響最小,可以有效地消除噪聲分割出獨(dú)立的圖像元素。如圖2(c)-(d)。
(a)灰度轉(zhuǎn)換 (b)高斯模糊 (c)腐蝕 (d)膨脹
圖2 標(biāo)簽的初始坐標(biāo)及運(yùn)動(dòng)坐標(biāo)
3)在新坐標(biāo)范圍內(nèi)進(jìn)行RGB閾值識(shí)別,設(shè)置RGB全局閾值T,圖像中所有像素點(diǎn)統(tǒng)一使用同一個(gè)固定閾值。式(1)中f(x,y)為圖像RGB值,g(x,y)為處理后的灰度值,使用一維Means方法設(shè)置二值化閾值:
(1)
由于低光照強(qiáng)度條件下,設(shè)備位置以及非自然光的影響RGB變化范圍較大,經(jīng)過試驗(yàn)測試,采用的標(biāo)簽在RGB值在小于10LX光照強(qiáng)度下數(shù)值范圍為0至10,針對標(biāo)簽參數(shù)設(shè)定閾值范圍如表1所示。
表1 不同光照條件下的顏色閾值
基于相關(guān)濾波器(Correlation Filters, CF)優(yōu)化的追蹤器[11]因其良好的時(shí)間魯棒性而備受關(guān)注,這一類追蹤器通過在傅立葉頻域中求解相關(guān)嶺回歸問題來表征目標(biāo)框與其追蹤目標(biāo)在相對空間上的關(guān)聯(lián)性。追蹤器KCF(KernelCorrelation Filter)核相關(guān)濾波算法[12]是基于CF優(yōu)化后的追蹤器,性能更加強(qiáng)大、可靠性更強(qiáng)。相關(guān)濾波算法算特點(diǎn)是判別式跟蹤,通過核相關(guān)濾波器利用數(shù)據(jù)集對判別器進(jìn)行訓(xùn)練,自主判斷跟蹤到的是否為實(shí)際標(biāo)簽或是周圍的背景黑色信號(hào)。通過輪轉(zhuǎn)矩陣對數(shù)據(jù)進(jìn)行采集,使用快速傅里葉變化對算法進(jìn)行加速計(jì)算。
KCF追蹤器,首先在初始幀中通過HOG檢測得到原始圖像,內(nèi)嵌循環(huán)矩陣對樣本進(jìn)行處理,得到足量數(shù)據(jù)集即虛擬樣本,通過虛擬樣本進(jìn)行訓(xùn)練分類。KCF追蹤器中利用循環(huán)矩陣高速輸出虛擬樣本。通過對比兩幅圖像的相關(guān)性以及大量的樣本學(xué)習(xí)得到標(biāo)準(zhǔn)模型,表現(xiàn)形式為數(shù)字信號(hào)處理中的沖激響應(yīng),以下一幀圖像作為輸入信息,尋找輸出中相關(guān)性最突出的點(diǎn)即為最相似的點(diǎn),標(biāo)記為新目標(biāo)并記錄其坐標(biāo)信息。計(jì)算ft和相關(guān)矩陣Kft:
Kft=
(2)
(3)
ft=(1-β)ft-1+βft
(4)
αt=(1-β)αt-1+βαt
(5)
式(4),(5)中,β表示學(xué)習(xí)率,ft-1表示第t-1幀的目標(biāo)特征向量,αt-1表示第t-1幀的核相關(guān)濾波器系數(shù)。
為完成物體的識(shí)別與捕捉,首先對圖像邊界進(jìn)行定義并輸出其相應(yīng)坐標(biāo),具體定義A,B角點(diǎn)坐標(biāo)A(x,y),B(x+w,y+h),如圖3所示。將定義的標(biāo)簽參數(shù)作為整體重新定義為標(biāo)簽新坐標(biāo),便于后續(xù)實(shí)際位移的計(jì)算。完成標(biāo)簽參數(shù)定義后選擇其中心點(diǎn)作為追蹤器追蹤目標(biāo),提高容錯(cuò)率。在單次測量中定義坐標(biāo)與實(shí)際長度對應(yīng)比例不變,利用算法將追蹤器得到的坐標(biāo)變化輸出為物體實(shí)際位移。
圖3 捕捉畫框結(jié)果
在原始圖像在進(jìn)行二值化處理后對數(shù)值為1區(qū)域進(jìn)行標(biāo)記腐蝕膨脹后保留的區(qū)域進(jìn)行邊緣檢測,尋找第一幀標(biāo)簽的邊界,識(shí)別完成后對捕捉部分進(jìn)行畫框標(biāo)記,如圖4所示為標(biāo)簽畫框標(biāo)記結(jié)果。
圖4 干擾項(xiàng)位置
實(shí)際位移距離計(jì)算公式為式(6):
l1h=lh1
(6)
式(6)中l(wèi)1為標(biāo)簽的坐標(biāo)位移;h為標(biāo)簽實(shí)際長度,為定值90mm;l標(biāo)簽實(shí)際位移;h1為標(biāo)簽在紅外圖像的坐標(biāo)長度。
HH1=H1h
(7)
式(7)中H為標(biāo)定物體實(shí)際長度;H1為物體在紅外圖像上的坐標(biāo)長度。
L1h1=LH
(8)
式(8)中L1為物體的實(shí)際位移;L為物體的坐標(biāo)位移。
經(jīng)過數(shù)學(xué)處理得到最終輸出數(shù)值即物體實(shí)際位移L1。由式(5),(6),(7)可知H,H1為中間量,不影響實(shí)際結(jié)果輸出,所以在實(shí)際應(yīng)用中不需要考慮被測物體的尺寸大小。
采用的軟件環(huán)境為:Windows10 + Anaconda-3+ OpenCV2,硬件環(huán)境為紅外攝像頭+紅外補(bǔ)光燈+投影幕布,搭建的實(shí)驗(yàn)平臺(tái)以幕布為移動(dòng)設(shè)備,標(biāo)簽固定在幕布特定位置,測量幕布底端的移動(dòng)距離。為了驗(yàn)證方案可行性,在實(shí)驗(yàn)移動(dòng)設(shè)備幕布上增加不同顏色及大小的干擾項(xiàng),在幕布不同位置如幕布左下方和右下方增加與標(biāo)簽尺寸及RGB值相同的干擾。如圖5所示。
為了驗(yàn)證本方案的可靠性分別對距離2m-5m及高度0.5m,1m,1.5m,2m做了三次重復(fù)性實(shí)驗(yàn)。如表2為夜間物體位移1m位移測量平均誤差。
表2 夜晚物體位移1m位移測量平均誤差
實(shí)驗(yàn)結(jié)果表明,本目標(biāo)追蹤位移檢測算法兼具了時(shí)間和空間魯棒性的均衡,誤差較小,有一定的應(yīng)用價(jià)值。由表可知誤差最小為0.1%是在距離4.5m高度1.5m位置。最大誤差為2.8%在距離2m高度1m位置。因此在實(shí)際應(yīng)用中紅外相機(jī)位置應(yīng)安裝在與標(biāo)簽位置水平距離4.5m,垂直高度1.5m處最佳。
針對光照強(qiáng)度小于10LX環(huán)境下利用KCF追蹤器對物體進(jìn)行實(shí)時(shí)追蹤并對其位移進(jìn)行監(jiān)測基于單目紅外相機(jī)提出了一種物體追蹤直線位移監(jiān)測系統(tǒng)。利用單目紅外攝像頭完成圖像收集,通對第一幀圖像進(jìn)行畫面切割減小識(shí)別范圍之后利用紅外圖像中設(shè)定閾值對標(biāo)簽進(jìn)行捕捉;其次利用KCF核相關(guān)濾波器進(jìn)行物體追蹤,然后對現(xiàn)有的追蹤器算法進(jìn)行改進(jìn)并融合位移數(shù)據(jù)處理模型形成完整的物體位移追蹤監(jiān)測系統(tǒng)并進(jìn)行相應(yīng)的重復(fù)性實(shí)驗(yàn)。利用此算法對位移的輸出不依賴于攝像機(jī)位置與物體位置的幾何關(guān)系,計(jì)算過程更加簡潔,進(jìn)一步簡化算法提高效率。本方案識(shí)別速度快誤差較小,基本滿足夜間位移測量需求,有一定的應(yīng)用前景。