劉澤平 劉明興 麻方達(dá) 李曉帆 姚明杰 符朝興

摘要：針對目前全局視覺定位算法無法對外形變化較大的自動(dòng)導(dǎo)引運(yùn)輸車（Automated Guided Vehicle，AGV）進(jìn)行定位的問題，提出了一種基于移動(dòng)目標(biāo)檢測和目標(biāo)追蹤的定位方式。選用基于高斯混合模型的背景建模法進(jìn)行移動(dòng)AGV檢測，當(dāng)初始選擇框太大時(shí)采用顯著性目標(biāo)檢測方式進(jìn)一步提高精度，將移動(dòng)目標(biāo)檢測與目標(biāo)追蹤相結(jié)合完成了AGV的定位。實(shí)驗(yàn)結(jié)果表明，本文設(shè)計(jì)的定位算法滿足實(shí)際定位需求，可應(yīng)用于車間物流AGV。

關(guān)鍵詞：AGV;定位;移動(dòng)目標(biāo)檢測;目標(biāo)追蹤;全局視覺

中圖分類號(hào)：TP249???????? 文獻(xiàn)標(biāo)志碼：A

針對全局視覺定位算法大都需要提前采集機(jī)器人外觀信息，如，利用模板匹配的方式對機(jī)器人定位，并利用橢圓區(qū)域檢測進(jìn)一步提高速度和準(zhǔn)確率[1];基于混合高斯模型，對泊車緩沖區(qū)中的動(dòng)態(tài)物體進(jìn)行了有效檢測[2];采用Camshift組合SIFT定位為移動(dòng)機(jī)器人設(shè)置一個(gè)標(biāo)準(zhǔn)模板，Camshift算法計(jì)算機(jī)器人坐標(biāo)，SIFT機(jī)器人計(jì)算與模板之間的角度確定機(jī)器人位姿，并針對SIFT特征點(diǎn)速度慢的情況使用BRISK特征進(jìn)行改進(jìn)[3]; 通過識(shí)別AGV頂部兩個(gè)色標(biāo)和圖像坐標(biāo)系與世界坐標(biāo)系的兩個(gè)參考點(diǎn)，計(jì)算機(jī)器人在實(shí)驗(yàn)平臺(tái)位姿，從而完成定位[4];針對單目視覺全局定位算法復(fù)雜，提出一種識(shí)別標(biāo)定板的雙目視覺全局定位方法，考慮了雙目相機(jī)與移動(dòng)機(jī)器人距離影響精度和準(zhǔn)確的情況，并對定位方案進(jìn)行了實(shí)驗(yàn)驗(yàn)證[5];或通過在機(jī)器人上設(shè)置的三個(gè)標(biāo)記點(diǎn)與目的地組成三角形的邊長和夾角控制速度和方向，這種基于匹配和標(biāo)記的方法采集方便但定位結(jié)果受光照、環(huán)境和機(jī)器人外形建議影響放大[6]。利用基于深度學(xué)習(xí)的圖像分割方式實(shí)現(xiàn)了魚類的實(shí)時(shí)位姿識(shí)別[7];利用YOLO目標(biāo)檢測結(jié)果初始化跟蹤區(qū)域，提出了融合深度學(xué)習(xí)目標(biāo)提取方法的均值漂移跟蹤改進(jìn)算法來實(shí)現(xiàn)對AGV的定位[8];利用支持向量機(jī)（JVM）模型預(yù)測區(qū)域內(nèi)AGV的再識(shí)別以及對長短期記憶（LSTM）網(wǎng)絡(luò)的預(yù)測結(jié)果進(jìn)行校正，達(dá)到對目標(biāo)的持續(xù)追蹤效果，這種基于深度學(xué)習(xí)目標(biāo)檢測的方法定位準(zhǔn)確，但是需要提前采集大量素材進(jìn)行訓(xùn)練[9]。因車間AGV可能在上方承載不同物料，導(dǎo)致AGV外形經(jīng)常變化且標(biāo)記物易被遮擋，此時(shí)無法采用基于匹配和標(biāo)記的定位算法，并且訓(xùn)練基于深度學(xué)習(xí)的檢測模型需要更多的素材，這在車間實(shí)際生產(chǎn)中不易實(shí)現(xiàn)。因此本文采用基于移動(dòng)目標(biāo)檢測的方式對AGV進(jìn)行定位，設(shè)計(jì)一種不需提前訓(xùn)練檢測模型就可定位未知外形AGV的算法，通過移動(dòng)目標(biāo)識(shí)別算法確定AGV初始位置，利用目標(biāo)追蹤等方式不斷定位行進(jìn)中的AGV，并實(shí)時(shí)矯正位置。

1 AGV定位方法選用

1.1 移動(dòng)目標(biāo)檢測

本文選用基于背景差分法的移動(dòng)目標(biāo)檢測方式[10]。常用的背景模型建立方法有GMM（Gaussian Mixture Modeling）[11]、KNN（K-nearest neigbours）[12]、VIBE（visual background extractor）[13]等，本文選取常用的基于高斯混合模型的方法檢測運(yùn)動(dòng)的AGV。高斯混合模型通過多個(gè)高斯概率分布函數(shù)線性組合來表示像素在時(shí)域概率分布模型，分布模型為

P（xti，j）=∑Nk=1ωtk·Gxti，j，μtk，（σtk）2（1）

其中，xti，j代表i，j位置的像素點(diǎn)x在t時(shí)刻的像素值，ωtk為t時(shí)刻第k個(gè)高斯分布的加權(quán)系數(shù)，且∑Nk=1ωtk=1，Gxti，j，μtk，（σtk）2表示t時(shí)刻期望值為μtk，標(biāo)準(zhǔn)差為（σtk）2，表達(dá)式為

Gxti，j，μtk，（σtk）2=12πσtke-（xti，j-μtk）22（σtk）2（2）

將每個(gè)像素點(diǎn)x與此時(shí)刻的背景模型進(jìn)行比較，當(dāng)像素點(diǎn)與第k個(gè)高斯模型匹配時(shí)，像素為背景，否則為移動(dòng)目標(biāo)，并與一個(gè)新的分布替換模型中權(quán)重最小分布

xti，j-μt-1k≤2.5×（σt-1k）（3）

權(quán)重更新公式為

ωt+1k=（1-α）ωtk+α×Dtk（4）

其中，α稱為更新因子，Dtk當(dāng)匹配成功時(shí)為1，否則為0。當(dāng)匹配成功后，模型更新參數(shù)為

μt+1k=（1-ρ）μtk+ρ×xti，j

（σt+1k）2=（1-ρ）（σtk）2+ρ×（xti，j-μtk）2（5）

ρ≈αωtk

1.2 目標(biāo)追蹤

本文對幾種常用跟蹤方法進(jìn)行測試，結(jié)果如表1所示。其中除KCF、MOSSE、MIL外都有追蹤目標(biāo)丟失現(xiàn)象，MOSSE速度最快，KCF是在MOSSE算法基礎(chǔ)上采用HOG多通道特征和高斯核函數(shù)改善跟蹤效果，速度偏慢，但更精確。本文方法是在移動(dòng)目標(biāo)檢測確定AGV初始位置后，再依靠目標(biāo)追蹤定位，在考慮速度的情況下，精度應(yīng)盡可能的高，因此本文采用KCF算法進(jìn)行目標(biāo)追蹤。

KCF相關(guān)濾波操作計(jì)算了兩個(gè)信號(hào)在某個(gè)特定特征空間的相似度，其相似度越高相關(guān)響應(yīng)值越高[14]。KCF算法是將CSK算法由像素特征這種單特征通道拓展為多特征通道HOG特征，利用循環(huán)矩陣在頻域里可對角化的性質(zhì)將矩陣轉(zhuǎn)化為向量點(diǎn)乘運(yùn)算，使得跟蹤速度大大提高，同時(shí)設(shè)計(jì)了多類特征融入該算法的通道模式[15]。

（1）線性回歸模型。通過最小化嶺回歸損失來學(xué)習(xí)追蹤線性回歸函數(shù)f（z）=ωTz，訓(xùn)練樣本集為（xi，yi）

argminω∑ifxi-yi2+λω2（6）

其中，xi與yi為第i個(gè)訓(xùn)練樣本及其對應(yīng)的回歸目標(biāo)，ω為預(yù)測模型權(quán)重系數(shù)矩陣，λ為正則化項(xiàng)的權(quán)重。該問題具有封閉解

ω=（XTX+λI）-1XTy（7）

其中，矩陣X的每行是一個(gè)樣本xi，I是單位矩陣。為了加速計(jì)算將訓(xùn)練樣本集轉(zhuǎn)換到復(fù)數(shù)域，則該預(yù)測模型為

ω=（XHX+λI）-1XHy（8）

其中，XH=（X*）T，X*是X的復(fù)共軛矩陣。

（2）非線性回歸模型。線性回歸函數(shù)f（z）=ωTz權(quán)重系數(shù)利用核技巧映射到非線性的高維空間φ（x）求解，即w=∑iαiφ（xi），φT（x）φ（x′）=k（xi，xj），f（z）=wTz=∑ni=1αik（z，xi），從而優(yōu)化變量α而不是w。核技巧的嶺回歸的解為

α=（K+λI）-1y（9）

其中，K為核矩陣，α是系數(shù)αi形成的向量。用K=C（kxx）循環(huán)矩陣帶入式（9）中，得樣本圖像z的檢測響應(yīng)計(jì)算公式為

f（z）∧=kxz∧⊙α∧（10）

其中，最大響應(yīng)值對應(yīng)的坐標(biāo)就是目標(biāo)位置。

2 AGV定位流程設(shè)計(jì)

通過移動(dòng)目標(biāo)檢測定位AGV，確定移動(dòng)物體為目標(biāo)AGV并標(biāo)記其初始位置選擇框，從而后續(xù)幀可進(jìn)行目標(biāo)追蹤定位。為提高檢測速度和精度，本文基于圖像下采樣減少背景信息，去除噪點(diǎn)檢測目標(biāo)。AGV定位流程如圖1所示。

2.1 圖像下采樣

通過對圖像下采樣降低其分辨率，可將圖像中噪點(diǎn)過濾掉，雖然丟失了一部分細(xì)節(jié)信息，但大部分整體特征依舊保留。首先對上一層圖像進(jìn)行高斯模糊，然后去除所有偶數(shù)行和列，即可得到下采樣圖像，如圖2所示。該方法輸出圖像為原圖四分之一，不僅減少了細(xì)節(jié)噪聲，而且對于高分辨率圖像可以提高程序運(yùn)行速度。

2.2 移動(dòng)AGV檢測

在下采樣圖像上利用高斯混合模型背景建模法進(jìn)行移動(dòng)目標(biāo)檢測，然后將選擇框位置投影到原圖像上。為了多個(gè)AGV工作時(shí)能夠準(zhǔn)確選擇目標(biāo)AGV，每次AGV到達(dá)一個(gè)目的地停止后，將該地址記錄到數(shù)據(jù)庫中，下次該位置AGV啟動(dòng)時(shí)，調(diào)用該位置P，將檢測到的運(yùn)動(dòng)區(qū)域中心與點(diǎn)P計(jì)算距離，如果距離小于閾值T，則認(rèn)為該區(qū)域位于P點(diǎn)附近，為AGV部分區(qū)域。

AGV在拍攝圖像中代表的面積可能會(huì)改變，但AGV一定會(huì)有一個(gè)最小面積，提前設(shè)定AGV最小面積為Smin，防止選擇框過小情況出現(xiàn)。在數(shù)據(jù)庫中每次停車時(shí)記錄小車位姿，可以有效縮小目標(biāo)AGV搜索范圍。本文設(shè)定AGV在像素坐標(biāo)系下最小面積為Smin=28 000像素，初始選擇框坐標(biāo)擴(kuò)大兩倍，在原圖像上檢測結(jié)果如圖3所示，選擇框位置正確。

本文方法在大多數(shù)光照變化不劇烈的情況下可以準(zhǔn)確定位，但是由于背景減除法本身原理限制，在光照變化劇烈或相機(jī)抖動(dòng)明顯時(shí)，出現(xiàn)圖4選擇框位置具有較大偏差的情況，為提高定位準(zhǔn)確度，通過顯著性目標(biāo)檢測進(jìn)一步實(shí)驗(yàn)提高檢測精度。

2.3 顯著性目標(biāo)檢測

AGV移動(dòng)時(shí)，檢測出的目標(biāo)位置移動(dòng)區(qū)域經(jīng)常比AGV實(shí)際區(qū)域大，運(yùn)動(dòng)框選區(qū)域內(nèi)可能存在部分其他物體，影響定位精度，但該區(qū)域面積已相對較小，運(yùn)動(dòng)框選區(qū)域內(nèi)最顯著的目標(biāo)為AGV，其余多是背景或小目標(biāo)，因此在進(jìn)行移動(dòng)目標(biāo)檢測后可以使用顯著性目標(biāo)檢測獲取位置。顯著性目標(biāo)檢測的目的是從圖像中識(shí)別出最明顯的物體，本文使用幾種常用的傳統(tǒng)顯著性目標(biāo)檢測和基于深度學(xué)習(xí)的顯著性目標(biāo)檢測效果如圖5所示。

由圖5可見，SaliencyFineGrained方法[16]和SpectralResidual方法作為傳統(tǒng)方法檢測效果不如基于深度學(xué)習(xí)的F3Net方法好。F3Net主要由交叉特征模塊（CFM）和通過最小化新像素位置感知損失（PPA）訓(xùn)練的級(jí)聯(lián)反饋解碼器（CFD）組成，來解決不同卷積層的接受域不同，生成的特征存在較大差異可能導(dǎo)致次優(yōu)解的問題，檢測一張圖像需要14.26 ms[17]。采用顯著性目標(biāo)檢測后，對比圖5（a）、（b）可知，目標(biāo)檢測精度會(huì)提高，但由于應(yīng)用顯著性目標(biāo)檢測會(huì)降低程序運(yùn)行速度，故實(shí)際應(yīng)用時(shí)可根據(jù)車間環(huán)境選擇是否采用顯著性目標(biāo)檢測。

2.4 基于目標(biāo)追蹤的定位

通過移動(dòng)目標(biāo)檢測算法可以得到在原圖像和下采樣圖像上的AGV中心點(diǎn)和形態(tài)，為了定位速度更快，后續(xù)幀采用目標(biāo)追蹤進(jìn)行定位，效果如圖6所示。追蹤一段時(shí)間后需再次利用移動(dòng)目標(biāo)檢測定位AGV，因此通過下采樣圖像中心點(diǎn)坐標(biāo)放大對應(yīng)的下采樣倍數(shù)，作為原圖像AGV中心點(diǎn)坐標(biāo)，將下采樣圖像上的追蹤結(jié)果投影到原圖像上。該方法速度快，但存在一定誤差。

3 實(shí)驗(yàn)驗(yàn)證

對本文設(shè)計(jì)的AGV定位算法進(jìn)行定位精度和定位速度實(shí)驗(yàn)，檢驗(yàn)新算法能否滿足實(shí)際應(yīng)用要求。

3.1 環(huán)境搭建

本文定位系統(tǒng)主要分為圖像采集模塊、AGV、PC上位機(jī)三部分。本文實(shí)驗(yàn)所使用的攝像頭為海康威視DS-IPC-T12-I，焦距為4 mm，分辨率為19 201 080，攝像頭拍攝的模擬實(shí)驗(yàn)場景如圖7所示?？梢妶D像存在較大的畸變，產(chǎn)生定位誤差，因此對攝像頭去畸變。本文使用張正友攝像機(jī)標(biāo)定法結(jié)合OpenCV對攝像頭進(jìn)行標(biāo)定，矯正后模擬場地如圖8所示。

為實(shí)驗(yàn)AGV定位精度，需要計(jì)算每個(gè)像素點(diǎn)代表的實(shí)際距離，因此選取圖9中的A、B、C、D共4個(gè)點(diǎn)。經(jīng)測量AB，BD，DC，CA四條線段的實(shí)際長度為1 100 mm。4個(gè)點(diǎn)的像素坐標(biāo)數(shù)據(jù)見表2，計(jì)算得單位像素的寬度對應(yīng)實(shí)際距離2.3 mm。

3.2 誤差校正

由于攝像頭投影關(guān)系的影響，當(dāng)AGV行駛至邊緣時(shí)，在圖像上測量的中心點(diǎn)與實(shí)際中心點(diǎn)位置像素坐標(biāo)會(huì)不一致，需要進(jìn)行誤差校正。AGV高度為29 cm，在行駛路徑上任取6個(gè)點(diǎn)，實(shí)際坐標(biāo)點(diǎn)與采集像素坐標(biāo)點(diǎn)誤差如表3所示。由表可知x軸方向誤差近似保持不變，平均誤差為9.17像素。測量結(jié)果y坐標(biāo)yc和y軸方向誤差擬合結(jié)果如圖10所示，誤差δ的擬合公式見式（11）。

δ=-0.08715yc+95.8（11）

控制AGV從（514，1344）沿直線行駛至（490，628），將本文算法測得的路徑坐標(biāo)校正結(jié)果為

x=xc+9.17y=yc+δ （12）

其中，（x，y）為校正后坐標(biāo)，（xc，yc）為算法測得定位坐標(biāo)。

3.3 定位精度及速度測定

本文的基于移動(dòng)目標(biāo)檢測的定位方式主要由檢測移動(dòng)目標(biāo)、目標(biāo)追蹤兩部分構(gòu)成，因此將實(shí)驗(yàn)分為檢測移動(dòng)目標(biāo)精度實(shí)驗(yàn)和目標(biāo)追蹤算法定位精度實(shí)驗(yàn)。

3.3.1 檢測移動(dòng)目標(biāo)精度實(shí)驗(yàn) 本文對移動(dòng)目標(biāo)精度實(shí)驗(yàn)采用交并比IOU進(jìn)行評價(jià)，IOU為檢測框與原圖片中的標(biāo)記框的重合程度，計(jì)算方法即檢測結(jié)果與實(shí)際結(jié)果的交集與并集之比

IOU=DetectionResult∩GroundTruthDetectionResult∪GroundTruth（13）

在同一段視頻上分別采用MOG（Mixture of Gaussians，GMM的一種實(shí)現(xiàn)算法）、KNN實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表4所示。圖11中a表示MOG算法檢測框，b表示KNN算法檢測框，c表示真實(shí)框。實(shí)驗(yàn)證明MOG背景減除法可以有效選擇出運(yùn)動(dòng)AGV，時(shí)間滿足要求。

3.3.2 目標(biāo)追蹤算法定位精度實(shí)驗(yàn) 本文應(yīng)用KCF算法對AGV定位結(jié)果進(jìn)行追蹤，AGV行進(jìn)速度為0.15 m/s，使用本文方法檢測速度為28.56 fps，對KCF進(jìn)行定位精度分析，定位精度見表5，追蹤過程路徑結(jié)果如圖12所示。

4 結(jié)論

針對AGV不易做標(biāo)記、負(fù)載后拍攝到的外形變化較大的情況，本文基于移動(dòng)目標(biāo)檢測和目標(biāo)追蹤，設(shè)計(jì)了一套車間AGV定位流程。為提高定位速度及檢測效果，引入圖像金字塔模型，在下采樣圖像上進(jìn)行移動(dòng)目標(biāo)檢測。針對選擇區(qū)域過大的情況利用顯著性目標(biāo)檢測進(jìn)一步提高定位精度，將檢測結(jié)果作為AGV初始選擇框，結(jié)合目標(biāo)追蹤實(shí)現(xiàn)AGV定位。通過定位精度和定位速度的實(shí)驗(yàn)測定，證明本文算法可以滿足定位要求。

參考文獻(xiàn)

[1]張梟.C/S全局視覺仿生機(jī)器魚并行跟蹤定位控制系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D].北京：中國地質(zhì)大學(xué)（北京），2016.

[2]寧志雄.泊車AGV的車輛位姿檢測系統(tǒng)設(shè)計(jì)[D].哈爾濱：哈爾濱工業(yè)大學(xué)，2019.

[3]黃瑞民.基于視覺的移動(dòng)機(jī)器人全局定位算法設(shè)計(jì)與實(shí)現(xiàn)[D].秦皇島：燕山大學(xué)，2017.

[4]樊幫正.室內(nèi)移動(dòng)機(jī)器人定位技術(shù)研究[D].成都：電子科技大學(xué)，2017.

[5]李鵬，張洋洋.室內(nèi)移動(dòng)機(jī)器人雙目視覺全局定位[J].激光與光電子學(xué)進(jìn)展，2020，57（4）：254-261.

[6]DONMEZ E，KOCAMAZ A F，DIRIK M. A vision-based real-time mobile robot controller design based on gaussian function for indoor environment[J].Arabian Journal for Science and Engineering， 2018，43（12）： 7127-7142.

[7]萬元芳.基于深度學(xué)習(xí)的在線多機(jī)器魚位姿識(shí)別系統(tǒng)開發(fā)[D].北京：北京化工大學(xué)，2018.

[8]陸瑋.基于全局視覺與自主視覺的復(fù)雜場景重建與目標(biāo)跟蹤[D].上海：上海工程技術(shù)大學(xué)，2020.

[9]段曉磊，劉翔，陳強(qiáng)， 等.基于粒子濾波與LSTM網(wǎng)絡(luò)對未標(biāo)記AGV的追蹤方法[J].傳感器與微系統(tǒng)，2020，39（2）：37-39+43.

[10] 康彬.面向智能監(jiān)控的目標(biāo)檢測、追蹤及圖像融合算法研究[D].南京：南京郵電大學(xué)，2015.

[11] ZIVKOVIC Z. Improved adaptive Gaussian mixture model for background subtraction[C]// 17th International Conference on Pattern Recognition， Cambridge，2004： 28-31.

[12] ZIVKOVIC Z， VAN DER HEIJDEN F. Efficient adaptive density estimation per image pixel for the task of background subtraction[J].Pattern Recognition Letters， 2006，27（7）： 773-780.

[13] BARNICH O， VAN DROOGENBROECK M. ViBe： A universal background subtraction algorithm for video sequences[J].IEEE Transactions on Image Process， 2011，20（6）： 1709-1724.

[14] 魏建.相關(guān)濾波架構(gòu)下魯棒視覺跟蹤算法研究[D].南京：南京郵電大學(xué)，2019.

[15] HENRIQUES J F， CASEIRO R， MARTINS P， et al. High-speed tracking with kernelized correlation filters[J].IEEE Transactions on Pattern Analysis and Machine Intelligence， 2015，37（3）： 583-596.

[16] MONTABONE S， SOTO A. Human detection using a mobile platform and novel features derived from a visual saliency mechanism[J].Image and Vision Computing， 2010，28（3）： 391-402.

[17] WEI J， WANG S H， HUANG Q M. F（3）Net：Fusion， feedback and focus for salient object detection[C]//34th AAAI Conference On Artificial Intelligence， 2020： 12321-12328.

A Positioning Algorithm for Global Vision Guided AGV Based on

Moving Target and Target Tracking

LIU Ze-ping， LIU Ming-xing， MA Fang-da， LI Xiao-fan，

YAO Ming-jie， FU Chao-xing

（School of Mechanical and Electrical Engineering， Qingdao University， Qingdao 266071， China）

Abstract：

AGV with large shape changes cannot be located by the current global vision positioning algorithm. A positioning method was proposed by moving tcrget detection and target tracking. The background modeling method based on Gaussian mixture model was used to detect the moving AGV. Salient target detection was used to further improve the accuracy when the initial selection box was too large. Then the moving target detection and target tracking was combined to complete the positioning of AGV. Experimental results show that the proposed algorithm can meet the actual positioning requirements and can be applied to AGV of workshop logistics.

Keywords：

AGV;location;moving target detection;target tracking;global vision

收稿日期：2021-07-17

通信作者：

符朝興，男，博士，副教授，主要研究方向?yàn)槿斯ぶ悄芎蜋C(jī)械振動(dòng)。E-mail：cx_f@163.com

1734501186337