孫建輝，劉　坤

(浙江工業(yè)大學(xué) 機(jī)械工程學(xué)院，浙江 杭州 310014)

基于序列圖像特征識(shí)別實(shí)時(shí)反饋伺服跟蹤研究

孫建輝，劉坤

(浙江工業(yè)大學(xué) 機(jī)械工程學(xué)院，浙江 杭州 310014)

摘要：通過與傳統(tǒng)位移傳感器反饋控制系統(tǒng)進(jìn)行比較研究圖像處理反饋控制系統(tǒng)的可行性與可靠性.實(shí)驗(yàn)結(jié)果顯示在圖像采集幀速率為25 fps，運(yùn)動(dòng)目標(biāo)速度、加速度變化的情況下，圖像反饋控制實(shí)時(shí)響應(yīng)較快，伺服控制電機(jī)跟蹤平穩(wěn)，控制可實(shí)現(xiàn).得到位移曲線對(duì)比圖，進(jìn)一步在分辨率、峰峰值和周期等方面對(duì)兩種控制跟蹤位移曲線進(jìn)行對(duì)比分析，數(shù)據(jù)表現(xiàn)出較好的吻合性，表明基于圖像反饋實(shí)時(shí)控制系統(tǒng)控制可靠，能夠達(dá)到傳統(tǒng)位移傳感器反饋控制系統(tǒng)的控制要求和控制效果，得出了基于圖像特征識(shí)別實(shí)時(shí)反饋控制，可以應(yīng)用在一些工業(yè)實(shí)時(shí)反饋控制領(lǐng)域的結(jié)論。

關(guān)鍵詞：反饋控制；圖像處理；電機(jī)跟蹤；伺服；實(shí)時(shí)控制

Study for feature recognition of sequence images real-time

feedback servo tracking

SUN Jianhui, LIU Kun

(College of Mechanical Engineering, Zhejiang University of Technology, Hangzhou 310014, China)

Abstract:With the conventional displacement sensor feedback control system compares to study the feasibility and reliability of image processing feedback control system. The results showed that in the image acquisition frame rate of 25 fps, the moving target speed, acceleration changing circumstances, the image feedback control system has fast real-time response, servo motor tracked smoothly, control can be achieved. Got the curve comparison chart, and analyzed the two-cycle control tracking curve in further aspect of the resolution, peak to peak, and cycle. Data showed good agreement, indicated that the image feedback control system was reliable, which could achieve the control requirements and control effects of traditional displacement sensor feedback control system. The conclusion is drawn that image feature recognition based real-time control can be applied in industrial real-time feedback control field。

Keywords:feedback control; image processing; motor tracking; servo; real-time control

圖像處理技術(shù)在第三代計(jì)算機(jī)問世后得到迅速發(fā)展，運(yùn)動(dòng)目標(biāo)圖像識(shí)別技術(shù)目前已成熟[1].圖像反饋控制國(guó)際上研究始于60年代，國(guó)內(nèi)研究起步較晚[2-3]，國(guó)內(nèi)圖像控制系統(tǒng)多數(shù)應(yīng)用于安防監(jiān)控和智能交通領(lǐng)域，對(duì)系統(tǒng)實(shí)時(shí)性要求不高[4].工業(yè)控制實(shí)時(shí)性要求，噪聲干擾等原因成為圖像反饋控制難題，基于圖像反饋控制成為圖像處理和控制交叉領(lǐng)域的研究熱點(diǎn)[5-6].文獻(xiàn)[7]探討了運(yùn)動(dòng)目標(biāo)識(shí)別與跟蹤控制實(shí)現(xiàn)方案，理論證明了基于圖像反饋控制是可實(shí)現(xiàn)的，缺乏實(shí)驗(yàn)驗(yàn)證.文獻(xiàn)[8]研究了一種機(jī)器人的運(yùn)動(dòng)目標(biāo)識(shí)別與跟蹤控制，在運(yùn)動(dòng)隨機(jī)性較小的情況下實(shí)現(xiàn)了圖像反饋伺服控制.相對(duì)這類機(jī)器人識(shí)別，由于控制距離較遠(yuǎn)，反饋時(shí)間精度要求不如有實(shí)時(shí)反饋的工控領(lǐng)域中的控制。

以航天測(cè)試裝置恒張力跟蹤控制系統(tǒng)為載體，研究圖像處理反饋控制系統(tǒng)的可行性，并與現(xiàn)有傳感器控制系統(tǒng)進(jìn)行比較，得到在攝像機(jī)簡(jiǎn)單標(biāo)定、存在背景干擾及圖像采集速率為25 fps等實(shí)驗(yàn)條件下，能夠?qū)崿F(xiàn)對(duì)運(yùn)動(dòng)目標(biāo)的穩(wěn)定識(shí)別；在目標(biāo)速度可變的情況下圖像反饋控制伺服系統(tǒng)能夠?qū)崿F(xiàn)平穩(wěn)跟蹤。

1圖像反饋控制系統(tǒng)

控制系統(tǒng)包含三個(gè)模塊：圖像采集模塊、圖像處理模塊和伺服控制模塊.圖像采集攝像機(jī)型號(hào)為scA1390-17fc，分辨率為960×1 280 ppi，鏡頭型號(hào)為M1214-MP，焦距為12 mm，鏡頭直徑與焦距之比最大值為1∶1.4；圖像處理部分PC機(jī)內(nèi)存不得低于2 GB，主頻在2 GHz以上，并自帶USB3.0接口；伺服控制器采用STM32F103RC為核心的微處理器控制器，該微處理器是一款低功耗處理器，具有門電路數(shù)目少，功能強(qiáng)大，中斷延遲短，調(diào)試成本低等特點(diǎn).實(shí)驗(yàn)平臺(tái)由氣浮組件和跟蹤導(dǎo)軌組成，氣浮組件包括氣浮托盤和氣浮盤，二者之間產(chǎn)生氣膜，物體懸浮抵消自身重力，跟蹤裝置控制氣浮托盤跟蹤氣浮盤運(yùn)動(dòng)變向延長(zhǎng)氣膜面積，解決大范圍氣浮平面加工困難的問題。

圖1　圖像反饋控制實(shí)驗(yàn)圖Fig.1　Image feedback control experiment picture

圖1為實(shí)驗(yàn)過程拍照?qǐng)D，系統(tǒng)整體結(jié)構(gòu)圖如圖2所示.控制原理：攝像機(jī)實(shí)時(shí)采集氣浮盤圖像經(jīng)USB3.0傳輸給PC機(jī)進(jìn)行處理，計(jì)算出氣浮盤質(zhì)心位置，主控制板卡根據(jù)氣浮盤質(zhì)心位置計(jì)算出氣浮盤與氣浮拖盤位置差，并將位置差通過CAN總線傳遞給電機(jī)子板卡，電機(jī)子板卡將位置差通過DAC轉(zhuǎn)換為-10～+10 V模擬電壓，驅(qū)動(dòng)速度模式下伺服電機(jī)改變電機(jī)轉(zhuǎn)速調(diào)節(jié)氣浮托盤位置，實(shí)現(xiàn)氣浮拖盤對(duì)氣浮盤位置的實(shí)時(shí)跟蹤，控制結(jié)構(gòu)圖如圖3所示.根據(jù)本系統(tǒng)要求，應(yīng)使氣浮盤在速度可變，加速度可變的條件下達(dá)到控制系統(tǒng)實(shí)時(shí)響應(yīng)速度快，跟蹤控制可靠，跟蹤平穩(wěn)，避免出現(xiàn)撞車飛車現(xiàn)象。

圖2　系統(tǒng)整體結(jié)構(gòu)圖Fig.2　System block diagram

圖3　圖像反饋控制結(jié)構(gòu)圖Fig.3　Image feedback control structure diagram

2圖像處理模塊

圖像處理識(shí)別過程分為真色彩AVI視頻拍攝、幀圖像處理和目標(biāo)運(yùn)動(dòng)狀態(tài)識(shí)別三個(gè)部分，處理過程如圖4所示.攝像機(jī)拍攝真色彩AVI視頻被分割成圖像序列，對(duì)每幀圖像進(jìn)行灰度化、二值化分割和目標(biāo)特征邊緣檢測(cè)等圖像處理過程，利用多幀圖像相關(guān)性和運(yùn)動(dòng)目標(biāo)連續(xù)性識(shí)別目標(biāo)，計(jì)算出目標(biāo)質(zhì)心，獲得氣浮盤運(yùn)動(dòng)位置信息，控制器根據(jù)位置信息驅(qū)動(dòng)伺服電機(jī)跟蹤運(yùn)動(dòng)。

圖4　運(yùn)動(dòng)目標(biāo)識(shí)別原理圖Fig.4　Moving object recognition schematics

2.1圖像二值分割

為降低氣浮盤狀態(tài)識(shí)別難度，在氣浮盤上粘貼三個(gè)反光標(biāo)志點(diǎn)(標(biāo)志點(diǎn)呈圓形，直徑10 mm，三點(diǎn)對(duì)稱，距氣浮盤中心等距).實(shí)驗(yàn)中某一幀原始彩色圖像如圖5(a)所示，三個(gè)標(biāo)志點(diǎn)肉眼清晰可見.圖5(b)為該幀圖像的灰度圖，標(biāo)志點(diǎn)和背景對(duì)比明顯為后續(xù)處理做好了基礎(chǔ)。

二值分割[9]是將一幅圖像的所有像素點(diǎn)按照256灰階分類，將高于灰階T像素全部顯示成白色，低于某一灰階的像素點(diǎn)顯示成黑色，其關(guān)鍵點(diǎn)為閾值的選取.筆者采用改進(jìn)的OTSU閥值分割法[10]，該方法自適應(yīng)能力強(qiáng)，具有分割效果穩(wěn)定的特點(diǎn).基本原理是以圖像直方圖的某一灰度值作為閥值，將圖像劃分為兩部分，計(jì)算被劃分部分的方差值，當(dāng)計(jì)算出的方差值最大時(shí)，則以此灰度值作為閾值對(duì)圖像進(jìn)行分割。

設(shè)閾值T將圖像分割成C0和C1(目標(biāo)和背景)，C0和C1對(duì)應(yīng)的灰度級(jí)集合分別為{0,1,…,T}和{T+1,T+2,…，L-1}，最大類間方差法[12]閾值選擇函數(shù)為

δ2(T)=ω0(μ0-μ)2+ω1(μ1-μ)2=

(1)

式中：T為最大差分法的閥值，即最佳二值分割閥值；ω0，ω1分別為C0，C1的概率；μ0，μ1分別為C0，C1的均值。

可得，從0到L-1改變T的值，當(dāng)T的值使式(1)最大時(shí)，此時(shí)T就是分割的最佳閥值.它將整張圖像分割成目標(biāo)和背景兩部分，經(jīng)過二值化后的圖像如圖5(c)所示。

圖5　圖像處理算法效果圖Fig.5　Image processing algorithms renderings

2.2目標(biāo)點(diǎn)質(zhì)心獲取

二值化處理后三個(gè)標(biāo)志點(diǎn)明顯為圓形，其余目標(biāo)均為不規(guī)則形狀.根據(jù)圓形檢測(cè)算法判斷出每個(gè)目標(biāo)是否為圓形，若為圓形目標(biāo)，則此認(rèn)為目標(biāo)為標(biāo)志物，反之，目標(biāo)不是標(biāo)志物。

設(shè)目標(biāo)點(diǎn)周長(zhǎng)為l，面積為s，若目標(biāo)點(diǎn)為圓形，則其面積s與周長(zhǎng)l應(yīng)滿足公式[12]為

(2)

得出三個(gè)標(biāo)志點(diǎn)的像素坐標(biāo)(xa,ya)，(xb,yb)和(xc,yc)，為圖5(e)中三個(gè)圓形白點(diǎn)，并標(biāo)出像素坐標(biāo)值.由式(3)計(jì)算出氣浮盤像素質(zhì)心坐標(biāo)(x,y)為

(3)

已在圖5(f)中標(biāo)出了其像素坐標(biāo)值.實(shí)驗(yàn)中氣浮盤行程在x方向運(yùn)動(dòng)，y方向微小波動(dòng)，位移可忽略不計(jì).通過每幀圖像中氣浮盤位置求得氣浮盤的在x方向像素位移S0，可求得氣浮盤實(shí)際運(yùn)動(dòng)位移S為

(4)

式中：L為拍攝的圖像的實(shí)際長(zhǎng)度，實(shí)測(cè)為351.7mm；M為圖像長(zhǎng)軸方向分辨率為1 280ppi。

本次測(cè)量的是絕對(duì)坐標(biāo)系下的參數(shù)，再經(jīng)處理，平滑一階微分和二階微分運(yùn)算直接計(jì)算出目標(biāo)運(yùn)功物體的絕對(duì)速度和絕對(duì)加速度，這些參數(shù)對(duì)分析控制系統(tǒng)性能具有重要意義。

3傳統(tǒng)傳感器反饋控制系統(tǒng)

為了進(jìn)一步研究圖像反饋控制系統(tǒng)與現(xiàn)有技術(shù)之間優(yōu)缺點(diǎn)對(duì)比，在測(cè)試系統(tǒng)中，設(shè)置一套傳統(tǒng)位移傳感控制系統(tǒng).與圖像反饋控制系統(tǒng)安置位置不同的是，傳統(tǒng)反饋控制將位移傳感器安裝于氣浮導(dǎo)軌位置，檢測(cè)氣浮盤位置。

控制原理：將預(yù)設(shè)位置差設(shè)定值傳入控制器，控制器將該值轉(zhuǎn)換成電機(jī)轉(zhuǎn)速，控制伺服電機(jī)使得氣浮托盤跟蹤氣浮盤保持的相對(duì)位置.當(dāng)相對(duì)位置發(fā)生變化時(shí)，由位移傳感器檢測(cè)出氣浮盤實(shí)際位置，控制器計(jì)算相對(duì)位置，控制器將計(jì)算位置差和預(yù)設(shè)位置差通過控制算法計(jì)算出控制值，控制伺服電機(jī)轉(zhuǎn)速，調(diào)整氣浮盤和氣浮托盤間的相對(duì)位置.經(jīng)過多次反饋，循環(huán)控制，從而達(dá)到跟蹤平穩(wěn)的目的。

主控制器采用STM32F103RC處理器為主控制器，控制板卡分為：主控制板卡負(fù)責(zé)數(shù)據(jù)計(jì)算處理，監(jiān)控板級(jí)間通訊和電機(jī)子板卡的運(yùn)行；電機(jī)驅(qū)動(dòng)板卡接收主控制板卡命令負(fù)責(zé)驅(qū)動(dòng)伺服電機(jī).位移傳感器采用SCIK公司生產(chǎn)的OD2系列激光位移傳感器。

4實(shí)驗(yàn)數(shù)據(jù)對(duì)比分析

實(shí)驗(yàn)中，通過運(yùn)動(dòng)模擬機(jī)構(gòu)模擬簡(jiǎn)諧運(yùn)動(dòng)(周期為30 s，行程為266 mm)帶動(dòng)氣浮盤運(yùn)動(dòng)，同時(shí)先后采用圖像采集方式和位移傳感器采集方式，給出兩次曲線對(duì)比圖，并進(jìn)一步對(duì)兩次曲線在分辨率、峰峰值誤差和周期等方面進(jìn)行了對(duì)比分析，并給出分析圖。

圖6為傳感器方式和圖像方式采集的氣浮盤120 s內(nèi)位移曲線.兩種采集方式相互獨(dú)立，各自參考基準(zhǔn)點(diǎn)不同，傳感器方式的參考基準(zhǔn)點(diǎn)為簡(jiǎn)諧運(yùn)動(dòng)的平衡位置，圖像采集系統(tǒng)的參考基點(diǎn)為拍攝區(qū)域的左上方頂點(diǎn)，經(jīng)計(jì)算兩種控制方式采集的曲線位移偏差為221 mm.消除參考基準(zhǔn)點(diǎn)不同引起的偏移偏差后可見：兩運(yùn)動(dòng)曲線重合，表現(xiàn)出相同的周期和振幅，表明圖像采集系統(tǒng)和傳感器采集系統(tǒng)得出的物體運(yùn)動(dòng)狀態(tài)一致；其次兩條曲線相位相同，表明兩種采集系統(tǒng)響應(yīng)時(shí)間相差無幾，均符合要求；最后傳感器采集曲線較光滑，而圖像采集曲線略有些小毛刺，這是由這兩套檢測(cè)系統(tǒng)安裝位置不同造成的，但均能實(shí)現(xiàn)跟蹤控制。

圖6　位移曲線對(duì)比圖Fig.6　Displacement curve comparison chart

實(shí)驗(yàn)測(cè)試中，攝像機(jī)拍攝分辨率為960×1 280 ppi，攝像機(jī)拍攝的長(zhǎng)軸方向?qū)崪y(cè)范圍為351.7 mm.由于氣浮盤實(shí)際運(yùn)動(dòng)行程為266 mm，在攝像機(jī)視場(chǎng)的中心近軸區(qū)域內(nèi)，其場(chǎng)曲、視差等像差較小，認(rèn)為每一像素代表實(shí)際位移0.27 mm.本控制系統(tǒng)將氣浮盤和氣浮拖盤之間相對(duì)位置控制在2 mm以內(nèi)，因此氣浮盤在攝像機(jī)視場(chǎng)中沿光軸軸向位移引起的像差可忽略不計(jì).位移傳感器采用激光型傳感器，其分辨率可達(dá)到微米級(jí)別，實(shí)驗(yàn)過程中軟件標(biāo)定到1 mm.實(shí)驗(yàn)證明圖像反饋控制方式可達(dá)到平穩(wěn)跟蹤的效果。

4.1峰峰值、周期對(duì)比

圖7(a，b)分別給出了兩曲線峰峰值誤差圖和周期對(duì)比圖，數(shù)據(jù)分別提取前10個(gè)周期數(shù)據(jù)進(jìn)行對(duì)比。

圖7　數(shù)據(jù)曲線分析圖Fig.7　Curve data analysis chart

圖7(a)為曲線峰峰值誤差變化曲線，可以看出：兩運(yùn)動(dòng)曲線波峰、波谷誤差在±1 mm內(nèi)，經(jīng)數(shù)據(jù)分析計(jì)算位移相對(duì)誤差小于1%，峰峰值變化趨勢(shì)表示出良好的一致性，位移曲線表現(xiàn)出良好的吻合性，實(shí)驗(yàn)數(shù)據(jù)進(jìn)一步證明圖像反饋控制具有和位移傳感器反饋控制一樣的控制效果。

圖7(b)為曲線周期對(duì)比圖，可以看出：曲線周期亦表現(xiàn)出良好的一致性，周期變化趨勢(shì)相同，周期相對(duì)誤差亦低于1%，可以忽略，控制效果穩(wěn)定，表明基于圖像反饋控制的穩(wěn)定性可以達(dá)到位移傳感器反饋控制要求。

4.2小結(jié)

通過兩種采集方式的運(yùn)動(dòng)曲線的對(duì)比分析，得出圖像反饋控制以下特點(diǎn)：

1) 基于圖像反饋控制系統(tǒng)具有可實(shí)現(xiàn)性.實(shí)驗(yàn)證明方案是可行的，達(dá)到預(yù)設(shè)技術(shù)指標(biāo)要求，為本航空航天測(cè)試裝置以及其他工業(yè)控制提供了一種新的簡(jiǎn)便的控制方案。

2) 基于圖像反饋控制系統(tǒng)比位移傳感器控制系統(tǒng)具有優(yōu)越性.首先在于圖像反饋控制系統(tǒng)攝像機(jī)比傳統(tǒng)高精度位移傳感器的成本低，攝像機(jī)安裝位置精度低，降低了現(xiàn)場(chǎng)安裝困難.其次其測(cè)量的是絕對(duì)坐標(biāo)系下的參數(shù)，可用于直接計(jì)算目標(biāo)物體的絕對(duì)速度，絕對(duì)加速度等有重要實(shí)際意義的參數(shù)，在測(cè)試系統(tǒng)中提供了重要的數(shù)據(jù).再次圖像反饋控制系統(tǒng)能夠?qū)⒃囼?yàn)過程進(jìn)行實(shí)時(shí)備份，對(duì)航空航天等試驗(yàn)對(duì)象有重要意義。

3) 基于圖像反饋控制系統(tǒng)具有可靠性.實(shí)驗(yàn)得到圖像反饋方式與位移傳感器反饋方式控制效果相同，達(dá)到本次控制指標(biāo)，在規(guī)定技術(shù)要求內(nèi)能夠控制平穩(wěn)，機(jī)械噪聲低。

5結(jié)論

通過實(shí)驗(yàn)對(duì)連續(xù)多幀序列圖像處理識(shí)別運(yùn)動(dòng)目標(biāo)狀態(tài)并反饋控制跟蹤進(jìn)行研究，通過對(duì)比圖像反饋控制系統(tǒng)數(shù)據(jù)和傳感器反饋控制系統(tǒng)試驗(yàn)數(shù)據(jù)，得出基于圖像反饋控制系統(tǒng)是可靠的.實(shí)驗(yàn)數(shù)據(jù)顯示，運(yùn)動(dòng)目標(biāo)在做位移為266 mm，周期為30 s的簡(jiǎn)諧運(yùn)動(dòng)情況下，圖像采集幀速率為25 fps的條件下，控制系統(tǒng)可以平穩(wěn)跟蹤，達(dá)到本次控制要求，可以完全代替位移傳感器進(jìn)行實(shí)驗(yàn)控制.實(shí)驗(yàn)表明通過圖像反饋控制的伺服系統(tǒng)可平穩(wěn)運(yùn)動(dòng)可靠跟蹤.為本次航空航天恒張力測(cè)試裝置進(jìn)一步改進(jìn)提供了實(shí)驗(yàn)依據(jù)。

參考文獻(xiàn)：

[1]黃金,梁彥,程詠梅,等.基于序列圖像的自動(dòng)目標(biāo)識(shí)別算法[J].航空學(xué)報(bào),2007,27(1):87-93。

[2]李正周,董能力,金鋼.序列圖像運(yùn)動(dòng)點(diǎn)目標(biāo)快速檢測(cè)與跟蹤算法[J].紅外與激光工程,2002,31(6):473-477。

[3]岳玉芳,安建祝,張玉雙.運(yùn)動(dòng)目標(biāo)識(shí)別與跟蹤仿真系統(tǒng)的基本技術(shù)問題[J].計(jì)算機(jī)工程與設(shè)計(jì),2012,33(8):3171-3175。

[4]楊東勇,馮形松.采用形態(tài)學(xué)算子的運(yùn)動(dòng)目標(biāo)檢測(cè)跟蹤方法研究及實(shí)現(xiàn)[J].浙江工業(yè)大學(xué)學(xué)報(bào)，2010,38(2):149-154。

[5]董然,師衛(wèi).基于邊緣檢測(cè)和形態(tài)學(xué)處理的車牌定位[J].機(jī)械工程與自動(dòng)化,2010(6)：45-47。

[6]邢海瀟,趙國(guó)軍,王飛,等.基于ARM的圖像處理技術(shù)在電梯門系統(tǒng)的設(shè)計(jì)[J].浙江工業(yè)大學(xué)學(xué)報(bào)，2010,38(5)：583-585。

[7]張艷玲,陳蕾.運(yùn)動(dòng)目標(biāo)識(shí)別與跟蹤系統(tǒng)實(shí)現(xiàn)方案探討[J].科技信息,2007,36：374-375。

[8]朱參世,安利.運(yùn)動(dòng)目標(biāo)識(shí)別方法與仿真研究[J].計(jì)算機(jī)與現(xiàn)代化,2010(5)：63-65。

[9]江明,劉輝,黃歡.圖像二值化技術(shù)的研究[J].軟件導(dǎo)刊,2009,8(4)：175-177。

[10]何志勇,孫立寧,陳立國(guó).Otsu準(zhǔn)則下分割閾值的快速計(jì)算[J].電子學(xué)報(bào),2013(2)：266-271。

[11]馮捷,鄭河榮.基于灰度合成的圖像素描效果生成算法[J].浙江工業(yè)大學(xué)學(xué)報(bào)，2009,37(3)：316-319。

[12]曾晰,趙國(guó)軍,王淵平,等.一種基于圖像識(shí)別技術(shù)的電梯門控方法[J].信息與控制,2011,40(2)：243-247。

(責(zé)任編輯：陳石平)

中圖分類號(hào)：TP273

文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1006-4303(2015)02-0185-05

作者簡(jiǎn)介：孫建輝(1955—)，男，浙江杭州人，教授級(jí)高級(jí)工程師，研究方向?yàn)闄C(jī)電一體化及航天非標(biāo)地面測(cè)試設(shè)備，E-mail：sjh195@zjut.edu.cn。

收稿日期：2014-11-06