姜 威，辛海華，鄧永福，厲智強(qiáng)

(北京宇航系統(tǒng)工程研究所，北京100076)

最優(yōu)區(qū)域劃分的飛行器視覺測(cè)量標(biāo)記

姜 威，辛海華，鄧永福，厲智強(qiáng)

(北京宇航系統(tǒng)工程研究所，北京100076)

針對(duì)現(xiàn)有標(biāo)記無(wú)法適應(yīng)回轉(zhuǎn)體飛行器曲面結(jié)構(gòu)的問題，提出了最優(yōu)區(qū)域劃分的飛行器視覺測(cè)量標(biāo)記設(shè)計(jì)方法。該方法首先根據(jù)飛行器截面成像模型將飛行器劃分為6個(gè)子區(qū)域，保證飛行器成像中始終有一個(gè)完整的子區(qū)域；然后將子區(qū)域作為標(biāo)記基本單元并將區(qū)域頂點(diǎn)作為標(biāo)記點(diǎn)，在標(biāo)記點(diǎn)滿足共面約束的同時(shí)使點(diǎn)間的距離最大；最后根據(jù)顏色分布特性為子區(qū)域設(shè)計(jì)標(biāo)識(shí)碼，實(shí)現(xiàn)子區(qū)域之間的區(qū)分。仿真實(shí)驗(yàn)結(jié)果表明，當(dāng)飛行器處于攝像機(jī)視場(chǎng)內(nèi)時(shí)，標(biāo)記成像中始終有一個(gè)完整的子區(qū)域，在子區(qū)域上能提取4個(gè)共面特征點(diǎn)用于飛行器位姿參數(shù)的準(zhǔn)確解算。設(shè)計(jì)的曲面標(biāo)記能夠滿足回轉(zhuǎn)體飛行器(如炮彈彈丸、導(dǎo)彈等)視覺測(cè)量的要求。

兵器科學(xué)與技術(shù)；飛行器；位姿測(cè)量；視覺測(cè)量；標(biāo)記

0 引言

視覺位姿測(cè)量是飛行器(如彈丸、導(dǎo)彈等)研制和試驗(yàn)過程中獲取位姿參數(shù)重要手段[1-3]。飛行器上的自然特征定位精度不高[4-6]，為提高視覺位姿測(cè)量精度，需要在飛行器上設(shè)計(jì)標(biāo)記。

依據(jù)標(biāo)記附著的物體結(jié)構(gòu)進(jìn)行劃分，標(biāo)記可分為平面標(biāo)記與曲面標(biāo)記。其中，平面標(biāo)記最為常見[7-8]，如文獻(xiàn)[8]設(shè)計(jì)了一種由黑白矩形組成的標(biāo)記，用于無(wú)人機(jī)自主著陸姿態(tài)的測(cè)量，但平面標(biāo)記無(wú)法適應(yīng)飛行器的曲面結(jié)構(gòu)。

曲面標(biāo)記相關(guān)研究很少，僅發(fā)現(xiàn)文獻(xiàn)[9]及文獻(xiàn)[10]針對(duì)錐形結(jié)構(gòu)飛行器開展標(biāo)記設(shè)計(jì)。文獻(xiàn)[9]將棋盤格標(biāo)記進(jìn)行變形使其適應(yīng)了錐形結(jié)構(gòu)，文獻(xiàn)[10]將錐面劃分成若干個(gè)扇區(qū)并根據(jù)扇區(qū)開展特征優(yōu)化設(shè)計(jì)，這些錐形標(biāo)記難以適用于其它曲面結(jié)構(gòu)的飛行器。針對(duì)現(xiàn)有標(biāo)記無(wú)法適應(yīng)飛行器曲面結(jié)構(gòu)的問題，本文不失一般性的假設(shè)飛行器具有回轉(zhuǎn)體結(jié)構(gòu)，提出最優(yōu)區(qū)域劃分的飛行器視覺測(cè)量標(biāo)記設(shè)計(jì)方法。

1 飛行器位姿單目視覺測(cè)量系統(tǒng)

圖1為飛行器位姿單目視覺測(cè)量系統(tǒng)示意圖。各坐標(biāo)系定義為：圖像坐標(biāo)系oI-uIvI，坐標(biāo)系原點(diǎn)oI在圖像左上角，uI軸沿圖像的行向右，vI軸沿圖像的列向下；攝像機(jī)坐標(biāo)系oc-xcyczc，坐標(biāo)系原點(diǎn)oc在攝像機(jī)光心上，xc軸為攝像機(jī)水平軸，方向朝右，yc軸為攝像機(jī)豎直軸，方向朝下，zc軸沿?cái)z像機(jī)光軸的反方向；飛行器坐標(biāo)系op-xpypzp，坐標(biāo)系原點(diǎn)op在飛行器底面中心，xp,yp軸沿底面圓的半徑且相互垂直，zp軸沿彈軸并朝向飛行器頂點(diǎn)。

圖1 飛行器位姿單目視覺測(cè)量系統(tǒng)Fig.1 Projectile monocular pose estimation system

假設(shè)飛行器上有n個(gè)標(biāo)記點(diǎn)Pi，它們?cè)趫D像坐標(biāo)系中的坐標(biāo)為PIi，在攝像機(jī)坐標(biāo)系中的坐標(biāo)為Pci，在飛行器坐標(biāo)系中的坐標(biāo)為Poi。由攝像機(jī)成像模型及剛體運(yùn)動(dòng)方程得

PIi=MPci,Pci=RPoi+T，

(1)

式(1)中，M為攝像機(jī)內(nèi)參數(shù)矩陣；R為飛行器坐標(biāo)系相對(duì)于攝像機(jī)坐標(biāo)系的旋轉(zhuǎn)矩陣；T為飛行器坐標(biāo)系相對(duì)于攝像機(jī)坐標(biāo)系的位移向量。

M由攝像機(jī)標(biāo)定得到，PIi由標(biāo)記點(diǎn)提取得到，Poi為已知量。根據(jù)文獻(xiàn)[11]，當(dāng)n≥3且標(biāo)記點(diǎn)不完全共線時(shí)能夠解算出相對(duì)位姿參數(shù)R，T。

2 標(biāo)記設(shè)計(jì)

2.1 子區(qū)域劃分

當(dāng)飛行器處于不同位姿時(shí)，攝像機(jī)只能拍攝到飛行器的部分表面。為保證標(biāo)記成像中至少有3個(gè)標(biāo)記點(diǎn)，將飛行器表面進(jìn)行區(qū)域劃分：首先將飛行器表面劃分成一定數(shù)量的子區(qū)域，保證飛行器在不同的姿態(tài)下至少有一個(gè)完整的子區(qū)域被攝像機(jī)拍攝到；然后在每個(gè)子區(qū)域內(nèi)至少設(shè)計(jì)3個(gè)標(biāo)記點(diǎn)，保證標(biāo)記成像中始終有足夠多的標(biāo)記點(diǎn)。為實(shí)現(xiàn)子區(qū)域的最優(yōu)劃分，建立如圖2所示的飛行器成像模型。

圖2 飛行器單目視覺成像模型Fig.2 Monocular imaging model for projectile

(2)

(3)

式中：f為攝像機(jī)的焦距，dp為攝像機(jī)光心oc與飛行器軸線最近的水平距離。

當(dāng)θ=90°時(shí)，式(3)中的等號(hào)成立。當(dāng)θ∈(0,30°)∪(150°,180°)時(shí)，式(3)可改寫為：

(4)

根據(jù)式(4)，當(dāng)θ∈(0,30°)∪(150°,180°)時(shí)，飛行器成像長(zhǎng)度lI不到θ=90°時(shí)的1/2；此時(shí)飛行器成像的形變量很大，設(shè)計(jì)在飛行器表面的標(biāo)記的可能會(huì)產(chǎn)生畸變，從而使標(biāo)記點(diǎn)無(wú)法準(zhǔn)確提取。為此在θ∈[30°,150°]范圍內(nèi)設(shè)計(jì)標(biāo)記，使其結(jié)構(gòu)成像清楚；當(dāng)θ=30°(或θ=150°)時(shí)，標(biāo)記成像在θ∈[30°,150°]范圍內(nèi)形變量最大。

圖3 飛行器截面單目成像模型Fig.3 Projectile section’s monocular imaging model

將橢圓按圓心角等分成n段，并使每個(gè)橢圓弧段對(duì)應(yīng)的圓心角β滿足β≤0.5α，以保證飛行器在繞飛行器軸線旋轉(zhuǎn)時(shí)，始終有一個(gè)完整的橢圓弧段能被攝像機(jī)拍攝到。

下面計(jì)算α確定橢圓最優(yōu)的分段數(shù)。由圖2可得出橢圓短軸a和長(zhǎng)軸b分別為

a=r,b=r/sinθ

(5)

式(5)中，r為飛行器半徑。

點(diǎn)B在oc-xczc中的坐標(biāo)(xb,zb)滿足

(6)

式(6)中，k表示切線ocB的斜率。

由于B是橢圓截面與ocB切點(diǎn)

進(jìn)而解得α

(7)

根據(jù)式(7)，α與sinθ單調(diào)性相同。當(dāng)θ=30°(或θ=150°)時(shí)，α在θ∈[30°,150°]范圍內(nèi)取得最小值為：

(8)

橢圓分段數(shù)n越大，飛行器表面劃分就越細(xì)，標(biāo)記點(diǎn)間距就越小；而標(biāo)記點(diǎn)間距越小，系統(tǒng)對(duì)姿態(tài)角的分辨能力越低[12]，標(biāo)記點(diǎn)可區(qū)分性越差。在能滿足橢圓分段要求的條件下，n越小越好；而n=6是n能滿足分段要求的最小值。因此n取6，即將橢圓等分成6個(gè)橢圓弧段。

如圖4所示，將飛行器所有橫截面均按圓心角等分成6個(gè)橢圓弧段，即將飛行器表面等分成6個(gè)子區(qū)域并使子區(qū)域的邊界與彈軸共面。

圖4中，當(dāng)飛行器處于不同姿態(tài)且θ∈[30°,150°]時(shí)，總有一個(gè)完整的子區(qū)域能被攝像機(jī)拍攝到。若再在每個(gè)子區(qū)域內(nèi)至少設(shè)計(jì)3個(gè)標(biāo)記點(diǎn)就可以保證標(biāo)記成像中始終有足夠多的特征信息。

2.2 共面標(biāo)記點(diǎn)設(shè)計(jì)

根據(jù)文獻(xiàn)[13]對(duì)PnP問題解唯一性的分析，若已知?jiǎng)傂员粶y(cè)目標(biāo)上4個(gè)共面特征點(diǎn)的物理坐標(biāo)和圖像坐標(biāo)，能解得目標(biāo)位姿參數(shù)的唯一解。據(jù)此在每個(gè)子區(qū)域內(nèi)設(shè)計(jì)4個(gè)共面標(biāo)記點(diǎn)，以滿足解算飛行器位姿參數(shù)的要求。如圖5所示，為保證標(biāo)記點(diǎn)共面，將標(biāo)記點(diǎn)分別設(shè)計(jì)在兩個(gè)垂直于彈軸的截面圓上。

圖4 飛行器子區(qū)域劃分Fig.4 Dividing projectile’s surface into 6 sub-regions

圖5 共面標(biāo)記點(diǎn)設(shè)計(jì)Fig.5 Designing coplanar points

圖5中面ABC與面A′B′C′是垂直于彈軸AA′的截面，為保證標(biāo)記點(diǎn)B,C,B′,C′共面，應(yīng)使線BB′，CC′分別與彈軸AA′共面。

證明如下：

1)若兩截面圓半徑相同，則有BB′//AA′,CC′//AA′，因此標(biāo)記點(diǎn)B,C,B′,C′共面。

2)若兩截面圓半徑不相同，由于線BB′、CC′均與彈軸AA′共面，則BB′延長(zhǎng)線與彈軸AA′交于D，CC′延長(zhǎng)線與彈軸AA′交于D′。根據(jù)三角形相似性有

由于

AB=AC=r1,A′B′=A′C′=r2

(9)

式(9)中，r1,r2分別為兩個(gè)截面圓的半徑。

即

可得

A′D′=A′D。

D′、D兩點(diǎn)重合，即線BB′、CC′相交于D(D′)。兩相交直線必然共面，所以標(biāo)記點(diǎn)B,C,B′,C′共面。

如圖6所示，由于子區(qū)域側(cè)邊與飛行器軸線共面，用兩個(gè)垂直于飛行器軸線的截面將子區(qū)域分成三段，保留中間部分，這部分的4個(gè)頂點(diǎn)即可作為標(biāo)記點(diǎn)。圖中標(biāo)記點(diǎn)位置用黑色“×”標(biāo)出。

圖6 共面標(biāo)記點(diǎn)Fig.6 Coplanar points

為增加標(biāo)記點(diǎn)間的距離，保留的子區(qū)域應(yīng)盡量位于飛行器中直徑較大的部分，且標(biāo)記點(diǎn)沿彈軸方向的距離應(yīng)當(dāng)足夠大。

2.3 標(biāo)記標(biāo)識(shí)碼設(shè)計(jì)

要完成標(biāo)記點(diǎn)匹配應(yīng)使每個(gè)標(biāo)記點(diǎn)都具有唯一可識(shí)別性?？蓪⒆訁^(qū)域涂成不同顏色，但這種方式容易受外界條件干擾。本文通過在子區(qū)域內(nèi)設(shè)計(jì)小區(qū)域方式完成標(biāo)識(shí)碼設(shè)計(jì)：首先將標(biāo)記顏色設(shè)計(jì)成白色和黑色，這兩種顏色具有最強(qiáng)的對(duì)比度；然后在每個(gè)子區(qū)域內(nèi)設(shè)計(jì)0～2個(gè)的小區(qū)域；最后根據(jù)子區(qū)域顏色及小區(qū)域數(shù)量給每個(gè)子區(qū)域設(shè)計(jì)唯一標(biāo)識(shí)碼，如圖7及表1所示。

標(biāo)記點(diǎn)匹配時(shí)，先利用標(biāo)識(shí)碼識(shí)別子區(qū)域，再根據(jù)標(biāo)記點(diǎn)在子區(qū)域內(nèi)的位置識(shí)別標(biāo)記點(diǎn)。

圖7 子區(qū)域標(biāo)識(shí)碼設(shè)計(jì)Fig.7 Designing code for sub-regions

序號(hào)子區(qū)域123456標(biāo)識(shí)碼000110001100010101

注：標(biāo)識(shí)碼第1位代表子區(qū)域顏色，黑色為0，白色為1；標(biāo)識(shí)碼第2、3位代表小區(qū)域數(shù)量，沒有小區(qū)域?yàn)?0，含1個(gè)小區(qū)域?yàn)?1，含2個(gè)小區(qū)域?yàn)?0。

3 仿真實(shí)驗(yàn)

為驗(yàn)證標(biāo)記是否滿足飛行器位姿單目測(cè)量要求，對(duì)不同位姿的飛行器進(jìn)行仿真實(shí)驗(yàn)。仿真對(duì)象為用3D MAX軟件生成的常規(guī)飛行器模型(長(zhǎng)度550 mm、彈徑100 mm)。攝像機(jī)為3D MAX軟件默認(rèn)的135相機(jī)，設(shè)置攝像機(jī)視場(chǎng)角為30°，圖像分辨率為640×480。

在飛行器表面涂上所設(shè)計(jì)的標(biāo)記，給飛行器模型設(shè)置不同的位姿并生成圖像。圖8給出了飛行器在不同極限位置下的成像，圖8(a)是飛行器軸線與光軸夾角為30°時(shí)的飛行器成像，此時(shí)標(biāo)記成像的形變量最大，標(biāo)記最容易產(chǎn)生畸變；圖8(b)是攝像機(jī)能夠同時(shí)拍攝到兩個(gè)完整的子區(qū)域時(shí)飛行器的成像，此時(shí)子區(qū)域外側(cè)成像的形變量最大；圖8(c)是飛行器在離攝像機(jī)10 m時(shí)的成像，此時(shí)飛行器與攝像機(jī)距離較遠(yuǎn)，標(biāo)記成像的像素?cái)?shù)量很少，可能導(dǎo)致標(biāo)記點(diǎn)無(wú)法區(qū)分；圖8(d)是飛行器在一般姿態(tài)下的成像。圖8涵蓋了標(biāo)記成像的所有極限位置，如果標(biāo)記成像始終清楚，則表明標(biāo)記能夠滿足位姿測(cè)量要求。

圖8 飛行器在不同位姿下的成像Fig.8 Projectile images in different pose

圖8中標(biāo)記點(diǎn)位置已用黑色“×”標(biāo)出。由圖8可見，當(dāng)飛行器處于不同位姿時(shí)，圖像中至少有一個(gè)含有4個(gè)共面標(biāo)記點(diǎn)的完整的子區(qū)域。圖8(a)中標(biāo)記結(jié)構(gòu)清楚，各部分沒有發(fā)生畸變，標(biāo)記點(diǎn)能區(qū)分開；圖8(b)子區(qū)域外側(cè)成像清楚，標(biāo)記點(diǎn)位置能準(zhǔn)確提??；圖8(c)在遠(yuǎn)距離時(shí)，標(biāo)記結(jié)構(gòu)清楚，標(biāo)記點(diǎn)沒有重合到一起；圖8(d)中標(biāo)記上有一個(gè)子區(qū)域且標(biāo)記點(diǎn)成像清楚。因此當(dāng)飛行器在處于極限位置時(shí)，標(biāo)記沒有出現(xiàn)畸變，標(biāo)記點(diǎn)成像清楚且能準(zhǔn)確提取。

將所設(shè)計(jì)的標(biāo)記用于飛行器位姿解算，給飛行器設(shè)置不同的位姿并生成圖像。表2為飛行器的6組位姿參數(shù)，這6組位姿涵蓋了標(biāo)記成像的不同極限位置：第1組，飛行器軸線與攝像機(jī)光軸夾角為30°(對(duì)應(yīng)圖8(a))，標(biāo)記成像的形變量最大；第3組，攝像機(jī)恰好能拍攝到兩個(gè)子區(qū)域，子區(qū)域外側(cè)成像的形變量最大(對(duì)應(yīng)圖8(b))；第2組到第3-第6組為普通位姿；每組位姿下，沿?cái)z像機(jī)光軸方向每間隔100 mm生成一幅圖像，每組位姿參數(shù)均包括遠(yuǎn)近不同的距離。

表2 飛行器位姿參數(shù)

提取圖像中的標(biāo)記點(diǎn)，根據(jù)文獻(xiàn)[11]提供的方法初步解算飛行器位姿參數(shù)，然后用文獻(xiàn)[12]給出的平差法進(jìn)行優(yōu)化。將解算結(jié)果與設(shè)定值比較得到誤差，計(jì)算誤差絕對(duì)值并求均值結(jié)果見表3。

表3 標(biāo)記點(diǎn)提取誤差及飛行器位姿測(cè)量誤差

由表3可以看出，無(wú)論是極限位姿還是任意位姿下標(biāo)記點(diǎn)的像素定位誤差均不超過0.5個(gè)像素，這進(jìn)一步說(shuō)明標(biāo)記在各種姿態(tài)下沒有發(fā)生畸變，標(biāo)記點(diǎn)定位準(zhǔn)確。在相應(yīng)的像素提取精度下，位置測(cè)量精度在攝像機(jī)xc，yc軸方向上誤差小于1 mm，zc軸方向上誤差小于16.3 mm；姿態(tài)角誤差在3個(gè)軸方向上分別小于0.68°，0.47°，0.53°。

根據(jù)仿真實(shí)驗(yàn), 當(dāng)飛行器處于不同的位姿時(shí)，攝像機(jī)始終能在標(biāo)記上拍攝到4個(gè)清晰的共面標(biāo)記點(diǎn)，利用標(biāo)記點(diǎn)能解算出飛行器位姿參數(shù)且精度較高。

4 結(jié)論

本文提出了最優(yōu)區(qū)域劃分的飛行器視覺測(cè)量標(biāo)記方法。該方法先將飛行器表面劃分成6個(gè)子區(qū)域，將子區(qū)域作為標(biāo)記設(shè)計(jì)基本單元；然后在基本單元內(nèi)規(guī)劃標(biāo)記點(diǎn)分布位置使其滿足共面約束且分布位置最優(yōu)；最后基于區(qū)域灰度分布特征給子區(qū)域設(shè)計(jì)標(biāo)識(shí)碼。仿真實(shí)驗(yàn)結(jié)果表明，標(biāo)記成像中始終有一個(gè)完整的子區(qū)域，在子區(qū)域上能提取4個(gè)共面特征點(diǎn)，能夠滿足飛行器位姿單目視覺測(cè)量的要求。該標(biāo)記能夠用于各種具有回轉(zhuǎn)體結(jié)構(gòu)的飛行器，也可以用于其他具有類似結(jié)構(gòu)的目標(biāo)。

[1]Nagarkar Vivek V, Singh Bipin, Miller Stuart, et al.A modular high precision digital system for hyperveloci- ty projectile performance measurements [C]//Visual Information Processing XVII. Florida, USA, 2008: 801-808.

[2]Herrejon R, Kagami S, Hashimoto K.Online 3-D trajectory estimation of a flying object from a monocular image sequence [C]//IEEE/RSJ Interna tional Conference on Intelligent Robots and Systems.St.Louis, USA, 2009: 2496-2501.

[3]秦曉燕, 王曉芳, 陳萍, 等.基于Adaboost算法的炮彈炸點(diǎn)檢測(cè) [J].兵工學(xué)報(bào), 2012, 33(6): 682-687.

[4]Ribnick Evan, Atev Stefan, Nikolaos P.Papanik- olopoulos.Estimating 3D positions and velocities of projectiles from monocular views [J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 2009, 31(5): 938-944.

[5]于起峰, 孫祥一, 陳國(guó)軍.用光測(cè)圖像確定空間目標(biāo)俯仰角和偏航角的中軸線法 [J].國(guó)防科技大學(xué)學(xué)報(bào), 2000, 22(2): 15-19.

[6]Zhao Zhuxin, Wen Gongjian, Zhang Xin, et al.Model-based estimation for pose, velocity of projectile from stereo linear array image [J].Measurement Science Review, 2012, 12(3): 104-110.

[7]Mark Fiala.Designing highly reliable fiducial markers [J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 2010, 32(7): 1317-1324.

[8]Mondragon Ivan F, Pascual Campoy, Carol Martnez, et al.3D pose estimation based on planar object tracking for UAVs control [C]//IEEE International Conference on Robotics and Automation, Alaska, USA.IEEE, 2010: 35-41.

[9]李蒙, 諶德榮, 周廣銘, 等.用于圓錐體位姿測(cè)量的曲面標(biāo)記[J].中國(guó)圖象圖形學(xué)報(bào), 2012, 17(12): 1534-1539.

[10]李蒙.圓錐體飛行目標(biāo)位姿測(cè)量特征標(biāo)記設(shè)計(jì)[D].北京：北京理工大學(xué), 2012.

[11]趙銳.基于單目視覺的物體位姿測(cè)量方法研究 [D].合肥: 合肥工業(yè)大學(xué), 2005.

[12]尚洋.基于視覺的空間目標(biāo)位置姿態(tài)測(cè)量方法研究 [D].長(zhǎng)沙: 國(guó)防科學(xué)技術(shù)大學(xué), 2006.

[13]胡占義, 雷成, 吳朝福.關(guān)于P4P問題的一點(diǎn)討論 [J].自動(dòng)化學(xué)報(bào), 2001, 27(6): 770-776.

Optimal Region Dividing Marker for Projectile Pose Estimation

JIANG Wei, XIN Haihua, DENG Yongfu, LI Zhiqiang

(Beijing Institute of Astronautical Systems Engineering, Beijing 100076, China)

A vision measuring marker was designed for monocular pose estimation of target with revolved body, i.e. projectile. At first, the projectile surface was divided into 6 equal sub-regions to guarantee that there was always a complete sub-region in projectile’s image according to the imaging model. Then, the 4 vertexes of each sub-region were used as a set of marker points, which were coplanar and the distances between which were maximized. At last, the sub-regions could be distinguished using their color distribution, based on which a unique code was assigned to each sub-region. Experimental results using simulation image showed that: a set of 4 marker points could be detected and used to calculate the projectile’s pose accurately, under the situation that the projectile was caught by the camera. The proposed marker could be applied to various targets with revolved body, such as bullets, shells, missiles, etc.

armament science and technology; projectile; pose estimation; vision measurement; marker

2016-11-03

姜威(1986-)，男，河南信陽(yáng)人，碩士，工程師，研究方向：運(yùn)載火箭電氣系統(tǒng)總體設(shè)計(jì)。E-mail:240884664@qq.com。

TP751.1

A

1008-1194(2017)02-0115-05