,

(1.中國電子科技集團公司 第五十四研究所， 石家莊 050081; 2.衛(wèi)星導(dǎo)航系統(tǒng)與裝備技術(shù)國家重點實驗室，石家莊 050081)

基于雙目視覺的室內(nèi)定位標(biāo)定新方法

邢亞斌1,2,王振嶺1,2

(1.中國電子科技集團公司第五十四研究所，石家莊050081; 2.衛(wèi)星導(dǎo)航系統(tǒng)與裝備技術(shù)國家重點實驗室，石家莊050081)

隨著全球?qū)Ш叫l(wèi)星系統(tǒng)的發(fā)展，位置服務(wù)已經(jīng)逐漸滲透到人們?nèi)粘Ｉ钜约肮ぷ髦?，并成為必不可少的一部分，越來越多的人開始習(xí)慣使用位置服務(wù)，并對其產(chǎn)生依賴，并且，室內(nèi)導(dǎo)航定位應(yīng)用需求日益增加;目前，基于多目視覺原理的室內(nèi)定位導(dǎo)航技術(shù)已經(jīng)成為眾多技術(shù)領(lǐng)域的研究熱點，且逐步成熟;室內(nèi)導(dǎo)航定位中，為獲取目標(biāo)的準(zhǔn)確位置，相機的標(biāo)定過程是重中之重，標(biāo)定精度對最終定位精度有著決定性作用;然而，當(dāng)有氣液界面存在時，由于不同介質(zhì)折射率不同，視線在傳播過程中將發(fā)生偏折，現(xiàn)有的線性標(biāo)定技術(shù)不再適用，并成為制約室內(nèi)特殊場景定位(如水下機器人作業(yè))的主要技術(shù)障礙;針對有氣液界面的條件提出了一種新的標(biāo)定方法，對界面位置進行精確定位，并修正了線性針孔模型，能夠有效解決有氣液界面存在條件下不能準(zhǔn)確標(biāo)定的難題，克服了封閉體內(nèi)測量時無法進行現(xiàn)場標(biāo)定的困難;為驗證標(biāo)定方法的可行性與可靠性，進行了數(shù)值模擬，模擬結(jié)果顯示，此方法誤差較小，滿足室內(nèi)定位中的標(biāo)定精度要求。

室內(nèi)定位；雙目視覺；氣液界面；標(biāo)定

0 引言

近些年來，信息技術(shù)快速發(fā)展，各類電子智能設(shè)備日漸普及，而衛(wèi)星定位導(dǎo)航技術(shù)性能穩(wěn)定、成本低廉、定位精度準(zhǔn)確，被越來越多的人所熟悉和使用。然而，當(dāng)處于室內(nèi)環(huán)境中時，傳統(tǒng)衛(wèi)星定位導(dǎo)航技術(shù)所依賴的衛(wèi)星信號由于受到鋼筋混凝土等障礙物的遮擋以及室內(nèi)復(fù)雜環(huán)境等影響，信號強度會大大減弱，將無法繼續(xù)提供準(zhǔn)確的位置服務(wù)。而室內(nèi)定位在提高人們?nèi)粘Ｉ钯|(zhì)量，提升商業(yè)服務(wù)能力、增加工業(yè)生產(chǎn)效率以及維護公共安全等方面，將發(fā)揮越來越重要的作用。因此，室內(nèi)精確定位技術(shù)的研究具有重要意義。

室內(nèi)定位技術(shù)已經(jīng)過多年發(fā)展，按照不同的依據(jù)可以將現(xiàn)有的室內(nèi)定位技術(shù)進行劃分。若以定位機制為依據(jù)，可以劃分為：基于鄰近關(guān)系的室內(nèi)定位技術(shù)、基于幾何關(guān)系的室內(nèi)定位技術(shù)以及基于場景分析的室內(nèi)定位技術(shù)[1]；若按照其物理依賴的不同，可以劃分為：基于GPS的室內(nèi)定位技術(shù)、基于無線傳感器網(wǎng)絡(luò)(紅外線、藍(lán)牙、Wi-Fi、超聲波等)的室內(nèi)定位技術(shù)以及其他室內(nèi)定位技術(shù)；若按照定位范圍的不同，可以劃分為：廣域室內(nèi)定位和局域室內(nèi)定位[2]。

雙目立體視覺(Binocular Stereo Vision)是二十世紀(jì)八十年代初期，由Marr提出的計算機視覺理論[3]發(fā)展而來。雙目立體視覺是機器視覺的一種重要形式，原理是基于視差，通過采集兩張具有視差的平面圖像，進行圖像處理并獲取兩圖像對應(yīng)點之間的位置偏差，得到物體的三維幾何信息，恢復(fù)出具有景深的立體圖像。通過預(yù)先的標(biāo)定過程，可以解算出兩幅圖像中同一目標(biāo)的真實空間坐標(biāo)。

標(biāo)定是將目標(biāo)的物理區(qū)域坐標(biāo)同圖像區(qū)域坐標(biāo)建立起一一對應(yīng)關(guān)系的過程。為獲取目標(biāo)的準(zhǔn)確位置，相機的標(biāo)定過程是重中之重，標(biāo)定精度對最終定位精度有著決定性作用。當(dāng)無法現(xiàn)場標(biāo)定實際模型時，通常使用等效標(biāo)定的方案。然而，當(dāng)室內(nèi)定位場景中存在氣液界面時，光在通過不同介質(zhì)時會發(fā)生折射?，F(xiàn)有的等效標(biāo)定方法中存在因氣液界面折射引起的視線畸變、測量空間位置與標(biāo)定法基準(zhǔn)位置不重合、鏡頭畸變標(biāo)定精度有限等一系列問題，使得等效標(biāo)定不再適用。為嚴(yán)格地模擬這種效應(yīng)，需要確定相機標(biāo)定數(shù)據(jù)、折射率以及不同光學(xué)介質(zhì)交界面的位置。在較為理想的情況下，可以通過現(xiàn)場標(biāo)定對以上參數(shù)予以確定。然而，模型的封閉性設(shè)計使得無法將標(biāo)定靶盤放入封閉模型內(nèi)部，現(xiàn)場標(biāo)定無法實現(xiàn)，因此有必要針對存在界面的封閉模型提出一種新的非現(xiàn)場標(biāo)定方法，將室內(nèi)特殊場景定位(如水下機器人作業(yè))提供理論指導(dǎo)與實際借鑒意義。

鑒于以上原因，本文提出一種新的三維坐標(biāo)測定算法，來解決某些特殊場景無法進行現(xiàn)場標(biāo)定，且氣液存在條件下無法進行等效標(biāo)定的困難。整體思路為：先在空氣中進行標(biāo)定，根據(jù)相機在空氣中的標(biāo)定數(shù)據(jù)以及不同光學(xué)介質(zhì)的折射率，通過迭代自標(biāo)定的方法，獲得氣液界面位置。同時，為了減小標(biāo)定誤差，采用不同深度的多個界面進行整體約束，并且不同層之間使用最小二乘法對各層標(biāo)定結(jié)果進行修正。

1 方法描述

相機跟蹤拍攝目標(biāo)，只能夠獲得目標(biāo)粒子在平行于相機鏡頭平面中的位移(x方向和y方向)。為了獲得粒子在垂直相機鏡頭(z方向)方向上的位移，需要將相機鏡頭傾斜一定角度，如圖2所示。然而，相機鏡頭傾斜將會對相機成像產(chǎn)生一定的影響，為了減小視角傾斜對不同相機成像的影響，較為有效的手段是采用Scheimpflug光路布置方案[4]。盡管封閉模型無法進行現(xiàn)場標(biāo)定，但相機本身的內(nèi)參數(shù)只和相機及鏡頭的幾何相對位置有關(guān)，因此可以先通過空氣標(biāo)定的方式在小孔成像模型的假設(shè)下確定相機的內(nèi)部參數(shù)。由于水氣界面的存在，視線會發(fā)生折射，可以通過進一步的界面和物面算法來修正這種折射效應(yīng)，通過迭代和互相關(guān)算法的修正，最終確定界面方程和物面方程，并給出更為精確的視線方程。由于此時的互相關(guān)修正是基于薄片光構(gòu)成的瞬時粒子圖，能否準(zhǔn)確獲得粒子的中心坐標(biāo)將直接影響物面和界面的重構(gòu)以及后續(xù)的三維空間場重構(gòu)。在獲得粒子中心位置和視線方程之后，通過基于匹配概率的算法可對粒子的物理空間場進行重構(gòu)，三維重構(gòu)后的粒子場可以通過傳統(tǒng)的三維互相關(guān)解算速度場。

新方案的流程如圖1所示。

圖1 方案流程圖

2 搭建光路系統(tǒng)

2.1 光學(xué)原理

假設(shè)在某一時刻, 目標(biāo)粒子X的位置是A，A點的坐標(biāo)為Xa=(x,y,z), 在一段時間Δt后, 該粒子到達(dá)另一位置B，B點的坐標(biāo)為Xb=(x+Δx,y+Δy,z+Δz)。在相機的成像中，初始時刻粒子成像的位置是Xa,該粒子經(jīng)過時間Δt后成像的位置是Xb，即位移量為(Δx,Δy,Δz)。

根據(jù)標(biāo)定關(guān)系找出A點在左右相面上的同名配對粒子(同名粒子圖像匹配的含義是同一粒子在左右相機成像的對應(yīng)關(guān)系)，根據(jù)幾何共點共線，聯(lián)立多相機的標(biāo)定函數(shù)關(guān)系，從粒子的圖像中心確定其在相機的所對應(yīng)的空間直線方程, 采用最小二乘法解算該方程組, 方程組的解就是粒子在物理區(qū)域的空間坐標(biāo), 其含義為：這些直線的交點的坐標(biāo)即為目標(biāo)粒子的坐標(biāo)。

圖2 粒子真實位移與鏡頭成像關(guān)系

在提取到粒子空間坐標(biāo)后，對某一小立方體區(qū)域與下一時刻的同一位置的立方體區(qū)域進行三維體相關(guān)匹配，將會得到一個空間位移量(Δx,Δy,Δz)，代表這個區(qū)域的所有粒子的移動量。

2.2 光路布置方案

為了確定目標(biāo)粒子在垂直相機鏡頭方向上的位移, 可以把相機偏移原本垂直方向一定夾角。這會造成測量面上的點到相機感光面的距離不一致, 當(dāng)焦距固定時, 則會造成僅有處于特定距離處的粒子才能夠在相機內(nèi)成像清晰, 而所有處于其他距離的粒子, 都只能在相機上成模糊的像。為了處理這個問題, 有氣液界面存在條件下的室內(nèi)定位技術(shù)標(biāo)定過程中使用了Scheimpflug設(shè)置方案[4]。這個方案的示意圖如圖3所示。當(dāng)測量平面、相機鏡頭的中心面和相機感光面這三者相交于同一直線上時，處于測量面上的全部粒子都能清晰成像, 這就是Scheimpflug體視PIV布置方案。本實驗中都按照這個布置方案來布置光路。該設(shè)置方案的重要之處是將機身和相機鏡頭分開, 使得機身與鏡頭所成的夾角能夠通過自制的角位移裝置進行調(diào)整。如圖4所示。

圖3 三維空間目標(biāo)粒子追蹤的光路布置圖

圖4 自有的角位移成像裝置(用于體視成像裝置)

3 基于針孔模型的空間成像關(guān)系標(biāo)定

相機標(biāo)定是一個復(fù)雜且重要的過程。由于實際環(huán)境完全封閉，無法實現(xiàn)現(xiàn)場標(biāo)定，可先在空氣中進行標(biāo)定，建立一套完整的三維空間坐標(biāo)系。對空間位置已知的標(biāo)準(zhǔn)網(wǎng)格，采用亞像素定位技術(shù)提取網(wǎng)格節(jié)點[5-6]。首先對標(biāo)定面進行采樣，利用三維坐標(biāo)架沿界面的垂直方向移動，采集等間距的標(biāo)定平面，做成像的標(biāo)定平面提取網(wǎng)格節(jié)點，再利用三次像條插值，計算每個像素點對應(yīng)的標(biāo)定面上的空間坐標(biāo)，最后擬合該像素點對應(yīng)的直線方程，使鏡頭函數(shù)線性化，標(biāo)定方程轉(zhuǎn)化成線性方程組, 最終完成相機的標(biāo)定過程。

測量中三維坐標(biāo)測定應(yīng)遵循共線性的基本數(shù)學(xué)思想[7]，即物點、相機投影中心以及圖像點分布在一條直線上。圖像區(qū)域和物理區(qū)域之間的關(guān)系可以用以下模型描述：

其中:dx,dy,u0以及v0是相機內(nèi)部參數(shù)，已確定，R是旋轉(zhuǎn)矩陣，T為平移矩陣。

為此，將標(biāo)定板放置在觀測區(qū)內(nèi)，用兩個相機對其拍攝。標(biāo)定板圖像如圖5所示。

圖5 用于標(biāo)定的靶盤

標(biāo)定完畢后，可得到前面提到的6個參數(shù)，將其用于空氣條件下粒子定位中的空間相交。為確定標(biāo)定精度，可以根據(jù)確定的坐標(biāo)和隨機點的坐標(biāo)之間的r.m.s偏差來進行估計。人工生成的隨機點圖如圖6(a)所示，預(yù)測位置與預(yù)設(shè)值之間的偏差分布如圖6(b)所示。從圖中容易看出，標(biāo)定誤差大部分都在0.1個像素以內(nèi)。

圖6 用于驗證的隨機點(a)和標(biāo)定誤差分布(b)

4 目標(biāo)識別

為了確保后續(xù)定位的準(zhǔn)確度以及精度，需要獲取目標(biāo)物在圖像中的位置坐標(biāo)。而在一副圖像中可能除了所要檢測出來的目標(biāo)物，還會包含其它非目標(biāo)物體。目標(biāo)識別就是把目標(biāo)物與其它非目標(biāo)物體進行區(qū)分，進而從圖像中獲取所需的圖像數(shù)據(jù)。目標(biāo)識別時，首先需要提取圖像的特征信息。圖像特征指的是一個物體通過圖像中所表現(xiàn)的不同于其它物體在圖像中所包含的某方面性質(zhì)的抽象信息。通過對圖像進行特征提取，利用圖像處理技術(shù)分析圖像特征，再將分析所得信息與目標(biāo)物體的圖像特征信息進行匹配，基于匹配結(jié)果對物體進行目標(biāo)識別，最終可以得到目標(biāo)物體在圖像中的位置。

為了獲得目標(biāo)的精確位置，應(yīng)先對圖像進行預(yù)處理，比如背景差分，空間圖像的濾波，粒子圖像失真的修正。目標(biāo)粒子位置識別的精度對測量精度有很大的影響，是不可缺少的步驟。亞像素定位技術(shù)能夠把目標(biāo)定位精度鎖定在0.1～0.5個像素范圍以內(nèi), 具體采用何種方法應(yīng)綜合考慮目標(biāo)形狀、圖像灰度分布等因素, 否則無法達(dá)到預(yù)期精度。為了獲得更精確的預(yù)測，本方案采用高斯擬合函數(shù)估計亞像素級的位置。首先將每個粒子的光強期望分布看作一個半徑為3個像素的高斯散斑，如圖7所示。然后根據(jù)光強分布構(gòu)造二維高斯函數(shù)，每個粒子中心也就處于該高斯函數(shù)的的極大值點，故求解該極值點作為粒子中心點，并將其當(dāng)作顆粒中心的初始估計。篩選計算結(jié)果并除去背景噪聲。然而預(yù)測點可能不是微粒中心的真實位置，因此，有必要對其進行修正。修正過程由兩個主要步驟組成：剔除噪聲以及計算中心坐標(biāo)。

圖7 粒子圖像的強度分布以及強度平面中最高 強度和周圍的二維高斯擬合

5 求解界面初值與物面初值

光線通過不同介質(zhì)，由于折射率的不同會導(dǎo)致光路發(fā)生折射，因此，必須考慮多介質(zhì)模型來構(gòu)造物理空間和相面空間之間的對應(yīng)關(guān)系。這種影響可以根據(jù)界面位置建模。假設(shè)物面、相面和界面相互平行，基于共線性條件可以進行簡單建模?？紤]到玻璃厚度t遠(yuǎn)小于物體距離Z0和圖像距離Zp，可對模型進行化簡。簡化后的模型如圖8所示。

圖8 視線上界面的影響示意圖

對于界面，可以定義向量：

其中:

K2=ni·IV

由于界面的存在，在共線性條件下，光線從不同相機Cj到物點O的路徑被轉(zhuǎn)移到了物面上兩個不同的點，記為OL和OR，因此，需要對兩條光線進行互相關(guān)操作。利用薄片光的不同位置確定界面和物面的參數(shù)。下面方程定義了相機平面的點PCAM和物面上相應(yīng)的點PPHYS之間的修正關(guān)系。

Pphys(X,Y,Z)=Pfoucs(X,Y,Z)-

其中:

再通過建立物點，PPHY以及圖像點PCAM之間的關(guān)系可得到逆變換。

其中:

Pcro=Pphys-ni·(ni×(Pphys-Pinter))-(Pphys-Pfocus)·

根據(jù)標(biāo)定數(shù)據(jù)可得到系數(shù)矩陣M以及系數(shù)a1-a5。由于光線從不同的相機發(fā)出后將在某點相交，幾何約束方程可以寫為:

可用6個參數(shù)描述界面和物面:

多對視線可以建立其距離關(guān)系的多元非線性方程組:

fi(x*)=DL=0

其中:x*=(Ia,Ib,Id,Pa,Pb)表示界面和物面的參數(shù)。由于多元方程式二階連續(xù)可導(dǎo)，可通過牛頓迭代方法確定近似解。

6 仿真驗證

為估計標(biāo)定程序中套準(zhǔn)誤差分布，進行了兩個仿真，其中一個仿真中界面是平行的，另一個仿真中界面事傾斜的。兩個仿真中，兩個相機之間的夾角為15°，物距300 mm，焦距28 mm。界面中心位于Z=100 mm。第二個仿真中傾角為4°。因此，兩個界面可以定義：

Z-100=0

0.0698·+·y+0.9976·(z-100)=0

為估算標(biāo)定誤差，先將兩個相機的粒子圖互相關(guān)，得到速度分布，再將兩個速度分布的r.m.s偏差定義為隨機誤差。對于第一個仿真，隨機誤差和參數(shù)迭代后的結(jié)果如圖9所示，圖中可以看出粒子圖的直接重構(gòu)有一個明顯的1.5個像素量級的隨機誤差，然而在自標(biāo)定基礎(chǔ)上進行幾次迭代后，這個誤差可以減少到0.005個像素以下，如圖10所示。

圖9 仿真一的隨機誤差(a)及迭代后的結(jié)果(b)

圖10 仿真二的隨機誤差(a)及迭代后的結(jié)果(b)

第二個模擬中可以得到相同的結(jié)論，如圖10所示。對兩個仿真，套準(zhǔn)誤差均在0.01個像素以下。

根據(jù)對一百對圖像的統(tǒng)計學(xué)分析，可以發(fā)現(xiàn)標(biāo)定過程中隨著粒子位移變化有一個0.036像素量級的系統(tǒng)誤差。如圖11所示。

圖12中顯示了套準(zhǔn)誤差對界面和物面參數(shù)的影響。使用了10個0.001像素到0.01像素之間套準(zhǔn)誤差?？梢缘贸鼋Y(jié)論：隨著套準(zhǔn)誤差的增長，參數(shù)誤差水平也會提高。

圖11 標(biāo)定中的系統(tǒng)誤差

圖12 標(biāo)定中的套準(zhǔn)誤差

7 結(jié)論

本文提出了一種在有氣液界面條件下雙目視覺定位中相機的標(biāo)定技術(shù)，有效解決了有折射現(xiàn)象存在時傳統(tǒng)標(biāo)定技術(shù)不再適用的難題。克服了封閉模型內(nèi)的目標(biāo)定位過程中不能現(xiàn)場標(biāo)定的困難。該技術(shù)能夠應(yīng)用于基于雙目視覺原理的室內(nèi)定位的標(biāo)定過程。仿真結(jié)果顯示，用此方法進行標(biāo)定，誤差水平能夠達(dá)到實驗精度要求。充分說明了本方法的可行性與可靠性。

[1] 趙 銳，鐘 榜，朱祖禮，等.室內(nèi)定位技術(shù)及應(yīng)用綜述[J].電子科技，2014,3:154-157.

[2] 余 揚，趙凱飛，沈 嘉.室內(nèi)定位技術(shù)應(yīng)用、研究現(xiàn)狀及展望[J]. 電信網(wǎng)技術(shù),2014,5:46-49.

[3] Marr D, Ullman S, Poggio T A.Vision: a computational investigation into the human representation and processing of visual information[M]. MIT Press, 2010.

[4] 馬頌德.計算機視覺：計算理論與算法基礎(chǔ)[M].北京:科學(xué)出版社，1998.

[5] Mass H G, Gruen A, Papantoniou D. Particle tracking velocimetry in three-dimensional flows Part 1. Photogrammetric determination of particle coordinates[J]. Experiments in Fluids, 1993, 15(2):133-146.

[6] Malik N, Dracos T, Papantoniou D. Particle tracking velocimetry in three-dimensional flows Part 2. Particle tracking[J]. Experiments in Fluids, 1993,15(4/5): 279-294.

[7] Hoyer K, Holzner M, Luthi B, et al. 3D scanning particle tracking velocimetry[J]. Experiments in Fluids, 2005,39:923-934.

[8] Holzner M, Liberzon A, Nikitin N, et al. A lagrangian investigation of the small-scale features of turbulent entrainment through particle tracking and direct numerical simulation[J]. Journal of Fluid Mechanics, 2008, 598:465-475.

NewMethodofIndoorLocationCalibrationBasedonBinocularVision

Xing Yabin1,2,Wang Zhenling1,2

(1.The 54th Research Institute of CETC, Shijiazhuang 050081, China;2.State Key Laboratory of Satellite Navigation System and Equipment Technology, Shijiazhuang 050081, China)

With the development of global navigation satellite systems, location based services has increasingly become an indispensable part of our personal and professional lives, as more and more people become accustomed to using positioning technology. With the increasing demand for indoor navigation applications, indoor positioning navigation technology based on multi-visual principles has become the center of many technical research efforts, and has matured throughout the past few years. However, when gas-liquid interface is involved, the linear calibration technique that is currently being used is no longer applicable due to the refraction of the line of sight during the propagation process, and therefore becomes the major technical barrier restricting indoor positioning under special circumstances (such as underwater robot operations). This paper proposes a new calibration method that accurately locates the interface position and corrects the linear pinhole model, which can effectively ensure the accuracy of calibration under the circumstances of gas-liquid interfaces, and make field calibration possible during closed measurement. To verify the feasibility and reliability of this calibration method, this paper conducted numerical simulation. Results show small margin of error and indicates that this method satisfies the calibration accuracy requirements in indoor positioning.

indoor positioning; binocular vision; gas-liquid interface; calibration

2017-07-25；

2017-08-13。

邢亞斌(1992-)，男，河北石家莊人，碩士研究生，主要從事導(dǎo)航定位方向的研究。

1671-4598(2017)10-0281-04

10.16526/j.cnki.11-4762/tp.2017.10.072

TP3

A