王 勇，陳國(guó)良，李曉園，田 鵬,4，周 雨

(1. 中國(guó)礦業(yè)大學(xué)機(jī)電工程學(xué)院，江蘇 徐州 221000; 2. 徐州市產(chǎn)品質(zhì)量監(jiān)督檢驗(yàn)中心，江蘇 徐州 221000; 3. 中國(guó)礦業(yè)大學(xué)環(huán)境與測(cè)繪學(xué)院，江蘇 徐州 221000; 4. 徐州市勘察測(cè)繪研究院，江蘇 徐州 221000)

隨著社會(huì)的發(fā)展、國(guó)防建設(shè)的需要，以及人們需求的增長(zhǎng)，基于位置的服務(wù)成為研究的熱點(diǎn)。如何在復(fù)雜環(huán)境中快速獲取準(zhǔn)確的位置，便于在緊急救助、醫(yī)療服務(wù)、信息傳遞等鄰域發(fā)揮巨大的作用成為至關(guān)重要的問(wèn)題。對(duì)于現(xiàn)代導(dǎo)航定位來(lái)說(shuō)，室內(nèi)由于建筑物的遮擋，GPS接收機(jī)很難收到衛(wèi)星的信號(hào)。因此，WiFi[1-3]、白光[4]、可見(jiàn)光[5]、超寬帶(UWB)[6]、行人航跡推算(PDR)[7]、藍(lán)牙的各種室內(nèi)定位技術(shù)應(yīng)運(yùn)而生，各種基于人工智能和傳感器融合的算法實(shí)現(xiàn)了優(yōu)于1 m精度的室內(nèi)定位[8-10]。

研究發(fā)現(xiàn)上述室內(nèi)定位方法都需要在室內(nèi)環(huán)境附加安裝一些電子裝置才能實(shí)現(xiàn)，本文以公共場(chǎng)所常見(jiàn)的監(jiān)控?cái)z像裝置采集的實(shí)時(shí)視頻流為基礎(chǔ)，實(shí)現(xiàn)了一種利用視頻序列和多區(qū)域分割的室內(nèi)定位方法，無(wú)需任何現(xiàn)場(chǎng)附加裝置，實(shí)現(xiàn)高精度的室內(nèi)定位。具體的實(shí)現(xiàn)步驟如圖1所示，首先對(duì)不同的平面進(jìn)行相機(jī)標(biāo)定，獲取投影矩陣；然后對(duì)視頻序列中的目標(biāo)進(jìn)行檢測(cè)，獲取目標(biāo)的像素坐標(biāo)；最后結(jié)合投影矩陣與像素坐標(biāo)進(jìn)行空間坐標(biāo)的解算，完成對(duì)室內(nèi)目標(biāo)的定位。

圖1 定位流程

1 相機(jī)標(biāo)定

相機(jī)標(biāo)定是從二維像片中獲取三維尺度信息必不可少的步驟，對(duì)三維計(jì)算機(jī)視覺(jué)尤為重要。通過(guò)相機(jī)標(biāo)定可以獲取像片中像素與空間物體的映射關(guān)系，從而達(dá)到利用像素坐標(biāo)解算空間坐標(biāo)的目的。本文選用文獻(xiàn)[11]中的張正友標(biāo)定法進(jìn)行相機(jī)的標(biāo)定。

1.1 相機(jī)成像模型

相機(jī)標(biāo)定采用針孔模型作為相機(jī)成像模型，根據(jù)針孔成像模型可以得到如下的映射關(guān)系

(1)

式中，u、v為P點(diǎn)的像素坐標(biāo)；X、Y、Z為P點(diǎn)的空間坐標(biāo)；s為尺度因子；r1、r2、r3為旋轉(zhuǎn)參數(shù)，t為平移參數(shù)，統(tǒng)稱(chēng)為相機(jī)的外參；A為相機(jī)的內(nèi)參矩陣。

式(1)是空間坐標(biāo)與像素坐標(biāo)間的映射關(guān)系，張正友標(biāo)定法中假設(shè)標(biāo)定板的平面為0，即Z=0，因此式(1)可以簡(jiǎn)化為式(2)，通過(guò)對(duì)式(2)中的相應(yīng)參數(shù)進(jìn)行解算可完成相機(jī)標(biāo)定。

(2)

1.2 相機(jī)內(nèi)外參數(shù)的解算

相機(jī)成像模型建立好之后就需要對(duì)相機(jī)的內(nèi)外參數(shù)進(jìn)行求解得到像素坐標(biāo)與空間坐標(biāo)之間的轉(zhuǎn)化關(guān)系。張正友標(biāo)定法用于相機(jī)內(nèi)外參數(shù)的求解過(guò)程如圖2所示。

1.2.1 單應(yīng)矩陣求解

式(1)可以化簡(jiǎn)為

sm=HM

(3)

式中，X=H。

圖2 張正友相機(jī)標(biāo)定步驟

1.2.2 內(nèi)外參數(shù)求解

結(jié)合式(2)和式(3)，可以得到

(4)

式中，λ=1/s，由旋轉(zhuǎn)矩陣的正交性可以得到如下兩式

(5)

(6)

式(5)、式(6)又可以寫(xiě)成矩陣的形式

(7)

最后通過(guò)對(duì)式(7)求解的b進(jìn)行分解后就可以求出相機(jī)的內(nèi)外參數(shù)，具體求解過(guò)程可以參考文獻(xiàn)[12]，這里不再贅述。

1.2.3 相機(jī)的畸變參數(shù)求解

通過(guò)式(7)計(jì)算出來(lái)的相機(jī)內(nèi)外參數(shù)是在針孔成像模型的前提下解算的。實(shí)際上相機(jī)在成像過(guò)程中會(huì)出現(xiàn)畸變，因此還需要求解相機(jī)的畸變參數(shù)。相機(jī)的畸變有3種模式，分別為徑向畸變、離心畸變、薄棱鏡畸變。考慮到徑向畸變?yōu)橹饕?lèi)型，因此只求解到二階徑向畸變參數(shù)[13]。徑向畸變參數(shù)通過(guò)下式求解

(8)

k=(DTD)-1DTd

(9)

2 運(yùn)動(dòng)目標(biāo)檢測(cè)

運(yùn)動(dòng)目標(biāo)檢測(cè)技術(shù)在智能監(jiān)控領(lǐng)域發(fā)揮著重要的作用。本部分主要利用運(yùn)動(dòng)目標(biāo)檢測(cè)技術(shù)獲取目標(biāo)的像素坐標(biāo)，為下一步目標(biāo)空間位置的解算作準(zhǔn)備。目前常用的運(yùn)動(dòng)目標(biāo)檢測(cè)方法有幀差法、背景差法[14]和光流法[15]3種。由于單一算法都不能完整地檢測(cè)運(yùn)動(dòng)目標(biāo)，因此出現(xiàn)了混合算法。文獻(xiàn)[16]融合背景差法、光流法及可分離的數(shù)學(xué)形態(tài)邊緣檢測(cè)法(SMED)，減少了背景噪音，增強(qiáng)了對(duì)光照變化的適應(yīng)性，增強(qiáng)了算法的穩(wěn)健性。本文利用文獻(xiàn)提取強(qiáng)角點(diǎn)特征，然后結(jié)合金字塔Lucas-Kanade(L-K)光流算法對(duì)目標(biāo)進(jìn)行檢測(cè)。金字塔L-K光流算法流程如圖3所示。

圖3 金字塔Lucas-Kanade光流算法流程

2.1 強(qiáng)角點(diǎn)提取

傳統(tǒng)的Lucas-Kanade光流法用于求解稠密光流，計(jì)算量較大，因此不能滿(mǎn)足實(shí)時(shí)性的要求。在此基礎(chǔ)上本文先在初始圖像中提取強(qiáng)角點(diǎn)，然后對(duì)提取的強(qiáng)角點(diǎn)進(jìn)行跟蹤，減少了計(jì)算量。強(qiáng)角點(diǎn)提取的數(shù)學(xué)模型如下

(10)

式中，w(x,y)為高斯函數(shù)；Ix為x方向偏導(dǎo)數(shù)；Iy為y方向偏導(dǎo)數(shù)；?表示卷積運(yùn)算；M為二階導(dǎo)數(shù)的自相關(guān)矩陣。

由于M為二階矩陣，求解M矩陣的兩個(gè)特征值λ1、λ2。將兩個(gè)特征值與設(shè)定的閾值比較可以得到強(qiáng)角點(diǎn)，判斷準(zhǔn)則需滿(mǎn)足

min{λ1,λ2}>min(threold)

(11)

2.2 結(jié)合強(qiáng)角點(diǎn)的金字塔Lucas-Kanade光流法

L-K光流法基于3個(gè)假設(shè)：①目標(biāo)像素在幀間運(yùn)動(dòng)保持亮度恒定；②運(yùn)動(dòng)隨時(shí)間變化緩慢；③同一場(chǎng)景中同一表面上鄰近的點(diǎn)具有相似運(yùn)動(dòng)。在滿(mǎn)足上述3個(gè)條件后可以得到L-K光流法的數(shù)學(xué)模型如下

Ixu+Iyv+It=0

(12)

式中，Ix、Iy分別為圖像沿x、y方向的偏導(dǎo)數(shù)；It為圖像隨時(shí)間的導(dǎo)數(shù)；u、v分別為x、y方向的速度分量。通過(guò)上式可以看出，單個(gè)像素不能求解速度分量，因此需要利用鄰域像素一并解算

(13)

式中，n為鄰域窗口的大小。利用最小二乘法對(duì)式(13)進(jìn)行求解就可以得到速度分量值。金字塔L-K算法是L-K算法的改進(jìn)，其作用是克服了L-K算法只適用于小而連貫運(yùn)動(dòng)的缺陷，使其也能夠滿(mǎn)足大而不連貫的運(yùn)動(dòng)。

3 目標(biāo)定位

相機(jī)標(biāo)定獲取的像素坐標(biāo)與空間坐標(biāo)之間的映射關(guān)系可以表示為

(14)

展開(kāi)并消去s后有

(15)

式(15)即為空間直線(xiàn)方程。從上式可以看出一個(gè)像素點(diǎn)對(duì)應(yīng)射線(xiàn)上的任何一個(gè)空間點(diǎn)，因此不能通過(guò)單一像素坐標(biāo)解算出空間坐標(biāo)。從圖4中可以看出如果能夠得到平面Z的空間方程，結(jié)合式(15)就可以求得X、Y、Z的坐標(biāo)。

假設(shè)平面Z的空間方程為Z=0，結(jié)合式(15)可以得出坐標(biāo)求解方程為

該處樓房位于賈河河堤南側(cè)，影響道路鋪設(shè)和創(chuàng)森造林，對(duì)此，東明縣投入資金19萬(wàn)元，由江蘇省鹽城市一專(zhuān)業(yè)樓房整體平移公司對(duì)樓房實(shí)施了平移，整棟樓房向東平移18米后，又向南平移了14米，為創(chuàng)森造林“讓道”。

(16)

圖4 坐標(biāo)解算模型

通過(guò)對(duì)上式進(jìn)行求解，就可以利用目標(biāo)物的像素坐標(biāo)解算出空間坐標(biāo)，實(shí)現(xiàn)目標(biāo)定位。上述定位方法需要確定平面方程，因此本文將室內(nèi)環(huán)境進(jìn)行平面分割，針對(duì)不同的平面完成相機(jī)標(biāo)定，確定平面方程，如圖5所示。

圖5 定位示意圖

4 試驗(yàn)分析

4.1 試驗(yàn)條件

試驗(yàn)場(chǎng)所選用教學(xué)樓樓道和樓梯兩部分，試驗(yàn)硬件平臺(tái)為智能手機(jī)及棋盤(pán)格標(biāo)定板，軟件平臺(tái)為Opencv和Matlab。

4.2 相機(jī)標(biāo)定

4.2.1 樓道平面標(biāo)定結(jié)果

樓道平面選用17張棋盤(pán)格照片進(jìn)行標(biāo)定，如圖6所示。

圖6 樓道平面棋盤(pán)格標(biāo)定

相機(jī)內(nèi)參矩陣為

旋轉(zhuǎn)矩陣為

平移矩陣為

徑向畸變系數(shù)為

0.122 4 -0.067 6

由以上結(jié)果可以得到投影矩陣為

利用M矩陣就可實(shí)現(xiàn)圖像與空間的位置關(guān)系轉(zhuǎn)換。標(biāo)定誤差如圖7所示。

圖7 相機(jī)標(biāo)定誤差(樓道平面)

從圖7可以看出，相機(jī)標(biāo)定誤差小于0.2像素，標(biāo)定結(jié)果達(dá)到了亞像素。

4.2.2 樓梯面標(biāo)定結(jié)果

樓梯面標(biāo)定使用14張棋盤(pán)格照片進(jìn)行標(biāo)定，如圖8、圖9所示。

圖8 樓梯平面棋盤(pán)格標(biāo)定

圖9 相機(jī)標(biāo)定誤差(樓梯平面)

旋轉(zhuǎn)矩陣為

平移矩陣為

投影矩陣為

上面試驗(yàn)分別對(duì)不同平面完成相機(jī)標(biāo)定，得到了圖像坐標(biāo)與空間位置的映射關(guān)系，標(biāo)定結(jié)果精度達(dá)到了亞像素。

4.3 運(yùn)動(dòng)目標(biāo)檢測(cè)

行人沿樓道平面和樓梯平面預(yù)先設(shè)置好的路線(xiàn)行走過(guò)程采集視頻，并采用金字塔L-K光流法進(jìn)行了光流檢測(cè)。圖10(a)、圖10(b)分別為第155幀和200幀的原始圖像，圖10(c)、圖10(d)為其對(duì)應(yīng)的光流檢測(cè)結(jié)果。

圖10 金字塔L-K光流法檢測(cè)

4.4 目標(biāo)定位結(jié)果

行人沿樓道平面行走試驗(yàn)的定位結(jié)果如圖11所示，最大定位誤差處為Y軸0.35 m，其余各處均小于0.1 m。行人沿樓梯行走試驗(yàn)的定位結(jié)果如圖12所示，X、Y軸的誤差均小于0.1 m。

通過(guò)樓道平面和樓梯平面的試驗(yàn)結(jié)果可以看出(如圖13所示)，本文提出的算法定位精度在X方向小于0.15 m，Y方向小于0.35 m，行人行走時(shí)在Y方向偏離真實(shí)軌跡較大，導(dǎo)致Y方向獲取的像素坐標(biāo)誤差較大，因此Y方向誤差要大于X方向誤差；平均單點(diǎn)定位時(shí)間小于5 s，試驗(yàn)結(jié)果達(dá)到了高精度、實(shí)時(shí)性的要求；畸變校正后軌跡與未校正的軌跡基本重合，表明本試驗(yàn)所用相機(jī)鏡頭畸變尺度較小，對(duì)定位結(jié)果的影響可以忽略不計(jì)。

圖11 行人沿樓道平面行走定位結(jié)果

圖12 行人沿樓梯行走定位結(jié)果

圖13 部分定位點(diǎn)沿X、Y方向定位誤差

5 結(jié)論與展望

本文將機(jī)器視覺(jué)技術(shù)應(yīng)用在室內(nèi)定位領(lǐng)域，通過(guò)對(duì)室內(nèi)區(qū)域進(jìn)行分割，結(jié)合相機(jī)標(biāo)定和運(yùn)動(dòng)目標(biāo)檢測(cè)技術(shù)實(shí)現(xiàn)對(duì)室內(nèi)行人的高精度定位。試驗(yàn)結(jié)果表明，定位精度小于0.5 m，均高于WiFi、藍(lán)牙等其他室內(nèi)定位技術(shù)，可以滿(mǎn)足高精度室內(nèi)定位的需求。由于室內(nèi)攝像設(shè)備覆蓋范圍的限制，不能覆蓋所有的區(qū)域，但是可以通過(guò)與其他定位技術(shù)一起實(shí)現(xiàn)組合定位，完成覆蓋較大范圍內(nèi)的定位需求。

[1] YANG Chouchang,SHAO Huairong.WiFi-based Indoor Positioning[J].IEEE Communications Magazine: Articles, News, and Events of Interest to Communications Engin-eers,2015,53(3):150-157.

[2] ZOU H, JIANG H, LU X, et al. An Online Sequential Extreme Learning Machine Approach to WiFi Based Indoor Positioning[C]∥ Internet of Things. [S.l.]: IEEE, 2014:111-116.

[3] TORTEEKA P, XIU C. Indoor Positioning Based on WiFi Fingerprint Technique Using Fuzzy K-nearest Neighbor[C]∥ International Bhurban Conference on Applied Sciences and Technology. [S.l.]: IEEE, 2014:461-465.

[4] NADEEM U, HASSAN N U, PASHA M A, et al. Highly Accurate 3D Wireless Indoor Positioning System Using White LED Lights[J]. Electronics Letters, 2014, 50(11):828-830.

[5] YASIR M, HO S W, VELLAMBI B N. Indoor Positioning System Using Visible Light and Accelerometer[J]. Journal of Lightwave Technology, 2014, 32(19):3306-3316.

[6] KOK M, HOL J D, SCHON T B. Indoor Positioning Using Ultrawideband and Inertial Measurements[J].IEEE Transactions on Vehicular Technology,2015,64(4):1293-1303.

[7] 陳國(guó)良,張言哲,汪云甲,等.WiFi-PDR室內(nèi)組合定位的無(wú)跡卡爾曼濾波算法[J].測(cè)繪學(xué)報(bào),2015,44(12):1314-1321.

[8] 張會(huì)清,石曉偉,鄧貴華,等.基于BP神經(jīng)網(wǎng)絡(luò)和泰勒級(jí)數(shù)的室內(nèi)定位算法研究[J].電子學(xué)報(bào),2012,40(9):1876-1879.

[9] 李麗娜,馬俊,龍躍,等.基于LANDMARC與壓縮感知的雙段式室內(nèi)定位算法[J].電子與信息學(xué)報(bào),2016,38(7):1631-1637.

[10] TIAN Z, FANG X, ZHOU M, et al. Smartphone-based Indoor Integrated WiFi/MEMS Positioning Algorithm in a Multi-floor Environment[J]. Micromachines, 2015, 6(3):347-363.

[11] MORé J J. The Levenberg-marquardt algorithm: Implementa-tion and theory[J]. Lecture Notes in Mathematics, 1978, 630:105-116.

[12] ZHANG Z Y.A Flexible New Technique for Camera Calibration[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2000,22(11):1330-1334.

[13] TSAI R Y. An Efficient and Accurate Camera Calibration Technique for 3D Machine Vision[J]. Proceeding of Computer Vision and Pattern Recognition, 1986(6):364-374.

[14] XU M, MA M. Real-time Detection of Moving Human Target under Indoor Environment Based on Video[C]∥ International Symposium on Test Automation & Instrumentation. Beijing:[s.n.],2014.

[15] LUCAS B D, KANADE T. An Iterative Image Registration Technique with an Application to Stereo Vision[C]∥ International Joint Conference on Artificial Intelligence. [S.l.]:Morgan Kaufmann Publishers,1981:674-679.

[16] SUGANYADEVI K, MALMURUGAN N. OFGM-SMED: An Efficient and Robust Foreground Object Detection in Compressed Video Sequences[M]. [S.l.]:Pergamon Press, 2014.