寧天敏

（東華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，上海 201620）

0 引 言

隨著4G／5G 網(wǎng)絡(luò)在國內(nèi)的普及以及國家“提速降費(fèi)”政策的推動(dòng)，移動(dòng)終端和移動(dòng)互聯(lián)網(wǎng)業(yè)務(wù)在國內(nèi)的滲透率達(dá)到了空前高度，越來越多的個(gè)性化需求應(yīng)運(yùn)而生。 其中，基于位置的服務(wù)（Location Based Services）能夠根據(jù)移動(dòng)設(shè)備和用戶的位置提供個(gè)性化服務(wù)［1］。 在這個(gè)移動(dòng)信息時(shí)代，人們?cè)絹碓揭蕾囉贚BS，其應(yīng)用前景非常廣泛。 現(xiàn)如今社會(huì)，人們每天在室內(nèi)工作、學(xué)習(xí)和生活的時(shí)間占全天時(shí)間的80%左右，遠(yuǎn)遠(yuǎn)超過身處室外的時(shí)間，因此，室內(nèi)定位在人們的日常生活中起到了重要的作用。

由于GPS 信號(hào)容易被建筑物遮擋，因此GPS 在室內(nèi)定位的精度不高。 常見的室內(nèi)定位技術(shù)包括射頻識(shí)別定位、WiFi 定位、藍(lán)牙定位、磁場定位、超聲波定位、紅外定位、行人航位推算［2］。 其中，射頻識(shí)別定位不便于整合到移動(dòng)設(shè)備中，且作用距離短。WiFi、藍(lán)牙、磁場的指紋定位方式，不依賴于額外的基礎(chǔ)設(shè)施，可以達(dá)到2 ～5 m 的定位精度。 然而，環(huán)境變化以及附近行人或物體會(huì)影響其定位效果，需要經(jīng)常更新指紋數(shù)據(jù)庫，這非常耗費(fèi)人力。 超聲波定位和紅外定位的定位精度能夠達(dá)到厘米級(jí)別，但是需要額外的基礎(chǔ)設(shè)施，導(dǎo)致成本較高。 行人航位推算利用慣性傳感器計(jì)算航向和步長，不依賴于額外的基礎(chǔ)設(shè)施，但是由于累積誤差的存在，在長距離定位下其效果并不理想。

因此，提出一個(gè)低成本、高精度、易擴(kuò)展的室內(nèi)定位系統(tǒng)具有重要的現(xiàn)實(shí)意義。 本文考慮利用智能手機(jī)的慣性傳感器和圖像傳感器對(duì)室內(nèi)環(huán)境下的用戶進(jìn)行位置定位，以達(dá)到不依賴于其他額外的基礎(chǔ)設(shè)施的目的。

1 相關(guān)理論與技術(shù)

本文主要用到了加速度傳感器、陀螺儀傳感器、磁力傳感器、圖像傳感器，在安卓平臺(tái)下，前三者使用標(biāo)準(zhǔn)的三軸坐標(biāo)系來表示數(shù)據(jù)值。 對(duì)于標(biāo)準(zhǔn)的三軸坐標(biāo)系，當(dāng)設(shè)備正面朝上平放于桌面時(shí)，可相對(duì)于設(shè)備屏幕來定義坐標(biāo)系。其中，x軸指向設(shè)備屏幕右側(cè)，y軸指向設(shè)備屏幕前方，z軸垂直于設(shè)備屏幕向上延伸。 當(dāng)設(shè)備的屏幕方向改變時(shí)，坐標(biāo)軸不會(huì)轉(zhuǎn)換，也就是說，傳感器的坐標(biāo)系不會(huì)隨著設(shè)備的移動(dòng)而改變。

光流最早由美國心理學(xué)家Gibson［3］在十九世紀(jì)四十年代提出。 光流是視覺場景中由觀察者（比如眼睛、攝像頭）和場景之間的相對(duì)運(yùn)動(dòng)引起的物體、表面和邊緣的表觀運(yùn)動(dòng)［4］，這種相對(duì)運(yùn)動(dòng)包括觀察者運(yùn)動(dòng)、場景運(yùn)動(dòng)或二者同時(shí)運(yùn)動(dòng)。 光流估計(jì)是計(jì)算機(jī)視覺研究中的一個(gè)重要方向，具有廣泛的用途，包括目標(biāo)對(duì)象分割、運(yùn)動(dòng)檢測、立體視差測量等。 智能手機(jī)光流估計(jì)利用圖像傳感器拍攝的連續(xù)圖像序列的相鄰2 幀在空間、時(shí)間上的相關(guān)性與變化情況，計(jì)算出像素點(diǎn)在相鄰2 幀中的速度矢量、即光流。對(duì)圖像每個(gè)像素計(jì)算光流稱為稠密光流，對(duì)圖像的部分像素（即具有明顯特征的角點(diǎn)）計(jì)算光流稱為稀疏光流。 考慮到稠密光流的計(jì)算開銷明顯超過稀疏光流，因此，可以根據(jù)需求選擇合適的方法。 本文使用的是稀疏光流。

2 室內(nèi)定位方法設(shè)計(jì)

本文提出了一個(gè)室內(nèi)定位方法，也是一種行人航位推算方法，行人航位推算是在已知當(dāng)前時(shí)刻位置的條件下，通過測量移動(dòng)的距離和方位，推算下一時(shí)刻位置的方法。 本文提出的室內(nèi)定位方法的核心思想是，利用Madgwick 算法［5］對(duì)加速度、陀螺儀、地磁傳感器數(shù)據(jù)計(jì)算得出姿態(tài)航向，利用Shi－Tomasi 角點(diǎn)檢測算法［6］和Lucas 稀疏光流算法［7］對(duì)手機(jī)后置攝像頭拍攝得到的視頻幀序列計(jì)算得到位移，從而確定行人的位置。 具體來說，當(dāng)行人以相對(duì)于地面固定的高度在身前平握手機(jī)步行時(shí)，通過計(jì)算地面區(qū)域的光流和腳部區(qū)域的光流再乘以一定比例可以得出行人的位移，結(jié)合給定的初始位置可以計(jì)算出行人的位置。 下文介紹本文為了準(zhǔn)確地將光流估計(jì)轉(zhuǎn)換為位移估計(jì)所提出的方法。

2.1 像素距離比的獲取

為了通過將稀疏光流算法應(yīng)用到智能手機(jī)后置攝像頭拍攝的視頻圖像中來估計(jì)行人位移，必須首先獲得像素距離比，即行人以相對(duì)于地面固定的高度平握智能手機(jī)時(shí)，放置在地面上的實(shí)際物體的大小與圖像中的像素?cái)?shù)的比率。 本文獲取像素距離比的方法如下。 在地面上放置一個(gè)二維碼，二維碼的實(shí)際寬度為0.08 m，行人平握智能手機(jī)拍攝2 s 地面的視頻，通過OpenCV［8］識(shí)別出二維碼邊框所在的位置，計(jì)算出二維碼在圖像平面的像素大小，則該像素距離比為二維碼實(shí)際寬度／二維碼平均像素寬度。 如圖1 所示，藍(lán)色框內(nèi)容為檢測到的二維碼，記i幀二維碼在圖像中的4 個(gè)頂點(diǎn)的坐標(biāo)為（xi，j，yi，j），n為二維碼視頻幀數(shù)，w0為二維碼現(xiàn)實(shí)寬度，則像素距離比r為：

圖1 被檢測到的二維碼Fig. 1 The detected QR code

2.2 圖像姿態(tài)補(bǔ)償

本文提出的室內(nèi)定位方法要求行人將智能手機(jī)平握在身體前面，考慮現(xiàn)實(shí)情況下，行人不可能保持完全水平握住手機(jī)的狀態(tài)，必然會(huì)導(dǎo)致智能手機(jī)在某些時(shí)刻出現(xiàn)傾斜狀態(tài)。 手機(jī)傾斜、即后置攝像頭傾斜，那么拍攝得到的視頻幀也是傾斜的。 當(dāng)視頻幀傾斜時(shí)，圖像平面不與地面平行，這會(huì)影響光流的估計(jì)效果。 因此，本文考慮對(duì)視頻幀進(jìn)行姿態(tài)補(bǔ)償，以盡量達(dá)到圖像平面與地面平行的效果。 Madgwick姿態(tài)估計(jì)算法能夠計(jì)算出智能手機(jī)的橫滾角（?）、俯仰角（θ） 和偏航角（ψ），可以應(yīng)用透視變換于橫滾角和俯仰角對(duì)圖像進(jìn)行姿態(tài)補(bǔ)償，透視變換矩陣M通過以下公式得出：

其中，P是三維到二維的投影矩陣；T是將像平面平移至焦平面的平移矩陣；R是像平面的旋轉(zhuǎn)矩陣；S是二維到三維的投影矩陣；（μ0，ν0） 分別是視頻幀水平和垂直方向像素點(diǎn)個(gè)數(shù)的一半；ρx，ρy分別為圖像傳感器水平和垂直方向單個(gè)像素點(diǎn)的長度。

2.3 自適應(yīng)上下區(qū)域劃分

后置攝像頭的視野里包含地面、行人的腳和腿區(qū)域，當(dāng)行人步行時(shí)，地面靜止，地面區(qū)域的光流估計(jì)可以直接用于計(jì)算行人位移，然而，行人的腳和腿區(qū)域會(huì)擺動(dòng)，那么這些區(qū)域的光流估計(jì)存在異常值。另外，腿部區(qū)域與攝像頭的距離低于地面與攝像頭的距離，這會(huì)導(dǎo)致事先獲得的在地面區(qū)域的像素距離比不適用于腿部區(qū)域。 因此，必須移除腿部區(qū)域的角點(diǎn)，使其不參與光流估計(jì)。 在室內(nèi)環(huán)境下，瓷磚是很常見的地面材質(zhì)，而這些比較均勻的材質(zhì)有時(shí)候會(huì)檢測不出較多的角點(diǎn)，因此，必須盡可能考慮到更多的區(qū)域以檢測更多的角點(diǎn)。 相比于室內(nèi)常見的均勻材質(zhì)，行人的鞋并不均勻，這會(huì)使得鞋區(qū)域的角點(diǎn)數(shù)大量存在，因?yàn)樾腥说哪_部與地面會(huì)周期性地接觸，至少會(huì)有一只腳固定在地面上，那么這只固定的腳對(duì)應(yīng)的鞋區(qū)域非常適合用于計(jì)算角點(diǎn)。 因此，本文考慮地面和鞋區(qū)域，并將這2 個(gè)區(qū)域劃分為上區(qū)域和下區(qū)域。 當(dāng)行人步行速度較快時(shí)，一般腳部擺動(dòng)會(huì)增大，如果是固定比例劃分，那么會(huì)導(dǎo)致上區(qū)域出現(xiàn)腳部。 因此，本文設(shè)計(jì)了依據(jù)光流估計(jì)得出的速度進(jìn)行自適應(yīng)上下區(qū)域劃分的計(jì)算方法：

其中，h為上區(qū)域像素高度；h0為視頻幀像素高度；r為像素距離比；ν為上一幀計(jì)算得到的y軸方向光流；△t為視頻幀間隔時(shí)間。 對(duì)于上區(qū)域，本文選擇的用于Shi－Tomasi 角點(diǎn)檢測算法的角點(diǎn)質(zhì)量閾值為0.1，下區(qū)域的為0.7。

2.4 異常光流剔除

考慮現(xiàn)實(shí)情況，腳部區(qū)域會(huì)在行人行走過程中擺動(dòng)，那么腳部區(qū)域光流的y軸分量可能向前、也可能向后。 對(duì)于某只固定在地面上的腳，該區(qū)域光流的y軸分量是向前的，因此，對(duì)于y軸分量向后的光流、即ν ＜0，本文不考慮該像素點(diǎn)對(duì)應(yīng)的光流，從而減少向后光流對(duì)位移估計(jì)的影響。 行人行走過程中，在短時(shí)間內(nèi)近似于直線運(yùn)動(dòng)，那么光流x軸與y軸分量的角度必然在一定范圍內(nèi)。 因此，本文不將該角度超過一定閾值的像素點(diǎn)光流用于光流估計(jì)。具體來說，當(dāng)atan2（｜ν ｜，｜μ ｜）＞π／9 時(shí)，放棄該角點(diǎn)的光流。 另外，行人在室內(nèi)環(huán)境的步行速度并不會(huì)太大，一般不超過1.8 m／s，因此，對(duì)于某些光流速度過大的角點(diǎn)，事先在中值濾波前剔除掉。

2.5 位置計(jì)算

得到上下區(qū)域多個(gè)角點(diǎn)的光流后，本文分別對(duì)上下區(qū)域的光流使用中值濾波，再取上下區(qū)域光流的平均值作為當(dāng)前幀時(shí)間內(nèi)的光流。 接著，本文需要利用公式將每一幀的光流估計(jì)轉(zhuǎn)換為導(dǎo)航坐標(biāo)系下的位移：

其中，△xi，△yi分別表示視頻第i幀在導(dǎo)航坐標(biāo)系下的關(guān)于x，y軸的位移；（μi，νi） 表示視頻第i幀的光流估計(jì)；ψi表示視頻第i幀時(shí)智能手機(jī)的偏航角；r表示像素距離比。 因此，智能手機(jī)在第k幀時(shí)的位置為：

其中，x0，y0為給定的初始位置，本文將其設(shè)置為（0，0）。

3 實(shí)驗(yàn)

3.1 實(shí)驗(yàn)設(shè)置

計(jì)算定位誤差需要獲取行人位置的基準(zhǔn)值，本文事先設(shè)定測量好的參考軌跡，在參考軌跡的某些點(diǎn)貼標(biāo)記，本文設(shè)定的這些標(biāo)記的間隔距離一般為2 m，通過激光測距儀等測量工具得到標(biāo)記點(diǎn)的位置，實(shí)驗(yàn)時(shí)嚴(yán)格按照這些標(biāo)記點(diǎn)水平握住手機(jī)步行。本文開發(fā)了一個(gè)名為LuffyDataset 的安卓應(yīng)用程序，如圖2 所示，能夠同時(shí)記錄加速度傳感器、陀螺儀傳感器、地磁傳感器和圖像傳感器數(shù)據(jù)，且能夠記錄下到達(dá)標(biāo)記點(diǎn)的時(shí)間。 本文實(shí)驗(yàn)設(shè)定的前3 種傳感器的記錄頻率均為60 Hz，而圖像傳感器設(shè)定的錄制分辨率為1 280×720，幀率為30 fps，實(shí)驗(yàn)時(shí)步行速度在0.8 ～1.1 m／s，收集數(shù)據(jù)的手機(jī)是Xiaomi 12S Pro。 本文標(biāo)記了4 種軌跡：長度為60.41 m 的直線軌跡；寬度為38.73 m、高度為16.39 m 的矩形軌跡；周長59.98 m 的箭頭軌跡；半徑為8 m 的圓形軌跡。本文對(duì)4 種軌跡進(jìn)行10 次重復(fù)實(shí)驗(yàn)，并與3 種定位方法FlexPDR［9］、Poulose［10］和Jongtaek［11］進(jìn)行了對(duì)比。

圖2 LuffyDataset 應(yīng)用程序Fig. 2 The LuffyDataset application

3.2 實(shí)驗(yàn)結(jié)果

圖3 為直線軌跡定位誤差累積分布，從圖3 中可以看出本文提出的方法（Proposed）效果最好，Jongtaek 方法最差，本文方法具有最小的平均定位誤差0.12 m，而且最大定位誤差0.58 m 也是最小的，這說明簡單軌跡下本文方法基本不存在累計(jì)誤差，實(shí)現(xiàn)了高精度定位。

圖3 直線軌跡定位誤差累積分布圖Fig. 3 Cumulative distribution of straight trajectory positioning errors

圖4 為矩形軌跡定位誤差累積分布，從圖4 中可以看出本文方法的平均定位誤差為0.26 m，最大定位誤差為0.87 m，效果最好，Jongtaek 次之。 這說明即使在步行距離超過100 m 的情況下，本文方法的累積誤差仍然比較小，而其他3 種方法的最大定位誤差均超過2 m，受累積誤差的影響較大。

圖4 矩形軌跡定位誤差累積分布圖Fig. 4 Cumulative distribution of rectangular trajectory positioning errors

圖5 為箭頭軌跡定位誤差累積分布，從圖5 中可以看出本文方法的平均定位誤差為0.28 m，最大定位誤差為0.71 m，效果最好，Poulose 方法最差，這說明即使在多次轉(zhuǎn)彎后，本文方法的光流估計(jì)仍然是較為準(zhǔn)確的。

圖5 箭頭軌跡定位誤差累積分布圖Fig. 5 Cumulative distribution of arrow trajectory positioning errors

圖6 為圓形軌跡定位誤差累積分布，從圖6 中可以看出本文方法的平均定位誤差為0.18 m，最大定位誤差為0.57 m，效果最好，Jongtaek 次之，這說明即使在連續(xù)轉(zhuǎn)彎的情況下，本文方法仍然具有很好的定位效果。

圖6 圓形軌跡定位誤差累積分布圖Fig. 6 Cumulative distribution of circle trajectory positioning errors

綜上所述，對(duì)于不同軌跡，本文方法的定位精度足以達(dá)到室內(nèi)定位高精度的要求，同時(shí)能夠?qū)崿F(xiàn)低成本、易擴(kuò)展的優(yōu)點(diǎn)。

4 結(jié)束語

傳統(tǒng)的行人航位推算一般使用加速度峰值法結(jié)合步長模型進(jìn)行位移估計(jì)，而智能手機(jī)上的MEMS傳感器體積小、精度低，容易產(chǎn)生較大的累積誤差。然而，智能手機(jī)的圖像傳感器越來越受到重視，拍攝的圖像越來越細(xì)膩，本文創(chuàng)新性地將手機(jī)后置攝像頭獲取的視頻幀序列用于光流估計(jì)得出位移，使得位移估計(jì)較為準(zhǔn)確，能夠在各種軌跡如直線、矩形、箭頭、圓形軌跡下達(dá)到高精度的定位效果，在60 m直線軌跡下的平均定位誤差為0.12 m，而且不受行人身高、體重的影響，低成本、易擴(kuò)展，滿足室內(nèi)定位的需求。 另外，本文開發(fā)了一個(gè)用于實(shí)驗(yàn)數(shù)據(jù)手機(jī)的安卓應(yīng)用程序LuffyDataset。

在此基礎(chǔ)上，本文仍存在需要改進(jìn)的地方。 本文未評(píng)估行人以不同速度（如慢速、中速、快速）步行的定位效果，同時(shí)未評(píng)估行人使用不同手機(jī)步行時(shí)本文方法的定位誤差。 另外，本文方法目前僅能實(shí)現(xiàn)二維室內(nèi)定位，將其擴(kuò)展為三維室內(nèi)定位還有待進(jìn)一步研究。