秦益文封志宏蘇楠馬丁李小菲

(1.蘭州交通大學(xué) 電子與信息工程學(xué)院,甘肅 蘭州 730070；2.河北大學(xué) 網(wǎng)絡(luò)空間安全與計算機(jī)學(xué)院,河北 保定 071002；3.河北大學(xué) 信息技術(shù)中心,河北 保定 071002)

自20世紀(jì)90年代,全球定位系統(tǒng)(global positioning system,GPS)已在全球進(jìn)行了定位覆蓋,為民眾的生活提供了極大便利[1-2].雖然全球定位系統(tǒng)(GPS)是應(yīng)用最廣泛的定位技術(shù),但有統(tǒng)計信息顯示,人們在室內(nèi)的時間超過79%,說明室內(nèi)定位有著更多的需求空間.然而室內(nèi)有著更多障礙物遮擋和多徑效應(yīng)的干擾[3],因此至今還沒有應(yīng)用廣泛的室內(nèi)定位技術(shù)[4].由于WiFi無線接入點(APs)和移動設(shè)備的普及,在聲學(xué)、磁場、加速度計和接收信號強(qiáng)度(RSS)等室內(nèi)環(huán)境的替代定位技術(shù)中,RSS是最受歡迎的定位技術(shù)[5].因此,利用智能手機(jī)和APs之間的RSS等無線電信號測量成為室內(nèi)定位最實用的解決方案之一.然而,雖然諸如[6-7]這樣的指紋識別算法有可接受的定位精度,但在實時位置估計之前,需要進(jìn)行大量測量所謂的指紋,為離線訓(xùn)練階段建立指紋數(shù)據(jù)庫.這在實踐中對定位系統(tǒng)的自主部署施加了限制,特別是大型且復(fù)雜的空間.在大范圍使用指紋定位系統(tǒng)還需要從指紋數(shù)據(jù)庫獲取大量數(shù)據(jù)并存儲在移動設(shè)備中進(jìn)行位置估計.即使可以進(jìn)行費(fèi)力的指紋識別以后,環(huán)境還可能會頻繁變化,指紋系統(tǒng)的準(zhǔn)確性也會大大降低.因此,指紋識別方法需要定期更新指紋數(shù)據(jù)庫以保持較高的準(zhǔn)確性.這些問題嚴(yán)重影響了基于指紋的室內(nèi)定位系統(tǒng)的應(yīng)用.

現(xiàn)在已有了許多減少位置標(biāo)記簽名繁瑣收集的方法.然而,這些方法使用的降維方案均不能學(xué)習(xí)定位指紋的隱藏特征.因此,本文提出利用學(xué)習(xí)隱藏特征的深度學(xué)習(xí)方法,一方面原因是它能推斷單層表示.另一方面,深度學(xué)習(xí)方法,如深度置信網(wǎng)絡(luò)(deep belif network,DBN),可以利用生成概率模型來表示不同隱含層的層次隱含特征.每個隱層單元將學(xué)習(xí)底層單元之間的統(tǒng)計關(guān)系；較高的層往往變得更加復(fù)雜.本文為了解決位置標(biāo)記簽名繁瑣收集的問題,利用無監(jiān)督預(yù)訓(xùn)練階段,在盡可能保持定位精度的前提下減少標(biāo)記指紋.DBN 的培訓(xùn)包括2個階段:預(yù)培訓(xùn)和調(diào)優(yōu).預(yù)訓(xùn)練以無監(jiān)督的方式從未標(biāo)記的樣本中學(xué)習(xí)概率分布,以減少RSS指紋定位標(biāo)注的工作量,再進(jìn)行深度特征學(xué)習(xí).

1 相關(guān)工作

1.1 無監(jiān)督學(xué)習(xí)

假設(shè)有未標(biāo)記的訓(xùn)練數(shù)據(jù),無監(jiān)督特征學(xué)習(xí)的關(guān)鍵思想是應(yīng)用反向傳播[8].圖1所示即自編碼神經(jīng)網(wǎng)絡(luò),可用于訓(xùn)練網(wǎng)絡(luò)來獲取一個函數(shù)hw,b(x)≈x以近似輸出類似于x,其中,x為訓(xùn)練數(shù)據(jù),hw,b(x)為通過訓(xùn)練網(wǎng)絡(luò)得到的關(guān)于x的函數(shù),y為輸出.模型的參數(shù)w進(jìn)行訓(xùn)練后,任何新輸入的值,都可以計算出相應(yīng)的無監(jiān)督特征,圖2所示即隱藏單元的激活,其中,x為輸入的訓(xùn)練數(shù)據(jù),hw,b(x)為訓(xùn)練模型,a為計算出的相應(yīng)的無監(jiān)督特征.

圖1 自編碼神經(jīng)網(wǎng)絡(luò)Fig.1 Unsupervised feature training architecture with autoencoder

圖2 利用已知激活單元的無監(jiān)督特征學(xué)習(xí)模型Fig.2 Model for unsupervised feature learning using known activation units

以奇異值分解(singular value decomposition,SVD)為核心的主成分分析法(principal component analysis,PCA)是一種線性特征學(xué)習(xí)方法[9].由于PCA 只利用數(shù)據(jù)的淺層表示、輸入數(shù)據(jù)的一階和二階矩,因此,它是一種淺層特征學(xué)習(xí),且所學(xué)習(xí)的特性(激活)的數(shù)量不能大于輸入的維度,這使得PCA 不能很好地描述復(fù)雜和非結(jié)構(gòu)化數(shù)據(jù)的隱藏特征.

1.2 深度置信網(wǎng)絡(luò)

Hinton等發(fā)現(xiàn)[6],DBNs可以通過疊加限制玻爾茲曼機(jī)(restricted boltzmann machine,RBMs)來構(gòu)建.這種RBMs模型可以通過貪婪的方式進(jìn)行訓(xùn)練,并提取訓(xùn)練數(shù)據(jù)的深層層次來表示.觀測矢量x與l層隱層hk之間的聯(lián)合分布,其模型如下:

其中,x=h0,P(hk-1|hk)是基于層次k的RBM 隱藏單元的可見單元的條件分布,P(hl-1,hl)是頂層RBM的可見-隱藏聯(lián)合分布.DBN 可以在圖3中可視化為一個RBM 堆棧[10],其中虛線箭頭用未標(biāo)記的數(shù)據(jù)顯示訓(xùn)練前的情況；實線箭頭用標(biāo)記的數(shù)據(jù)顯示微調(diào)后的情況.

圖3 深度置信網(wǎng)絡(luò)的網(wǎng)格結(jié)構(gòu)Fig.3 Network architecture of deep belif network

訓(xùn)練DBN 網(wǎng)絡(luò)時,首先用未標(biāo)記的數(shù)據(jù)對網(wǎng)絡(luò)進(jìn)行預(yù)訓(xùn)練.圖3中的虛線箭頭表示訓(xùn)練前的路徑.通過此,得到相應(yīng)的訓(xùn)練后的RBM 模型,以用來計算特征向量.由于這個自動編碼器包含了大量的深度學(xué)習(xí)模型,RBMs可以提供更好的隱藏特性.這種基于RBM 的方法稱為深度特征學(xué)習(xí).

2 無監(jiān)督深度特征學(xué)習(xí)的深度置信網(wǎng)絡(luò)指紋定位算法

2.1 算法描述

假設(shè)可以獲得有限的標(biāo)記指紋和大量的未標(biāo)記指紋.本算法將展示基于DBN 的無監(jiān)督特征學(xué)習(xí)指紋定位方法,分為離線和在線2個階段,如圖4所示.

圖4 指紋定位模型Fig.4 Model of fingerprint location

在離線階段,首先利用帶標(biāo)記和未帶標(biāo)記的指紋進(jìn)行無監(jiān)督的淺特征學(xué)習(xí),然后利用訓(xùn)練好的淺特征學(xué)習(xí)模型將指紋轉(zhuǎn)化為淺特征.其次,將淺特征用于無監(jiān)督的深度特征學(xué)習(xí).最后,利用淺特征和深度特征學(xué)習(xí)模型將帶標(biāo)記的指紋轉(zhuǎn)化為帶標(biāo)記的深度特征,然后利用這些深度特征及其位置標(biāo)簽訓(xùn)練監(jiān)督位置估計模型.在在線階段,利用離線階段中訓(xùn)練好的無監(jiān)督特征學(xué)習(xí)模型,將未知/測試位置的指紋轉(zhuǎn)化為深度特征.然后利用測試數(shù)據(jù)的深度特征,利用訓(xùn)練后的監(jiān)督位置估計模型來推斷未知位置.

2.2 特征學(xué)習(xí)優(yōu)化

在大型建筑中,通常有許多APs,然而,由于WiFi通信范圍的限制,并不是所有的手機(jī)都可以從特定的位置進(jìn)行掃描.例如,圖5顯示了根據(jù)UJIIndoor Loc數(shù)據(jù)集[7]智能手機(jī)掃描的APs的直方圖.每部智能手機(jī)掃描的平均接入點為18個,而總共有520個接入點.數(shù)據(jù)集是通過20多個不同的用戶和25個不同的Android設(shè)備收集的.

圖5 不同APs下的可測點的數(shù)量直方圖Fig.5 Histogram of the number of measurable points under different APs

由于在每個測量中掃描的APs的數(shù)量與可用的APs的數(shù)量相比太少,因此測量的很多RSS值都是不可用的.因此,輸入在某種程度上是多余的.此外,相鄰的APs高度相關(guān)因此它們提供非常相似的RSS值.由于冗余和相關(guān)性[11],使用核心主成分分析采用SVD[12]來有效地降維.注意,PCA 和SVD 還允許以非監(jiān)督的方式提取淺隱藏特征,就像文獻(xiàn)[7]中研究的那樣.

此外,WiFi無線電信號對物體和環(huán)境非常敏感,尤其是對人體更為敏感[13].換句話說,RSS測量是有噪聲的,因此,使用PCA 白化來降低噪聲的影響.

這些淺層特征經(jīng)過噪聲白化和降維處理,作為下一步深度特征學(xué)習(xí)的輸入.需要注意的是,這些淺層特征也可以作為輸入來訓(xùn)練指紋模型.在高度動態(tài)的室內(nèi)環(huán)境中,由于淺體系結(jié)構(gòu)的泛化程度較低,僅使用前面步驟中學(xué)習(xí)到的淺特征的定位系統(tǒng)無法長期保持高性能.因此,像DBN 這樣的架構(gòu)可以深度學(xué)習(xí)代表動態(tài)室內(nèi)環(huán)境的高級特征.在這項工作中,本算法采用的預(yù)訓(xùn)練階段.DBN 模型的無監(jiān)督培訓(xùn),使用淺的特征標(biāo)記訓(xùn)練集的RSS測量.使用隱藏層的逐層貪婪預(yù)訓(xùn)練算法,保證了一個快捷方式進(jìn)行近似推理訓(xùn)練每一元.在使用驗證集和測試集時,利用訓(xùn)練好的深度特征學(xué)習(xí)模型將淺層特征轉(zhuǎn)化為深度特征.

為訓(xùn)練能夠在在線階段用于位置估計的指紋模型,本文使用了SVM 的淺監(jiān)督回歸/分類算法.當(dāng)想要估計的位置在坐標(biāo)水平時使用回歸算法；但當(dāng)用來估計的位置在房間和地板水平時,將用分類算法來標(biāo)記指紋以訓(xùn)練監(jiān)督指紋模型.標(biāo)記的指紋首先會被轉(zhuǎn)換成淺特征,然后將淺特征轉(zhuǎn)換為深特征.這些深層特征將被用作回歸/分類算法的輸入.訓(xùn)練后的回歸/分類模型存儲在服務(wù)器上,用于在線階段的位置估計.

2.3 實時指紋定位

利用離線階段訓(xùn)練的模型:淺特征學(xué)習(xí)、深特征學(xué)習(xí)、位置回歸或分類[14],在在線階段,用戶向基于位置服務(wù)(location based service,LBS)請求位置估計[15],服務(wù)器收集指紋樣本并利用訓(xùn)練過的特征匹配算法進(jìn)行位置估計,最終向用戶的智能手機(jī)發(fā)送新位置的估計.智能手機(jī)在未知位置測量的Aps中的原始RSS值將首先用于提取淺層特征,然后提取深層特征.這些未知位置的深度學(xué)習(xí)特征將作為回歸/分類模型的輸入,用于估計未知位置[16].

利用離線階段中訓(xùn)練好的無監(jiān)督特征學(xué)習(xí)模型,將未知/測試位置的指紋轉(zhuǎn)化為深度特征.然后利用測試數(shù)據(jù)的深度特征,利用訓(xùn)練后的監(jiān)督位置估計模型來推斷未知位置.

3 實驗評估

3.1 數(shù)據(jù)環(huán)境及數(shù)據(jù)集

實驗環(huán)境:操作系統(tǒng)使用Ubuntu 14.04,編譯環(huán)境使用python3.7,IntelI CoreI i5-5200 CPU @2.20GHz 2.20GHz,DDR3L 4.00GB RAM.

數(shù)據(jù)集使用UJIIndoor Loc數(shù)據(jù)集來驗證本文提出的方法,它被認(rèn)為是室內(nèi)定位的基準(zhǔn).數(shù)據(jù)集收集于3棟建筑,總表面積108 703 m2.數(shù)據(jù)集包括19 937個訓(xùn)練測量值和1 111個測試測量值.測試集在訓(xùn)練集之后4個月進(jìn)行,以確保數(shù)據(jù)集的獨立性.在數(shù)據(jù)集中,有520個Aps被智能手機(jī)掃描.這項實驗是由20多名用戶攜帶25款不同型號的智能手機(jī)進(jìn)行的.

在本文中,由于其他2個建筑物的結(jié)果相似,將只給出數(shù)據(jù)集中第1個建筑物的定位結(jié)果.第1個建筑物中,在訓(xùn)練集中有5 249個測量值,在測試集中有536個測量值.每個測量值包含520個RSS值,對應(yīng)于520個Aps,即輸入520個維度.所有的標(biāo)簽都標(biāo)明了實際位置.為了驗證無監(jiān)督特征學(xué)習(xí)方法的有效性,將訓(xùn)練集隨機(jī)分為2部分,其中一部分被認(rèn)為是已標(biāo)記數(shù)據(jù)集,另一部分被認(rèn)為是未標(biāo)記數(shù)據(jù)集.這種劃分以不同的比例重復(fù),從1%到99%不等.

3.2 評估標(biāo)準(zhǔn)

本算法采用均方根誤差(root mean squared error,RMSE)來表示SVM 算法結(jié)合淺特征學(xué)習(xí)和深特征學(xué)習(xí)的總體性能.定義如下式,計算結(jié)果越小,總體性能越優(yōu).

其中,預(yù)測誤差ei是RSS的實際觀察值yi與預(yù)測估計值^yi之差,n是測試集.

本算法采用累計分布函數(shù)(cumulative distribution function,CDF)詳細(xì)研究SVM 算法結(jié)合淺特征學(xué)習(xí)和深特征學(xué)習(xí)的性能.CDF的平滑趨勢出現(xiàn)的越早,則性能越穩(wěn)定.CDF定義如下:

FX(x)=P(X≤x).

3.3 參數(shù)設(shè)置

為了研究無監(jiān)督深度特征學(xué)習(xí)的本地化性能,將SVM 作為回歸模型,即所謂的SVR(support vactor regerssion).在先前的研究中,已經(jīng)表明SVM 優(yōu)于其他技術(shù).所實現(xiàn)的SVR 融合了深度特征學(xué)習(xí)和淺層特征學(xué)習(xí).因此,基于淺特征學(xué)習(xí)PCA 的SVR 是傳統(tǒng)指紋識別的最佳方法之一.

針對UJIIndoor Loc數(shù)據(jù)集,首先使用SVD 求解器建立基于PCA 的淺特征學(xué)習(xí)的參數(shù).由于每部智能手機(jī)在建筑訓(xùn)練集中掃描的平均ap數(shù)為16,所以將下維數(shù)設(shè)置為48,以保證足夠覆蓋信息通道.設(shè)置一個大于48的值會導(dǎo)致增加冗余維度和計算量.

對于基于DBN 的預(yù)訓(xùn)練階段的深度特征學(xué)習(xí),本算法將網(wǎng)絡(luò)架構(gòu)設(shè)置為3個200節(jié)點的隱藏層.RBM的epoch數(shù)量設(shè)置為150.RBM 的學(xué)習(xí)率設(shè)置為0.02.該矯正線性單元(Rectified linear unit,Re LU)用于加快訓(xùn)練過程.此設(shè)置僅基于使用訓(xùn)練數(shù)據(jù)集對DBN 的各種體系結(jié)構(gòu)進(jìn)行的啟發(fā)式嘗試,這些架構(gòu)考慮了準(zhǔn)確性和運(yùn)行時間方面的性能.

由于位置監(jiān)督訓(xùn)練與估計是基于SVM 的,且基于POLY 核的神經(jīng)元網(wǎng)絡(luò)是一種有效的位置估計方法,因此將SVR 的核設(shè)為POLY,多項式核函數(shù)次數(shù)設(shè)置為4,被所有其他內(nèi)核忽略.

3.4 對照實驗及結(jié)果分析

圖6為SVM 算法結(jié)合淺特征學(xué)習(xí)和深特征學(xué)習(xí)的總體性能RMSE.在圖6中,改變了標(biāo)記的AP測量值的數(shù)量:從52(對應(yīng)于1%的測量值)到5 246(對應(yīng)于100%的測量值).當(dāng)與深度特征學(xué)習(xí)結(jié)合使用時,SVM 可以提供更好的位置估計.但SVM 在與RSS測量的原始值配對時表現(xiàn)不佳,因此本文排除了此結(jié)果.

圖6 不同指紋數(shù)量的均方根誤差(RMSE)Fig.6 RMSE of different fingerprints plot

從圖6中可以看出,當(dāng)標(biāo)記的度量值更多時,2種方法的性能都得到了改善.然而,只有當(dāng)未標(biāo)記的測量值低于524時,這種改善才會顯著增加.這說明不斷增加標(biāo)記的度量并不一定會提高定位性能,但會顯著增加數(shù)據(jù)收集和注釋的成本.

另外還可以看出,深度特征學(xué)習(xí)可以幫助SVM 算法在標(biāo)記量較低的情況下保持其定位性能.盡管只使用了78個標(biāo)記測量值,但深度特征學(xué)習(xí)SVM 仍可以提供較好的結(jié)果.與使用5 246個標(biāo)記的測量值相比,RMSE只增加了1.876 m(從6.343 m 增加到8.232 m).此外,與使用100%標(biāo)記指紋的最接近基線方法相比,僅使用15%標(biāo)記指紋時,本文的方法將定位精度提高2.6 m.

由于圖6僅顯示了RMSE方面的總體性能,因此使用圖7和圖8所示的累積分布函數(shù)(CDF)圖來詳細(xì)研究定位性能.圖7和圖8所示的分布是當(dāng)分別使用78個和5246個標(biāo)記的測量值時的定位誤差.

從圖7可以看出,僅使用78個標(biāo)記時,結(jié)合深度特征學(xué)習(xí)的SVM 仍然表現(xiàn)良好,其中90%的測試位置誤差小于19.4 m.從圖8還可以看出,結(jié)合淺特征學(xué)習(xí)的SVM 的性能受標(biāo)記測量值缺失的影響較大,90%的測試位置誤差小于29.3 m.

如圖8所示,在使用100%標(biāo)記指紋的情況下,當(dāng)標(biāo)記測量量豐富時,淺特征學(xué)習(xí)和深特征學(xué)習(xí)的定位性能差異要小得多.此時,結(jié)合淺特征學(xué)習(xí)和深特征學(xué)習(xí)的SVM 的性能都比較好,非常相似.結(jié)合淺層特征學(xué)習(xí)的SVM 的性能與結(jié)合深度特征學(xué)習(xí)的SVM 的性能有很大的差距.

圖7 使用78個標(biāo)記測量值時的累計分布函數(shù)(CDF)Fig.7 Cumulative Distribution Function(CDF)with 78 labeled measurements

圖8 使用5 249個標(biāo)記測量值時的累計分布函數(shù)(CDF)Fig.8 Cumulative Distribution Function(CDF)with 5 249 labeled measurements

4 結(jié)束語

提出了一種可以在有限數(shù)量的標(biāo)記指紋上表現(xiàn)良好的新的指紋定位方法.深度信念網(wǎng)絡(luò)(DBN)的預(yù)訓(xùn)練階段,通常用于為監(jiān)督分類或回歸問題預(yù)訓(xùn)練數(shù)據(jù).然而,本文使用預(yù)訓(xùn)練階段來訓(xùn)練一個無監(jiān)督的深度特征學(xué)習(xí)模型,然后利用該模型提取標(biāo)記指紋的深層特征進(jìn)行定位估計.通過上述方法,由于未標(biāo)記的數(shù)據(jù)不需要位置注釋且對用戶的隱私不那么敏感,所以收集起來更方便.此外,與傳統(tǒng)的使用標(biāo)記指紋的方法(如使用原始RSS值和淺特征)相比,從大量未標(biāo)記指紋中學(xué)習(xí)深度特征可以提供更好的定位精度.

使用支持向量回歸(SVR)和一個最通用的真實世界數(shù)據(jù)集來驗證本文的算法,該數(shù)據(jù)集包含大量樣本.實驗結(jié)果表明,SVM 與深度特征學(xué)習(xí)相結(jié)合的新方法優(yōu)于傳統(tǒng)的SVM 與淺層特征學(xué)習(xí)或原始數(shù)據(jù)相結(jié)合的方法.此外,即使使用只有1.5%標(biāo)記指紋的深度特征學(xué)習(xí),均方根誤差(RMSE)仍然與使用100%可用標(biāo)記指紋的傳統(tǒng)淺層特征學(xué)習(xí)一樣好.

在未來的工作中,將使用更多的基于WLAN 的指紋數(shù)據(jù)集來驗證本文算法,并開發(fā)深度轉(zhuǎn)移特征學(xué)習(xí)技術(shù)來從不同的數(shù)據(jù)域提取隱藏特征,如可以從其他不同的室內(nèi)環(huán)境中采集到的未標(biāo)記指紋中提取出室內(nèi)環(huán)境的隱藏特征.