李宇陽，王霞，趙家碧，李磊磊，陳家斌

(1.北京理工大學(xué) 光電學(xué)院，北京 100081；2.北京理工大學(xué) 光電成像技術(shù)與系統(tǒng)教育部重點(diǎn)實(shí)驗(yàn)室，北京 100081；>3.北京理工大學(xué) 自動(dòng)化學(xué)院，北京 100081)

0 引言

隨著科技的發(fā)展，導(dǎo)航技術(shù)在國防安全領(lǐng)域上占有非常重要的地位，對(duì)國家國防實(shí)力的提升也起著極其重要的作用。現(xiàn)階段的主流導(dǎo)航方式主要依靠慣性導(dǎo)航系統(tǒng)(INS)以及全球定位系統(tǒng)(GPS)進(jìn)行導(dǎo)航，但是INS每次使用前都需要初始化設(shè)置，且累計(jì)誤差大，GPS信號(hào)容易受到信號(hào)干擾的影響[1-2]，因此無論對(duì)于軍用還是民用，都迫切需要一種更好的導(dǎo)航方式。

生物學(xué)家發(fā)現(xiàn)，沙漠螞蟻能夠利用背部邊緣區(qū)域的小眼感知天空偏振光，獲取全天空大氣偏振分布模式，從中提取可靠的航向信息，引導(dǎo)自身覓食、返巢等行為[3]。在此啟發(fā)下，國內(nèi)外許多研究學(xué)者模仿其導(dǎo)航原理提出各種仿生偏振光導(dǎo)航算法，包括基于對(duì)稱分析法、最小二乘估計(jì)法、混合遺傳算法和天頂角標(biāo)定法來擬合太陽子午線[4-10]以及基于偏振增強(qiáng)光流法[11]的導(dǎo)航方法。但是這些研究大多針對(duì)理想條件即晴朗天氣條件或夜間低照度等復(fù)雜條件，關(guān)于遮擋環(huán)境的影響研究較少，對(duì)于陸上運(yùn)動(dòng)的車載實(shí)驗(yàn)，圖像采集過程中視野里總是會(huì)出現(xiàn)飛鳥、樹枝、電線桿和建筑物等隨機(jī)遮擋，這些遮擋會(huì)嚴(yán)重影響對(duì)偏振度和偏振角的解算，進(jìn)而影響導(dǎo)航精度。

為克服這一困難，本文提出一種基于局部大氣修復(fù)的偏振導(dǎo)航方法。首先對(duì)采集的天空?qǐng)D像進(jìn)行修復(fù)預(yù)處理，建立基于相似塊偏移量的圖像修復(fù)模型，通過計(jì)算天空?qǐng)D像中每一個(gè)圖像塊對(duì)應(yīng)的偏移量直方圖，對(duì)直方圖進(jìn)行高斯濾波和非極大值抑制，得到圖像中的主要偏移量，再計(jì)算每個(gè)像素點(diǎn)對(duì)應(yīng)的偏移量來進(jìn)行圖像的填充，還原被遮擋的圖像信息。在此基礎(chǔ)上，解算修復(fù)后圖像的天空偏振分布模式，再通過天文歷解算出太陽方位角及其實(shí)際空間位置，得到航向角以實(shí)現(xiàn)導(dǎo)航的目的。計(jì)算機(jī)仿真和外場有無遮擋條件對(duì)比實(shí)驗(yàn)結(jié)果表明，該算法能適應(yīng)視野內(nèi)部分遮擋環(huán)境，具有一定的可行性。

1 基于相似塊偏移量的圖像修復(fù)算法

自然圖像具有潛在的規(guī)律性，在空域和變換域內(nèi)對(duì)圖像進(jìn)行統(tǒng)計(jì)與分析表明，圖像具有自相似性和尺度不變性[12-13]。許多研究者嘗試獲取自然圖像的統(tǒng)計(jì)性先驗(yàn)知識(shí)并將其用于圖像修復(fù)，修復(fù)過程中匹配圖像塊時(shí)需要給每個(gè)未知圖像塊分配一個(gè)偏移量，即拷貝塊與待修復(fù)塊的相對(duì)位置。研究發(fā)現(xiàn)這些偏移量的統(tǒng)計(jì)量是稀疏分布的，即大部分的圖像塊都有相似的偏移量，在統(tǒng)計(jì)量中形成了幾個(gè)突出的峰值[14]。這種主要偏移量描述了圖像的重復(fù)規(guī)律，從而為修復(fù)缺失區(qū)域提供了可靠的線索。根據(jù)這一現(xiàn)象，建立一種基于圖像相似塊偏移量統(tǒng)計(jì)特性的修復(fù)模型，修復(fù)由于遮擋導(dǎo)致缺失的天空?qǐng)D像信息。

1.1 相似塊偏移量計(jì)算

在進(jìn)行修復(fù)前，需要先將天空中被遮擋的部分分離出來。Canny算法一直被認(rèn)為是最經(jīng)典的邊緣檢測算法之一，能在一定程度上抗噪聲又能保持弱邊緣[15]，因此采用Canny算子進(jìn)行邊緣檢測，提取遮擋部分區(qū)域。而后對(duì)圖像進(jìn)行形態(tài)學(xué)處理，通過腐蝕膨脹連接相近的圖像區(qū)域，并去除孤立細(xì)小的色塊以生成遮擋區(qū)域Ω。如圖1所示，利用(1)式對(duì)遮擋區(qū)域進(jìn)行二值化處理以制作掩模，并通過(2)式將天空?qǐng)D像中被遮擋區(qū)域歸零化。

(1)

F(x,y)=H(x,y)·K(x,y)

(2)

式中：K(x,y)表示掩模像素矩陣K在(x,y)處的元素值；F(x,y)表示去遮擋后天空?qǐng)D像像素矩陣F在(x,y)處的元素值；H(x,y)表示原始天空?qǐng)D像的像素矩陣H在(x,y)處的元素值。

圖1 圖像修復(fù)算法示意圖Fig.1 Schematic diagram of the image inpainting algorithm

遮擋區(qū)域分離以后，剩下的即為已知區(qū)域。對(duì)于已知區(qū)域內(nèi)每一個(gè)圖像塊，都尋找與之最相似的另一個(gè)已知圖像塊，并計(jì)算兩個(gè)圖像塊的相對(duì)位置，這個(gè)相對(duì)位置便是需要的偏移量，用(3)式表示，匹配過程采用PatchMatch算法實(shí)現(xiàn)[16]。

(3)

式中：s為偏移量的坐標(biāo)，其對(duì)應(yīng)坐標(biāo)值為(u,v)，即s=(u,v)；ε為圖像塊的位置，ε=(x,y)；P(ε)為以ε為中心的ω×ω(本文ω取8)的圖像塊；h、w分別表示圖像的長和寬。約束條件|s|>τ可排除鄰近圖像塊的影響，避免瑣碎統(tǒng)計(jì)。

得到所有已知區(qū)域像素ε的偏移量s(ε)后，用(4)式計(jì)算其統(tǒng)計(jì)特性并繪制偏移量直方圖g(u,v)：

(4)

式中：δ(·)為二值函數(shù)，當(dāng)s(ε)=(u,v)成立時(shí)δ(·)=1，否則δ(·)=0。

對(duì)直方圖進(jìn)行高斯濾波和非極大值抑制，從中選出最大的k個(gè)偏移量，一般情況下前60個(gè)偏移量能夠涵蓋多數(shù)的偏移量可能性，因此，經(jīng)驗(yàn)值設(shè)定為k=60。

1.2 基于偏移量的圖像修復(fù)

給定k個(gè)主要的偏移量以后，將不同偏移量的圖像堆疊起來，作為待填充區(qū)域的候選值。每個(gè)需要填充的點(diǎn)都有其對(duì)應(yīng)的偏移量，這個(gè)偏移量便是需要獲得的標(biāo)簽，圖像修復(fù)問題也就轉(zhuǎn)化為一個(gè)多標(biāo)簽的問題，找到每個(gè)像素點(diǎn)對(duì)應(yīng)的最優(yōu)偏移量也就完成了圖像的修復(fù)。

構(gòu)建如(5)式的MRF能量函數(shù)進(jìn)行優(yōu)化從而選取最佳的偏移量，本文采用GCO-v3.0開源軟件來實(shí)現(xiàn)[17]。

(5)

數(shù)據(jù)項(xiàng)Ed保證被選取用作填充的像素是已知的，即當(dāng)計(jì)算的偏移量對(duì)應(yīng)的ε+si位置的像素在已知區(qū)域內(nèi)，Ed=0，否則Ed=+∞。平滑項(xiàng)Es用(6)式表示，代表對(duì)于相鄰的像素點(diǎn)盡量獲得相同的偏移量，因?yàn)楫?dāng)相鄰像素ε、ε′被賦予不同的偏移量時(shí)，二者之間很可能出現(xiàn)裂縫，而Es可以減少裂縫的出現(xiàn)。

Es(a,b)=‖I(ε+sa)-I(ε+sb)‖2+ ‖I(ε′+sa)-I(ε′+sb)‖2

(6)

式中：sa表示預(yù)設(shè)的第a個(gè)偏移量；sb表示預(yù)設(shè)的第b個(gè)偏移量；I(ε)表示待修復(fù)圖像I在位置處的像素值。

得到所有被遮擋區(qū)域像素的最優(yōu)偏移量以后，便可根據(jù)偏移量對(duì)圖像進(jìn)行修復(fù)。

2 航向角獲取算法

在對(duì)采集的天空?qǐng)D像進(jìn)行修復(fù)處理后，需要解算其偏振模式，進(jìn)而算出航向角。本文采用基于局部大氣偏振特性的仿生導(dǎo)航算法[18]，可以在小視場條件下獲取航向信息，避免視野中需要太陽子午線存在的限制。實(shí)驗(yàn)相機(jī)為加拿大LUCID公司生產(chǎn)的PHX050S-P偏振相機(jī)，相機(jī)采用日本索尼公司生產(chǎn)的IMX250MZR CMOS偏振傳感器，每4個(gè)像素上具有4個(gè)不同的定向偏振濾波器，如圖2所示，方向分別為0°、45°、90°和135°，因此采集一次圖像能得到4個(gè)方向的強(qiáng)度通道，即I0、I45、I90和I135(見圖3)，避免了旋轉(zhuǎn)偏振片所造成的誤差。用Stokes矢量(S0，S1，S2，S3)表示部分偏振光，如(7)式所示(多數(shù)情況下圓偏振分量S3可以忽略[19])：

(7)

圖2 偏振相機(jī)及其結(jié)構(gòu)Fig.2 Polarization camera and its structure

圖3 4個(gè)方向的強(qiáng)度通道Fig.3 Intensity channels in four directions

入射光的偏振度DOP和偏振角AOP可按如下公式計(jì)算：

(8)

(9)

由于大氣偏振模式分布與太陽高度角和方位角密切相關(guān)，解算出入射光的偏振信息后便可求得太陽的位置信息。如圖4所示，以觀測者位置O為坐標(biāo)原點(diǎn)，觀測者所在地平面為Oxy平面建立地平坐標(biāo)系。圖4中，S為太陽所在位置，P為天空中某一觀測點(diǎn)的位置，N為天頂。散射角θ定義為觀測點(diǎn)O到太陽位置S的向量OS與觀測方向OP的夾角。太陽高度角hs定義為OS與xy平面的夾角。太陽方位角As定義為OS在Oxy平面上的投影與x軸正方向的夾角。對(duì)于觀測點(diǎn)P，也有類似定義的高度角hp和方位角Ap。偏振方位角φ定義為P點(diǎn)光矢量振動(dòng)方向與天球上過天頂N與觀測點(diǎn)P的弧在P點(diǎn)處的切線的夾角。為求解偏振角φ，以P點(diǎn)為坐標(biāo)原點(diǎn)Oi，P點(diǎn)處地平經(jīng)圈切線為xi軸，地平緯圈切線為yi軸建立新的直角坐標(biāo)系。

圖4 天球坐標(biāo)系示意圖Fig.4 Schematic diagram of the celestial coordinate system

計(jì)算得到P點(diǎn)處偏振方位角φ為

(10)

計(jì)算出偏振方位角后，根據(jù)Oixiyizi坐標(biāo)系和偏振方位角的定義，可以計(jì)算Oxyz坐標(biāo)系下的振動(dòng)矢量：

(11)

由于天空任一點(diǎn)P的電矢量振動(dòng)方向垂直于OSP平面，因此只要得到兩個(gè)不相關(guān)的e矢量，即可將兩者進(jìn)行叉乘得到太陽方向向量s，即

s=ei×ej

(12)

確定太陽方向向量后，再利用天文歷計(jì)算太陽子午線相對(duì)于正北方向的夾角，即可得到航向角As：

(13)

式中：L表示觀測點(diǎn)的地理緯度；δs和Ts分別表示太陽赤緯角和太陽時(shí)角。

3 計(jì)算機(jī)仿真與外場實(shí)驗(yàn)

為驗(yàn)證前述算法的可行性，分別設(shè)計(jì)了計(jì)算機(jī)仿真和外場部分遮擋環(huán)境對(duì)比實(shí)驗(yàn)。

在已有的天空?qǐng)D像上用畫筆工具涂抹點(diǎn)狀、條狀和塊狀圖形，以模擬實(shí)際觀測過程中視野內(nèi)可能出現(xiàn)的飛鳥、樹枝、電線桿以及建筑物等隨機(jī)遮擋，每類遮擋分別測試了5幅天空?qǐng)D像。圖5(a)～圖5(c)展示了3種遮擋類型下的其中1幅圖像，其對(duì)應(yīng)的修復(fù)結(jié)果如圖5(d)～圖5(f)所示。解算修復(fù)前后圖像的航向角，其誤差對(duì)比曲線如圖6所示，統(tǒng)計(jì)誤差數(shù)據(jù)，結(jié)果如表1所示。

圖5 修復(fù)前后對(duì)比圖Fig.5 Comparison of image inpainting results

圖6 去除遮擋前后航向角誤差比較Fig.6 Comparison of heading angle errors before and after removing occlusion

直觀上，圖5中不論是點(diǎn)狀遮擋、條狀遮擋還是塊狀遮擋都被有效去除，恢復(fù)了圖像細(xì)節(jié)信息?？陀^上來說，圖6可以看出隨著遮擋類型從點(diǎn)狀到條狀再到塊狀，誤差曲線變化越來越劇烈，表明遮擋區(qū)域面積變大，對(duì)航向角精度的影響也隨之變大，去除遮擋以后，誤差曲線平緩許多。表1的數(shù)據(jù)進(jìn)一步證實(shí)，航向角誤差與遮擋區(qū)域面積呈正相關(guān)，而修復(fù)圖像以后誤差都有顯著下降，精度提高了80%左右。

表1 3種遮擋條件下去除遮擋前后 航向角誤差比較Table 1 Comparison of heading angle errors before and after occlusion removal under three conditions

為進(jìn)一步驗(yàn)證該方法的可行性，搭建了偏振光羅盤系統(tǒng)進(jìn)行外場部分遮擋環(huán)境實(shí)驗(yàn)，系統(tǒng)由偏振相機(jī)、嵌入式偏振并行解算系統(tǒng)和光羅盤集成框架子系統(tǒng)構(gòu)成(見圖7)。偏振相機(jī)采用前述PHX050S-P相機(jī)，其分辨率為2 448×2 048，幀率為24幀/ps，波長響應(yīng)范圍為400～900 nm，相機(jī)以固有幀率輸出圖像，并通過千兆網(wǎng)口傳輸?shù)角度胧狡癫⑿薪馑阆到y(tǒng)；解算系統(tǒng)由美國NVIDIA公司制造的TX2核心板和TX2載板構(gòu)成，TX2核心板是系統(tǒng)的主體，主要進(jìn)行信號(hào)并行處理，TX2載板進(jìn)行信號(hào)傳輸，系統(tǒng)使用CUDA加速，處理輸入圖像并估計(jì)航向角；子系統(tǒng)將前述系統(tǒng)集成進(jìn)行信息輸出和電流供給，并隱沒脆弱突出部件以進(jìn)行保護(hù)。

圖7 仿生偏振光羅盤系統(tǒng)Fig.7 Bionic polarized light compass system

于2021年6月19日上午9:00左右在北京某地(116°20′ E，39°56′ N)進(jìn)行外場有無遮擋條件對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)時(shí)天氣晴朗、微風(fēng)，理論上可以減少M(fèi)ie散射對(duì)實(shí)驗(yàn)的影響，實(shí)驗(yàn)場景如圖8所示。實(shí)驗(yàn)過程中以假花樹枝作為遮擋，多齒分度臺(tái)帶動(dòng)相機(jī)順時(shí)針旋轉(zhuǎn)，每轉(zhuǎn)10°采集一次天空數(shù)據(jù)，一共采集15次數(shù)據(jù)，每次分別拍攝有遮擋和無遮擋兩種場景，由于兩次拍攝間隔不超過2 s，故認(rèn)為此時(shí)天空偏振分布模式不變。

圖8 實(shí)驗(yàn)場景圖Fig.8 Test setup

表2展示了兩次采集數(shù)據(jù)中對(duì)有遮擋的圖像進(jìn)行修復(fù)的實(shí)驗(yàn)結(jié)果。數(shù)據(jù)1與數(shù)據(jù)2對(duì)應(yīng)實(shí)驗(yàn)結(jié)果分別為表2的第2、3列及第4、5列。其中，第2列和第4列從上至下是采集的原始圖像以及原圖對(duì)應(yīng)解算的偏振度和偏振角分布圖，第3列和第5列是去除遮擋后的圖像及它們對(duì)應(yīng)的偏振度和偏振角分布圖。對(duì)比表2第2、3列及第4、5列，可以觀察到本文提出的方法能較好地去除遮擋，還原圖像信息。由于遮擋信息不參與偏振度與偏振角的解算中，所還原的天空偏振分布模式信息質(zhì)量能夠得到進(jìn)一步的提升。但實(shí)驗(yàn)結(jié)果相比仿真還是略顯不足，例如在修復(fù)后的圖像中，遮擋區(qū)域邊緣部分存在一些過渡不自然的問題，其原因是實(shí)驗(yàn)過程中陽光讓遮擋物體周圍存在陰影，導(dǎo)致邊緣檢測的準(zhǔn)確程度下降，因此在修復(fù)時(shí)隱約出現(xiàn)了遮擋物的外輪廓，但是這部分邊緣對(duì)偏振信息變化趨勢的重建影響較小，后續(xù)可以通過泊松融合或梯度檢測算法進(jìn)行去除。

表2 修復(fù)結(jié)果對(duì)比

解算修復(fù)前后圖像的航向角，并將本文方法與傳統(tǒng)的偏振光強(qiáng)提取算法(PIEA)[20]及FMM圖像修復(fù)算法[21]進(jìn)行對(duì)比，其統(tǒng)計(jì)分析結(jié)果誤差和對(duì)比曲線分別如表3和圖9所示?？梢杂^察到相較于修復(fù)前，3種方法的誤差都有所降低，而本文方法的整體誤差曲線更為平緩，穩(wěn)定性更好，誤差平均值及標(biāo)準(zhǔn)差等也是本文方法最低。原因是PIEA將遮擋區(qū)域去除，只采用剩下的區(qū)域計(jì)算，這樣過度依賴天空剩余部分偏振信息的完整性，當(dāng)剩余部分的規(guī)律不再明顯時(shí)，該方法的精度會(huì)降低；而FMM算法雖然修復(fù)了缺失區(qū)域，但其采用擴(kuò)散式擬合修復(fù)，只適用于狹窄細(xì)長的遮擋，對(duì)于塊狀遮擋來說無法準(zhǔn)確修復(fù)其內(nèi)部信息。本文方法既利用了天空剩余部分，又對(duì)遮擋區(qū)域采用塊匹配式修復(fù)，不論是細(xì)長遮擋還是塊狀遮擋，都有較好的修復(fù)效果。綜合來看，本文方法將誤差平均值縮小到1°左右，精度提高了約61%，可見該方法能降低遮擋環(huán)境對(duì)導(dǎo)航精度的影響，驗(yàn)證了其可行性。

表3 3種方法的航向角誤差比較Table 3 Comparison of heading angle errors using three methods (°)

圖9 3種方法的航向角誤差計(jì)算曲線Fig.9 Calculation curves of heading angle errors using three methods

4 結(jié)論

本文針對(duì)目前仿生偏振導(dǎo)航算法缺乏對(duì)遮擋環(huán)境因素的考慮，本文提出一種基于圖像相似塊偏移量統(tǒng)計(jì)特性的修復(fù)模型，并將此模型用于偏振導(dǎo)航系統(tǒng)，從而弱化遮擋環(huán)境對(duì)航向角解算的干擾。得出主要結(jié)論如下：

1) 遮擋面積增大，航向精度隨之下降且變化程度更加劇烈，因此去除遮擋還原圖像信息十分必要。

2) 算法采用塊匹配式修復(fù)，通過計(jì)算圖像相似塊的偏移量將圖像修復(fù)問題轉(zhuǎn)化為多標(biāo)簽問題，簡化修復(fù)過程的同時(shí)提高了修復(fù)準(zhǔn)確性。

3) 算法采用局部大氣偏振特性進(jìn)行解算，可以在小視場條件下獲取航向信息，避免視野中需要太陽子午線存在的限制。

4) 本文方法可以有效抑制遮擋環(huán)境的干擾，還原圖像偏振信息，實(shí)現(xiàn)小視場條件下遮擋環(huán)境中的高精度導(dǎo)航，具有較好的魯棒性。

后續(xù)工作考慮將復(fù)眼成像技術(shù)應(yīng)用于航向角解算，通過采集的多視角圖像增加角度分辨率，使航向角精度進(jìn)一步提高。本文的研究主要集中在晴朗天氣條件和可見光上，然而復(fù)雜天氣條件如雨天、霧霾天氣下粒子散射特性不同，同時(shí)不同波長的光散射特性也有顯著差異，因此復(fù)雜天氣條件以及不同波長的光對(duì)偏振導(dǎo)航精度的影響也是下一步的研究重點(diǎn)。