張麗敏

VR 全景圖像是虛擬現(xiàn)實技術(shù)的核心部分之一，其由多組照片拼接而成，利用計算機技術(shù)還原實際場景.全景圖像細節(jié)呈現(xiàn)好壞直接決定著VR 技術(shù)的應(yīng)用效果，其主要通過局部細節(jié)特征體現(xiàn).文獻［1］采用基于局部緩存和查表等方式改進雙邊濾波圖像細節(jié)算法，實時增強紅外圖像細節(jié).文獻［2］針對由于遮擋（由陰影、樹木、建筑物等引起）和道路表面的類內(nèi)差異等因素造成遙感圖像局部細節(jié)特征提取困難的問題，利用感知殘差網(wǎng)絡(luò)增強道路拓撲學習結(jié)構(gòu)，優(yōu)化細節(jié)特征提取性能.上述方法都針對圖像細節(jié)增強和特征提取問題進行了改進，具有一定的意義.但是由于VR 全景圖像通常包括高度復(fù)雜或變化劇烈的場景，將其用于VR 全景圖像特征提取中，可能存在提取不準確或局部遮擋的問題.因此，提出視差估計下的VR 全景圖像局部細節(jié)特征提取方法.首先，考慮在復(fù)雜或變化劇烈的VR 全景圖像場景下，噪聲可能會降低特征提取的準確性，通過使用去噪算法減少圖像中的噪聲，改善細節(jié)特征提取的效果，結(jié)合人眼視覺模型提高對VR 全景圖像中重要局部細節(jié)特征的識別能力.其次，利用雙目視差估計技術(shù)獲取VR 全景圖像中不同視角下的深度信息，避免復(fù)雜或變化劇烈的VR 全景圖像場景影響.最后，利用SIFI 算法檢測并提取VR 全景圖像局部細節(jié)特征.

1 VR 全景圖像局部細節(jié)特征提取

1.1 VR 全景圖像去噪

VR 全景圖像由多組照片拼接構(gòu)成，在照片采集與拼接過程中，由于環(huán)境、設(shè)備振動等多種因素的影響，致使VR 全景圖像存在灰度值分布不均、夾雜噪聲等現(xiàn)象，影響局部細節(jié)特征提取的精度，故在VR 全景圖像應(yīng)用之前，需要對其進行一定的預(yù)處理［3］.

VR 全景圖像灰度值分布不均會降低圖像的清晰度，影響對局部細節(jié)特征尋找與提?。?］.此研究采用直方圖均衡算法解決上述問題，處理公式為：

式中：ζf(i)表示直方圖均衡函數(shù)；m表示VR 全景圖像內(nèi)部像素點的總數(shù)量；n表示灰度級級數(shù)；Hf(i)表示輸入VR 全景圖像對應(yīng)的直方圖；g(x，y)表示直方圖均衡處理后的VR 全景圖像；f(x，y)表示原始VR 全景圖像.

VR 全景圖像中會夾雜著各種各樣的噪聲，例如脈沖噪聲、高斯噪聲等，對圖像細節(jié)特征的提取造成不利的影響.因此，此研究采用中值濾波器［5］對VR 全景圖像進行去噪處理.中值濾波程序如圖1 所示.

圖1 中值濾波程序圖

應(yīng)用圖1 所示中值濾波器，獲取去噪后的VR 全景圖像，表達式為：

式中：G(x，y)表示無噪聲的VR 全景圖像；med{?}表示中值獲取函數(shù)；p與q表示隨機常數(shù)；Ω表示VR 全景圖像區(qū)域.

上述過程完成了VR 全景圖像的預(yù)處理，均衡了圖像的灰度值，去除了圖像中的噪聲，為后續(xù)研究奠定了堅實的基礎(chǔ).

1.2 人眼視覺模型構(gòu)建與VR 全景圖像檢索

以上述預(yù)處理后的VR 全景圖像G(x，y)為依據(jù)，從用戶角度出發(fā)，構(gòu)建人眼視覺模型［6?7］，并以此為基礎(chǔ)檢索VR 全景圖像，獲取雙目視覺背景下的VR 全景圖像信息，為后續(xù)雙目視差估計提供充足的數(shù)據(jù)支撐.

常規(guī)情況下，圖像的紋理灰度更容易刺激人眼視覺的感知［8］.為了方便研究的進行，對其進行量化處理，其影響因子定義為：

式中：αi表示VR 全景圖像第i個區(qū)域紋理灰度對人眼視覺的影響因子；N表示VR 全景圖像劃分區(qū)域的總數(shù)量；Ωi表示VR 全景圖像第i個區(qū)域的紋理灰度.

人眼視覺對全部灰度級的分辨力并不是一致的，這也是引起雙目視差的關(guān)鍵因素之一，故此研究采用函數(shù)形式定義人眼視覺分辨力，表達式為：

式中：F(i)表示人眼視覺對灰度級i的分辨力，i的取值范圍為[ 0，255 ]；N(i)表示灰度級為i的圖像區(qū)域數(shù)量.

以公式（3）與公式（4）計算結(jié)果為基礎(chǔ)，構(gòu)建人眼視覺模型，表達式為：

式中：i[G(x，y)]表示針對VR 全景圖像的人眼視覺模型；β表示增益因子；e 表示自然常數(shù)；t表示VR 全景圖像采集時間；εi表示誤差項，具有提升模型精度的作用.

由于人類左、右眼之間存在一定的間距，使得雙目視角具有細微差別，這會導(dǎo)致雙目觀察到的圖像目標存在位移現(xiàn)象，影響局部細節(jié)特征提取的精度［9］.采用公式（5）所示的人眼視覺模型檢索VR 全景圖像，獲取左、右眼VR 全景圖像信息，分別記為GL(x，y)與GR(x，y)，為后續(xù)視差估計提供支撐.

1.3 雙目視差估計

以上述獲得的雙目視覺背景下的VR 全景圖像信息GL(x，y)與GR(x，y)為基礎(chǔ)，加載當前視差重投影后圖像S(x，y)，通過匹配代價計算、代價聚合計算、視差計算與后處理計算四個步驟實現(xiàn)VR 全景圖像雙目視差的估計，為最終圖像局部細節(jié)特征的提取做好準備［10］.以下為雙目視差估計具體步驟.

步驟1：匹配代價計算.

由于左右眼VR 全景圖像信息匹配代價計算過程相同，為此，以左眼VR 全景圖像信息GL(x，y)為例，計算其與當前視差重投影后圖像S(x，y)之間的相似度，即匹配代價數(shù)值，計算公式為：

式中：d表示圖像GL(x，y)與S(x，y)對應(yīng)點之間的距離，即相似度測量代價)表示左眼圖像中的像素點；(xS，yS)表示 視差 圖像中的像素點.

以公式（6）計算結(jié)果為基礎(chǔ)，融合像素點自身信息，獲取“代價體”——視差空間［11］，記為DSI(x，y，d)，至此完成了匹配代價的計算.

步驟2：代價聚合計算.

將步驟1 計算得到的匹配代價連接起來，即對全部像素相似度信息進行加權(quán)累加處理，獲得代價聚合結(jié)果，表達式為：

式中：ξ表示代價聚合結(jié)果；ωi表示像素相似度信息的權(quán)重系數(shù)；di表示加權(quán)累加處理后的相似度測量代價.

步驟3：視差計算.

采用全局方法設(shè)計能量函數(shù)，表達式為：

式中：χ(D)表示能量函數(shù)；χdata(d)表示原始代價；γ表示輔助參量，取值范圍為[ 0，1] ；χsmooth(d)表示平滑度假設(shè)下像素及其相鄰像素的視差；μ1與μ2表示懲罰系數(shù)；T[ ? ]表示布爾函數(shù)，取值為0 或者1；Dp與Dq表示像素p與q對應(yīng)的視差數(shù)值［12?15］.

當能量函數(shù)χ(D)取值達到最小時，對應(yīng)視差圖像更加精準，以此為基礎(chǔ)，計算的視差數(shù)值也更加準確.

步驟4：后處理計算.

步驟3 計算的視差結(jié)果Di={D1，D2，…，Dn}呈現(xiàn)為離散狀態(tài)，由于反射、紋理低、噪聲等因素的影響，致使視差數(shù)值存在完全錯誤、部分偏差等現(xiàn)象，通常表現(xiàn)為離群值、峰值或谷值.為了提升局部細節(jié)特征提取的效果，需對視差離群值進行刪除處理.VR 全景圖像視差結(jié)果如圖2 所示.

圖2 VR 全景圖像視差結(jié)果示例圖

如圖2 所示，虛線圓圈內(nèi)部的視差數(shù)值為離群值，與大部分視差數(shù)值分離，對其進行刪除處理即可獲得最為精準的視差估計結(jié)果，記為為后續(xù)研究目標的實現(xiàn)提供依據(jù).

1.4 局部細節(jié)特征提取實現(xiàn)

以上述估計的VR 全景圖像視差結(jié)果D'i=為基礎(chǔ)，利用SIFI 算法檢測并提取VR 全景圖像局部細節(jié)特征，為VR 全景技術(shù)的可持續(xù)發(fā)展提供助力［16］.

應(yīng)用高斯卷積核構(gòu)造VR 全景圖像尺度空間，記為L(x，y，σ)，其中，σ表示高斯函數(shù)的方差數(shù)值.在VR 全景圖像尺度空間中，應(yīng)用SIFI 算法檢測局部細節(jié)特征點，表達式為：

由于雙目視差的存在，SIFI 算法檢測到的局部細節(jié)特征點也存在一定的視差，故應(yīng)用上節(jié)視差估計結(jié)果對特征點進行適當?shù)恼{(diào)整，獲得最終VR 全景圖像局部細節(jié)特征點表達式為：

將公式（10）輸出結(jié)果進行整合即可完成VR 全景圖像局部細節(jié)特征的提取，為VR 全景圖像的應(yīng)用提供一定的支撐.

2 實驗與結(jié)果分析

選取文獻［1］FPGA 與文獻［2］感知殘差網(wǎng)絡(luò)作為對比方法1 與方法2，與所提出的VR全景圖像局部細節(jié)特征提取進行對比實驗，驗證提出方法的應(yīng)用性能.

2.1 實驗準備階段

從TID2013 數(shù)據(jù)集（http：//www.ponomarenko.info/tid2013.htm）中選取1 421 幅VR 全景圖像作為實驗對象，隨機將其劃分為10 個組別，獲得實驗環(huán)境情況如表1 所示.

表1 實驗環(huán)境信息表

如表1 所示，設(shè)置的10 個實驗組別中，VR全景圖像數(shù)量與平均噪聲均不一致，表明實驗環(huán)境具有明顯的差異性，符合提出方法應(yīng)用性能測試的需求.

2.2 實驗結(jié)果分析

以上述實驗準備內(nèi)容為基礎(chǔ)，進行VR 全景圖像局部細節(jié)特征提取實驗.通過局部細節(jié)特征點檢測結(jié)果與視差估計誤差顯示提出方法應(yīng)用性能，具體實驗結(jié)果分析過程如下：

以某一幅VR 全景圖像為實驗對象，應(yīng)用提出方法與兩種對比方法獲取局部細節(jié)特征點檢測結(jié)果，如圖3 所示.

圖3 局部細節(jié)特征點檢測結(jié)果示意圖

如圖3 所示，點表示局部細節(jié)特征點，圓圈表示特征點對應(yīng)的尺度空間.應(yīng)用提出方法獲得的局部細節(jié)特征點檢測結(jié)果與實際結(jié)果保持一致，而應(yīng)用對比方法1 與方法2 獲得的局部細節(jié)特征點檢測結(jié)果與實際結(jié)果存在著較大的差異，例如特征點缺失、尺度空間大小不一致等，表明提出方法局部細節(jié)特征點檢測效果更佳.

視差估計是影響局部細節(jié)特征提取精準度的關(guān)鍵所在.通過實驗獲得視差估計誤差數(shù)據(jù)如圖4 所示.

圖4 視差估計誤差數(shù)據(jù)圖

如圖4 所示，對比方法1 獲得的視差估計誤差最小值為0.35 Pixel，對比方法2 獲得的視差估計誤差最小值為0.42 Pixel，相較于兩種對比方法應(yīng)用提出方法獲得的視差估計誤差更小，最小值為0.30 Pixel.上述實驗結(jié)果顯示：與對比方法1 與方法2 相比較，應(yīng)用提出方法獲得的局部細節(jié)特征點檢測結(jié)果與實際結(jié)果保持一致，視差估計誤差更小，充分證實了提出方法應(yīng)用性能更優(yōu)質(zhì).其主要原因是所提方法去除了VR 全景圖像的噪聲，同時利用人眼視覺模型，獲取了雙目視覺背景下的VR 全景圖像信息，降低了視覺估計誤差.

以10 min 作為一個單位時間，分別記錄在6 個單位時間內(nèi)，應(yīng)用提出方法、對比方法1 與方法2 獲取VR 全景圖像細節(jié)特征數(shù)量的變化情況.

分析表2 可知，隨著實驗時間的增加，提出方法提取VR 全景圖像細節(jié)特征數(shù)量在前兩個單位時間內(nèi)，保持大幅度上升的變化趨勢，從第三個單位時間開始，保持小幅度上升趨勢，第五、第六個單位時間內(nèi)，開始持續(xù)保持穩(wěn)定，最大值達到10.1×1011個；兩種對比方法提取VR 全景圖像細節(jié)特征數(shù)量始終保持上升趨勢，全局最大值達到9.9×1011個和9.3×1011個，低于提出方法.綜上可知，提出方法能保證在單位時間內(nèi)更多地提取VR 全景圖像細節(jié)特征.

表2 單位時間內(nèi)提取的VR 全景圖像細節(jié)特征數(shù)量

3 結(jié)語

VR 全景技術(shù)的核心為VR 全景圖像，其局部細節(jié)特征情況直接決定VR 全景技術(shù)應(yīng)用的好壞，故提出視差估計下的VR 全景圖像局部細節(jié)特征提取方法.所提方法在VR 全景圖像去噪的基礎(chǔ)上，構(gòu)建了人眼視覺模型，并獲取雙目視覺背景下的VR 全景圖像信息.通過估計視差數(shù)值，結(jié)合SIFI 算法提取了VR 全景圖像局部細節(jié)特征.實驗結(jié)果證明提出方法降低了視差估計誤差，拉近了局部細節(jié)特征點檢測結(jié)果與實際結(jié)果的距離，可為VR 全景技術(shù)的發(fā)展提供助力.