盧清秀，任成森，葉文權(quán)

(廣東工業(yè)大學(xué)華立學(xué)院，廣東 廣州 511325)

稀疏表達(dá)的夜間圖像采集分辨率無關(guān)處理技術(shù)

盧清秀，任成森，葉文權(quán)

(廣東工業(yè)大學(xué)華立學(xué)院，廣東 廣州 511325)

在圖像采集和三維重建中，需要進(jìn)行圖像分辨率無關(guān)處理，降低光照和環(huán)境因素給分辨率帶來的影響，因此提出一種基于稀疏表達(dá)的夜間圖像采集分辨率無關(guān)處理技術(shù)。首先對采集的夜間圖像進(jìn)行小波降噪處理，對夜間圖像的陰影區(qū)域和亮度區(qū)域進(jìn)行曲線分割。在夜間光照的多重色差條件下，用標(biāo)準(zhǔn)化稀疏先驗的正則化表達(dá)方法進(jìn)行圖像均衡鎖光處理，采用圖像像素均勻遍歷方法進(jìn)行圖像子塊連續(xù)遍歷，實現(xiàn)夜間采集圖像的陰影偏差補(bǔ)償，實現(xiàn)夜間圖像采集的分辨率無關(guān)處理，解決圖像分辨率帶來的圖像重構(gòu)問題。仿真結(jié)果表明，采用該方法進(jìn)行夜間圖像采集分辨率無關(guān)處理，有效提高了圖像的成像質(zhì)量和可分辨度，峰值信噪比和計算開銷的參量指標(biāo)優(yōu)于傳統(tǒng)方法。

稀疏表達(dá)；夜間圖像；圖像采集；分辨率；三維重建

0 引 言

隨著圖形識別技術(shù)、數(shù)據(jù)庫匹配技術(shù)的快速發(fā)展，可以通過圖像掃描和三維重建方法構(gòu)建圖像數(shù)據(jù)庫，把現(xiàn)實中的物體進(jìn)行虛擬化，從而使實體在虛擬空間進(jìn)一步操作。在圖像識別和三維重建系統(tǒng)設(shè)計中，利用實時視頻采集及控制，目標(biāo)檢測與追蹤等技術(shù)進(jìn)行目標(biāo)物體的整體數(shù)據(jù)重建，完成目標(biāo)物體的信息采集[1]。在三維圖像數(shù)據(jù)庫建模中，通常需要對夜間圖像進(jìn)行采集和處理，夜間圖像的采集中受到采集設(shè)備、氣候、光照以及色差等因素的影響，導(dǎo)致夜間采集的圖像可能出現(xiàn)亮度不夠、噪點過多和鬼影等現(xiàn)象[2]。因此在夜間圖像采集和三維重建中，需要進(jìn)行圖像分辨率無關(guān)處理，降低夜間圖像采集中照片分辨率、拍攝距離、對焦準(zhǔn)確性、燈光系統(tǒng)等因素帶來的影響。

在受夜間圖像采集的環(huán)境干擾和曝光不足等因素的影響下，圖像細(xì)節(jié)展現(xiàn)和美化效果不好，分辨率不高。對夜間圖像采集的分辨率無關(guān)處理包括了圖像的降噪、圖像增強(qiáng)和圖像的色差均衡及補(bǔ)償?shù)?。傳統(tǒng)方法主要有基于小波降噪的分辨率無關(guān)處理方法、多重色差核補(bǔ)償方法、稀疏正則化分解方法和循環(huán)跟蹤像素點跟蹤融合方法等[3-4]。上述方法通過對夜間采集圖像進(jìn)行降噪處理后，結(jié)合相關(guān)特征提取和信息融合方法，實現(xiàn)圖像的細(xì)節(jié)增強(qiáng)及白平衡均衡處理，降低分辨率對圖像采集的影響，實現(xiàn)分辨率無關(guān)處理，取得了一定的效果。其中，文獻(xiàn)[5]提出一種基于白平衡偏差補(bǔ)償和平滑美化的夜間多重光照下采集圖像的分辨率無關(guān)處理方法，采用圖像盲去卷積算法進(jìn)行圖像平滑，對夜間采集的色差圖像自動劃分目標(biāo)空間，通過形態(tài)學(xué)分割方法實現(xiàn)色差圖像陰影區(qū)域和亮度區(qū)域的準(zhǔn)確劃分，提高了圖像成像質(zhì)量和美化能力。但是該方法在進(jìn)行色差均衡最佳位置搜索時，容易陷入局部最優(yōu)，導(dǎo)致圖像成像中出現(xiàn)過度曝光或亮度不足的問題；文獻(xiàn)[6]提出一種基于稀疏表達(dá)殘差均衡的自然場景圖像的分辨率無關(guān)處理技術(shù)，并實現(xiàn)對自然場景中運(yùn)動目標(biāo)的有效檢測和三維重建；文獻(xiàn)[7]采用陰影概率模型構(gòu)建自然場景運(yùn)動圖像的模糊色差核，在修正S-V模型中進(jìn)行模糊核敏感特征的稀疏表達(dá)，采用TV正則化方法對圖像進(jìn)行盲去卷積處理，降低光照和環(huán)境因素對分辨率帶來的影響[8]，提高了對運(yùn)動目標(biāo)的成像質(zhì)量，以及對運(yùn)動目標(biāo)圖像的檢測和重建性能。但是該方法的計算開銷較大，且在環(huán)境干擾較強(qiáng)的情況下成像質(zhì)量不好。

針對上述問題，文中提出一種基于稀疏表達(dá)的夜間圖像采集分辨率無關(guān)處理技術(shù)，并對其進(jìn)行了實驗驗證。

1 夜間圖像采集及降噪預(yù)處理

1.1夜間圖像的采集與像素特征表達(dá)

為了實現(xiàn)對夜間圖像的三維重建與圖像分辨率無關(guān)處理，降低照片分辨率、拍攝距離、對焦準(zhǔn)確性、自然光照及燈光系統(tǒng)給夜間圖像采集和三維重建帶來的成像質(zhì)量方面的影響，需要進(jìn)行圖像的分辨率無關(guān)化處理。首先需要進(jìn)行原始圖像采集和像素特征稀疏表達(dá)描述[9-11]。夜間圖像的采集采用數(shù)碼成像設(shè)備NikonD7200，采用自動對焦鏡頭，設(shè)定的感光度ISO為100，光圈F14，在夜間色光背景下，夜間采集的圖像在4×4網(wǎng)格區(qū)域內(nèi)進(jìn)行像素特征表達(dá)，分塊結(jié)構(gòu)模型如圖1所示。

圖1 圖像的4×4子區(qū)域網(wǎng)格結(jié)構(gòu)模型

圖像的視覺顯著性取決于獲取的圖像信息及分辨率等因素，計算每個像素的顏色子空間，得到的圖像結(jié)構(gòu)相似度為：

(1)

通過前簾同步和后簾同步處理，在特征尺度d(x)的約束下，得到夜間圖像采集的多重色差核系數(shù)c(X,Y)和邊緣細(xì)節(jié)特征s(X,Y)，求得兩者之間的差異性特征變量，得到夜間圖像采集的單點對焦角點：

(2)

基于多重色差核矩陣分解，設(shè)采集到的圖像輸出數(shù)學(xué)模型為g={g(i),i∈Ω}，在圖像采集過程中，采用電子穩(wěn)像方法進(jìn)行防抖動處理，假設(shè)圖像的生成序列為：

c1={i|i∈S},c2={{i,i'}|i'∈Ni,i∈S},

C=c1∪c2

(3)

其中，i=1,2,…,T，表示像素序列的長度。

用圖1所示的3*3的網(wǎng)格分割核函數(shù)進(jìn)行子塊連續(xù)遍歷處理，得到整幅采集的夜間圖像的尺度信息為U0(zQ)、U1(zQ)。利用鄰域內(nèi)像素點的子帶信息，在稀疏化特征表示約束條件下，采用全局顯著圖融合方法進(jìn)行圖像像素特征表達(dá)，得到夜間圖像的采集像素特征表達(dá)式為：

g=k?f+n

(4)

其中，?為卷積算子；g為圖像表面點均勻分布的采樣點；f為一組清晰的訓(xùn)練圖像；k為模糊核，又稱點擴(kuò)散函數(shù)(Point Spread Function，PSF)[12]；n為離散采樣約束系數(shù)。

根據(jù)上述對夜間圖像的采集結(jié)果和像素特征表達(dá)輸出，為圖像采集的分辨率無關(guān)處理提供了準(zhǔn)確的輸入數(shù)據(jù)。

1.2圖像降噪預(yù)處理

在圖像的采集過程中，受到環(huán)境和光照以及采集手段等因素的干擾，導(dǎo)致圖像出現(xiàn)噪聲，需要進(jìn)行圖像降噪處理。圖像降噪同時也是分辨率無關(guān)處理的重要一步，文中采用小波降噪方法進(jìn)行圖像降噪，采用LWT母小波作為基函數(shù)，母小波表達(dá)式為：

(5)

(6)

其中，Ts為三維非線性空間映射周期；Tp為圖像采樣周期；Tc為碼片周期；cj為像素點的加權(quán)平均位置；Np為小波分解，且Tp=NpTc；ai為二值圖像的結(jié)構(gòu)相似度；ε為圖像灰度像素偏移常量。

基于復(fù)小波復(fù)變換模型，構(gòu)建小波降噪濾波器的傳遞函數(shù)為：

(7)

其中，H為小波降噪的幅度增益；M為簇的數(shù)目；K(m)為小波降噪處分解尺度上的多徑數(shù)目；αmk為第n簇內(nèi)夜間圖像的色差對比度；Tm為第m簇到達(dá)時間；τmk為自適應(yīng)濾波的時延。

假設(shè)圖像具有單尺度特性，輸入圖像s(t)經(jīng)過小波降噪的多徑信道后，接收端輸出的圖像像素特征表達(dá)為：

(8)

其中，wmk為小波函數(shù)族ψa,b通過ψ(t)層仿射變換的幅度增益H和加權(quán)系數(shù)αmk；v(t)為加性高斯白噪聲。

在夜間多元色光背景下，通過如下小波變換實現(xiàn)圖像降噪：

(9)

(10)

其中，η為離散采樣點的經(jīng)度角；φ為緯度角；R為模板匹配的半徑；D為旋轉(zhuǎn)坐標(biāo)系的直徑。

運(yùn)用上述降噪處理來調(diào)整圖像的邊緣亮度和灰度，提高夜間采集圖像的成像質(zhì)量。

2 夜間圖像采集分辨無關(guān)處理算法的改進(jìn)實現(xiàn)

在上述夜間圖像采集及降噪預(yù)處理的基礎(chǔ)上，文中提出一種基于稀疏表達(dá)的夜間圖像采集分辨率無關(guān)處理技術(shù)，在夜間光照的多重色差條件下，用標(biāo)準(zhǔn)化稀疏先驗的正則化表達(dá)方法進(jìn)行圖像均衡鎖光處理，進(jìn)行圖像成像和三維重建優(yōu)化。

2.1基于稀疏先驗正則化表達(dá)的圖像均衡鎖光

在模板的像素坐標(biāo)內(nèi)，接收到的待處理的夜間圖像降噪的輸出像素序列x(t)在接收端進(jìn)行超像素特征分解和灰度信息疊加，信息融合后的輸出特征p(t)經(jīng)時延和加權(quán)后，在仿射不變模型進(jìn)行高頻分解和模板匹配[13-15]，得到在當(dāng)前幀的觀測區(qū)域內(nèi)的稀疏先驗正則化函數(shù)為：

(11)

當(dāng)NS=1時，由參數(shù)t決定模板的像素坐標(biāo)，接收的圖像邊緣輪廓特征值可表示為：

(12)

由于夜間圖像采集受到不同光照顏色的影響，導(dǎo)致圖形的紋理信息簇是稀疏的，對上述進(jìn)行標(biāo)準(zhǔn)化稀疏表示，用篩選出來的子塊替換前景，得到輸出圖像為：

(13)

其中，qj為概率權(quán)重；aj為最稀疏表示系數(shù)；cj為一個加權(quán)乘積系數(shù)。

將前i個樣本得到的稀疏表示矩陣和每個像素為中心采樣的子塊分別記為W(i)和D(i)，加入第i+1個訓(xùn)練樣本，得到稀疏先驗正則化迭代函數(shù)為D(i+1)，即

(14)

(15)

(16)

在修正的模板匹配模型中，基于稀疏先驗正則化表達(dá)方法，得到圖像均衡鎖光的迭代函數(shù)為：

(17)

根據(jù)加權(quán)遞歸最小二乘學(xué)習(xí)方法，得到圖像均衡鎖光后的分辨率稀疏先驗約束函數(shù)為：

D(i+1)=B(i+1)C(i+1)=

(18)

通過上述方法進(jìn)行圖像均衡鎖光，為實現(xiàn)圖像采集的分辨率無關(guān)處理提供了配準(zhǔn)度更好的像素特征輸入。

2.2圖像采集分辨率無關(guān)處理實現(xiàn)步驟

(19)

(20)

利用夜間圖像的結(jié)構(gòu)和稀疏表示模型，實現(xiàn)夜間圖像采集的分辨率無關(guān)處理，解決圖像分辨率帶來的圖像重構(gòu)問題，算法實現(xiàn)的主要步驟為：

(1)設(shè)定最大訓(xùn)練步長和迭代步數(shù)，初始化D(1)和C(1)；

(2)根據(jù)圖像采集集合降噪輸出的結(jié)果，在訓(xùn)練集中選擇像素樣本進(jìn)行圖像正則化處理，輸出xi+1；

(3)依據(jù)第i次迭代，得到模糊核矩陣D(i)以及圖像像素特征的稀疏表示矩陣W(i)；

(4)計算圖像的先驗知識zi+1=xi+1-D(i)W(i)；

(9)若i小于設(shè)定的迭代次數(shù)，i=i+1，則轉(zhuǎn)步驟(2)；

(10)若i大于設(shè)定的迭代次數(shù)，加權(quán)遞歸最小二乘學(xué)習(xí)結(jié)束，D=D(i+1)，W=W(i+1)；

3 仿真實驗與結(jié)果分析

為了測試文中方法在實現(xiàn)夜間圖像采集優(yōu)化處理方面的性能，對其進(jìn)行仿真實驗。實驗建立在Matlab仿真工具基礎(chǔ)上，實驗硬件設(shè)備使用Inter core i5-2 400 3.10 GHz處理器，圖像采集的初始分辨率為1 280×1 024，采集的重復(fù)周期Ts=2 ns，曝光持續(xù)時間Tm=14 s，時間位移值dPPM=0.5 ns，噪聲選擇均值為0、方差為0.01的高斯噪聲。實驗分別對建筑樓和橋梁進(jìn)行圖像采集，得到采集的原始圖像如圖2所示。

圖2 原始圖像

由圖2可知，在圖像采集中由于光線不好和成像設(shè)備的條件限制，導(dǎo)致圖像采集的分辨率不高，成像質(zhì)量不好，無法滿足系統(tǒng)設(shè)計需求，因此需要進(jìn)行分辨率無關(guān)化處理，提高圖像成像質(zhì)量。

采用文中方法對夜間采集圖像進(jìn)行小波降噪處理，進(jìn)而對陰影區(qū)域和亮度區(qū)域進(jìn)行曲線分割，用標(biāo)準(zhǔn)化稀疏先驗的正則化表達(dá)方法進(jìn)行圖像均衡鎖光處理，得到圖像的稀疏表達(dá)結(jié)果如圖3所示。

圖3 圖像稀疏表達(dá)結(jié)果

以上述系數(shù)表達(dá)信號為訓(xùn)練信號，進(jìn)行圖像均衡鎖光處理，實現(xiàn)陰影偏差補(bǔ)償和分辨率無關(guān)化處理。為了對比性能，圖4和圖5分別給出傳統(tǒng)方法和文中方法的處理結(jié)果。

圖4 傳統(tǒng)方法進(jìn)行圖像采集分辨率無關(guān)處理的結(jié)果

圖5 文中方法進(jìn)行圖像采集分辨率無關(guān)處理的結(jié)果

從圖4和圖5的對比得知，采用文中方法進(jìn)行夜間圖像采集后期處理，實現(xiàn)了圖像的分辨率無關(guān)化處理，提高了圖像的成像表達(dá)能力，圖像采集的感官效果更好，可視性增強(qiáng)，具有明顯的改善。

為了定量刻畫圖像處理的性能，表1列出了不同方法進(jìn)行圖像處理的峰值信噪比和時間開銷等參量的對比結(jié)果(采用1 000次實驗取平均)。

表1 不同方法的性能定量對比

從表1可知，利用文中方法進(jìn)行夜間圖像采集，峰值信噪比較高，說明輸出圖像的成像質(zhì)量更好，且計算開銷較低，說明實時性較好。

4 結(jié)束語

為了降低光照和環(huán)境因素對分辨率帶來的影響，提高圖像的三維重建能力，提出一種基于稀疏表達(dá)的夜間圖像采集分辨率無關(guān)處理技術(shù)。實驗結(jié)果表明，該方法提高了圖像的成像質(zhì)量和可分辨度，感官效果更好，可視性增強(qiáng)，峰值信噪比和計算開銷的參量指標(biāo)更優(yōu)，展示了較好的應(yīng)用價值。

[1] 趙 蓉,顧國華,楊 蔚.基于偏振成像的可見光圖像增強(qiáng)[J].激光技術(shù),2016,40(2):227-231.

[2] 于 濤,胡炳樑,高曉惠,等.高光譜干涉圖像動態(tài)追蹤補(bǔ)償方法研究[J].光子學(xué)報,2016,45(7):0710003.

[3] 竇慧晶,王千龍,張 雪.基于小波閾值去噪和共軛模糊函數(shù)的時頻差聯(lián)合估計算法[J].電子與信息學(xué)報,2016,38(5):1123-1128.

[4] 張 偉,張 合,張祥金.小型大瞬時視場光學(xué)探測系統(tǒng)優(yōu)化設(shè)計[J].紅外與激光工程,2016,45(5):518002.

[5] 蔣建國,金玉龍,齊美彬,等.基于稀疏表達(dá)殘差的自然場景運(yùn)動目標(biāo)檢測[J].電子學(xué)報,2015,43(9):1738-1744.

[6] 周毅敏,李光耀.多重光照色差下圖像平滑美化處理算法[J].計算機(jī)科學(xué),2016,43(10):287-291.

[7] 宋 濤,李 鷗,劉廣怡.基于空時多線索融合的超像素運(yùn)動目標(biāo)檢測方法[J].電子與信息學(xué)報,2016,38(6):1503-1511.

[8] Evangelio R H,Patzold M,Keller I,et al.Adaptively splitted GMM with feedback improvement for the task of background subtraction[J].IEEE Transactions on Information Forensics and Security,2014,9(5):863-874.

[9] Barnich O,Van D M.ViBe:a universal background subtraction algorithm for video sequences[J].IEEE Transactions on Image Processing,2011,20(6):1709-1724.

[10] Liu Zhi,Zhang Xiang,Luo Shuhua,et al.Superpixel-based spatiotemporal saliency detection[J].IEEE Transactions on Circuits and Systems for Video Technology,2014,24(9):1522-1540.

[11] Bae S H,Yoon K J.Robust online multiobject tracking with data association and track management[J].IEEE Transactions on Image Processing,2014,23(7):2820-2833.

[12] Jiang X,Harishan K,Thamarasa R,et al.Integrated track initialization and maintenance in heavy clutter using probabilistic data association[J].Signal Processing,2014,94:241-250.

[13] 卞 樂,霍冠英,李慶武.基于Curvelet變換和多目標(biāo)粒子群的混合熵MRI圖像多閾值分割[J].計算機(jī)應(yīng)用,2016,36(11):3188-3195.

[14] 李積英,黨建武,王陽萍.融合量子克隆進(jìn)化與二維Tsallis熵的醫(yī)學(xué)圖像分割算法[J].計算機(jī)輔助設(shè)計與圖形學(xué)學(xué)報,2014,26(3):465-471.

[15] Ortiz A,Gorriz J M,Ramirez J,et al.Improving MR brain image segmentation using self-organising maps and entropy-gradient clustering[J].Information Sciences,2014,262(3):117-136.

AnIndependentProcessingTechnologyofNightImageAcquisitionResolutionBasedonSparseRepresentation

LU Qing-xiu，REN Cheng-sen，YE Wen-quan

(Huali College Guangdong University of Technology,Guangzhou 511325,China)

In the image acquisition and 3D reconstruction,independent image resolution processing is needed to reduce the influence of illumination and environmental factors to the resolution.Therefore,an independent processing technology of night image acquisition resolution is proposed based on the sparse expression.First the acquisition of night image is in wavelet denoising,conducting the curve segmentation of the shadow region and brightness region for night image.In the conditions of multiple color at night,the expression method of regularization of standardized sparse prior is used for the image equalization lock light processing,and image pixel traversal method for continuous uniform traversal of image blocks,realizing the shadow deviation compensation for acquisition image at night and independent resolution processing of that,solving the problem of image reconstruction caused by the resolution.The simulation results show that it can improve the imaging quality and resolution and the its peak signal-to-noise ratio and computing cost parameters are better than the traditional method.

sparse representation;night image;image acquisition;resolution;3D reconstruction

TP391

A

1673-629X(2017)10-0011-05

2016-11-25

2017-03-03 < class="emphasis_bold">網(wǎng)絡(luò)出版時間

時間：2017-07-19

2016年廣東省大學(xué)生科技創(chuàng)新培育項目(pdjh2016b0934);2012廣東省質(zhì)量工程項目“獨(dú)立學(xué)院電子信息創(chuàng)新人才培養(yǎng)實驗區(qū)”(粵教高函[2012]204號)

盧清秀(1979-)，女，碩士，講師，研究方向為計算機(jī)控制算法、人工智能。

http://kns.cnki.net/kcms/detail/61.1450.TP.20170719.1112.080.html

10.3969/j.issn.1673-629X.2017.10.003