王 安 定， 謝 蓄 芬， 鄒 念 育

( 大連工業(yè)大學(xué) 信息科學(xué)與工程學(xué)院, 遼寧 大連 116034 )

0 引 言

相機響應(yīng)函數(shù)(Camera response function，CRF)表達了圖像灰度與真實場景輻射量之間的映射關(guān)系[1-3]，是系統(tǒng)成像過程中各個鏈路環(huán)節(jié)效應(yīng)的總和。相機響應(yīng)函數(shù)的標定是圖像動態(tài)范圍延展的基礎(chǔ)[4-6]，受隨機噪聲、系統(tǒng)響應(yīng)非均勻性和各種隨機擾動的影響，相機響應(yīng)函數(shù)的標定結(jié)果偏差較大，難以獲得精確的結(jié)果，因此相機響應(yīng)函數(shù)的標定受到廣泛關(guān)注。

從20世紀90年代高動態(tài)范圍圖像的提出到近些年來不斷發(fā)展，越來越多的研究者開始關(guān)注高動態(tài)范圍成像技術(shù)，因此出現(xiàn)了很多對相機響應(yīng)函數(shù)進行標定的方法[7-9]。Mann等[10]提出了通過不同曝光圖像延展系統(tǒng)動態(tài)范圍的方法，指出相機響應(yīng)函數(shù)的標定受噪聲影響。Mitsunaga等[11]提出用N次多項式近似描述相機響應(yīng)函數(shù)，降低了算法對成像設(shè)備的要求，但是算法穩(wěn)定性欠佳。Debevec等[12]提出利用響應(yīng)函數(shù)的微分對響應(yīng)曲線相對定標結(jié)果進行約束，增加定標結(jié)果的光滑性。方華猛等[13]從求解方法上改進了Debevec提出的約束最小二乘法，但是都沒有對相機響應(yīng)函數(shù)標定時所存在的病態(tài)問題進行詳細分析，也沒有關(guān)聯(lián)泛函空間，缺少對正則項的形式的分析和論證。章衛(wèi)祥等[14]在Mitsunaga 和Nayar所做工作的基礎(chǔ)上增加限制條件和改進迭代條件提高了算法的穩(wěn)定性，但只粗略地估計了光圈大小、曝光時間的比值影響標定結(jié)果的精確性。Goossens等[15]利用最大信噪比準則構(gòu)建服從泊松分布的權(quán)值函數(shù)來消除數(shù)碼相機中傳感器帶來的圖像噪聲，優(yōu)化相機響應(yīng)函數(shù)的標定結(jié)果，但研究沒有解決相機響應(yīng)函數(shù)標定存在的病態(tài)問題。

本研究針對相機響應(yīng)函數(shù)存在的病態(tài)問題，在Sobolev空間[16-18]中，討論了不同正則算子形式下獲得的相機響應(yīng)函數(shù)的穩(wěn)定性，根據(jù)實驗結(jié)果驗證了正則算子的形式。同時通過L曲線法確定了正則參數(shù)的選取[19-20]，得到了穩(wěn)定的相機響應(yīng)函數(shù)。

1 相機響應(yīng)函數(shù)模型

1.1 相機的成像原理

當使用相機拍攝景物時，景物反射的輻射能量進入鏡頭，當按下快門后，圖像傳感器曝光，光電探測器受到光子的激發(fā)而釋放出電荷，生成電信號。電信號經(jīng)過放大和濾波后被傳送至模/數(shù)轉(zhuǎn)換器(ADC)，經(jīng)ADC信號采樣、量化將電信號(模擬信號)轉(zhuǎn)換為數(shù)字信號，轉(zhuǎn)換后的數(shù)字信號被輸出到DSP(數(shù)字信號處理器)中；為了數(shù)據(jù)存儲與傳輸?shù)姆奖?，?shù)字信號編碼壓縮為不同的圖像格式[21]，其原理如圖1所示。

圖1 相機成像原理Fig.1 The principle of camera imaging

1.2 建立數(shù)學(xué)模型

通過一系列曝光量不同的圖像來確定圖像傳感器所接收的輻射通量Ф與圖像灰度Z之間映射關(guān)系，建立成像系統(tǒng)響應(yīng)模型。

Z=f(ΦΔt)

(1)

式中：Z為圖像灰度，Ф為成像系統(tǒng)中圖像傳感器所接受的輻射通量，t為相機的曝光時間，f為圖像傳感器所接受的輻射通量與圖像灰度之間的映射關(guān)系，也稱之為相機響應(yīng)函數(shù)。相機響應(yīng)函數(shù)是成像系統(tǒng)在實際成像過程中所受到的各種線性與非線性關(guān)系(如非線性動態(tài)范圍的壓縮與量化)的總和。

假設(shè)f單調(diào)，則f可逆，對f逆變換并取對數(shù)，為了簡化方程，令g=lnf-1

g(Zij)=lnΦi+ln Δtj

(2)

2 相機響應(yīng)函數(shù)標定

2.1 相機響應(yīng)函數(shù)標定的最小二乘法

對于式(2)所確定的相機響應(yīng)函數(shù)模型，采用經(jīng)典最小二乘法求解，得到公式(3)。

g^(z)=arg min∑i∑jw(Zij)g(Zij)-ln Φi-lnΔtj2

(3)

隨著曝光時間的改變，曝光時間較短或較長時獲得的圖像中存在許多曝光不足或過度曝光的像素點，使得這些像素點的灰度偏小或偏大，所以引入加權(quán)函數(shù)以減小此類像素點在求解過程產(chǎn)生的影響，如式(4)所示。當圖像序列為4幅曝光時間不同的圖像時，圖2(a)表示各灰度的權(quán)值。

(4)

式中：Zmid取圖像像素灰度的中間值128，k為圖像序列的圖像個數(shù)，曝光時間的增加或減小會使圖像中存在的過度曝光或者曝光不足問題加劇。

由于相機響應(yīng)函數(shù)模型所確定的方程組的條件數(shù)為1.25×103(條件數(shù)接近1穩(wěn)定，數(shù)值越大穩(wěn)定性越差)，說明該模型存在較強的復(fù)共線性，相機響應(yīng)函數(shù)模型存在病態(tài)問題，所以最小二乘法一般不能得到滿意的結(jié)果，如圖2(b)所示。

(a) 權(quán)值函數(shù)

(b) 最小二乘法獲得的相機響應(yīng)函數(shù)圖2 權(quán)值函數(shù)和最小二乘法求解Fig.2 The function of weight and CRF calculated by least squares method

2.2 相機響應(yīng)函數(shù)定標的正則化方法

由于相機響應(yīng)函數(shù)模型存在病態(tài)問題，使得最小二乘法不能獲得穩(wěn)定的解。而索伯列夫空間具有良好的收斂性和光滑性，把求解限制在索伯列夫空間則可能解決病態(tài)問題，在式(3)中加入索伯列夫空間正則項得到。

g^

(5)

取p=2。λ為正則參數(shù)，是一個大于零的實數(shù)，通過調(diào)節(jié)λ的大小可以得到穩(wěn)定的近似解

g^

(z)λ。mg(Z)稱為正則算子，是在Sobolev空間中定義的微分算子(弱導(dǎo)數(shù))。

3 正則算子和正則參數(shù)選取

在正則化方法中正則算子和正則參數(shù)的選取對相機響應(yīng)函數(shù)的標定結(jié)果有著至關(guān)重要的作用。實驗使用Canon EOS 600D獲取圖像序列，感光度固定為100，曝光補償為0，光圈大小為f/8，曝光時間為30、15、8、4、2、1、1/2、1/4、1/8、1/15、1/30、1/60 s。研究共選取了6個室內(nèi)場景，包括日光環(huán)境、電光環(huán)境和混合環(huán)境，獲得6組圖像序列。

3.1 正則算子分析

以圖像序列的紅色通道為例，圖3為最小二乘法和正則化方法獲得的相機響應(yīng)函數(shù)。由圖3可知，正則化方法獲得的相機響應(yīng)函數(shù)解決了響應(yīng)函數(shù)模型的病態(tài)問題，穩(wěn)定性得到顯著提高。

使用累積相鄰點差值絕對值之和描述相機響應(yīng)函數(shù)的光滑性，差越小表示曲線越光滑，如公式(6)所示。

σ=1Zmax∑Zmax-1z=1(g^(Z)-g^(Z-1))

(6)

當正則算子m=1時，6組圖像序列獲得的相機響應(yīng)函數(shù)的光滑性的平均值為8.20×10-5，表現(xiàn)最穩(wěn)定且光滑性較好；當m=2時，6組圖像序列獲得的相機響應(yīng)函數(shù)的光滑性的平均值為12.3×10-5，穩(wěn)定性和光滑性略差；當m=3時，6組圖像序列獲得的相機響應(yīng)函數(shù)的光滑性的平均值為13.6×10-5，表現(xiàn)最不穩(wěn)定且光滑性較差，如表1所示?？梢妋取值為1時，相機響應(yīng)函數(shù)的光滑性、穩(wěn)定性最優(yōu)。

表1 不同正則算子下相機響應(yīng)函數(shù)的光滑性Tab.1 Smoothness of CRF under different regular operator 10-5

3.2 正則參數(shù)分析

正則參數(shù)決定了相機響應(yīng)函數(shù)的殘差和正則項的比例關(guān)系。正則參數(shù)越大，正則項在求解過程中所占比例越大，反之，殘差最小在求解過程中所占比例越大。

(a) 最小二乘法

(b)m=1

(c)m=2

(d) m=3

使用L曲線法確定正則參數(shù)，在對數(shù)坐標圖上以目標函數(shù)為橫坐標，正則項為縱坐標，得到由一系列點構(gòu)成的形狀類似字母L的曲線。定位L曲線上曲率最大的點，即將其拐點對應(yīng)的λ作為正則參數(shù)的取值。

令

(7)

那么，L曲線的曲率計算公式為：

(8)

圖4(a)表示L曲線法所繪制的曲線，曲線曲率最大的點對應(yīng)的正則參數(shù)即為L曲線法所確定的正則參數(shù)。圖4(b)表示圖4(a)中確定的正則參數(shù)λ=60時所對應(yīng)的相機響應(yīng)函數(shù)。

(a) L曲線

(b) 正則化方法

圖4 L曲線和正則化方法獲得相機響應(yīng)函數(shù)
Fig.4 L-curve and camera response function obtained by regularization method

4 結(jié) 論

在Sobolev空間中，對不同正則算子形式下的相機響應(yīng)函數(shù)的穩(wěn)定性作了分析，確定一階微分算子作為正則算子時相機響應(yīng)函數(shù)不僅有良好的光滑性，而且表現(xiàn)出良好的穩(wěn)定性和精確性。在此基礎(chǔ)上又通過L曲線法確定了正則參數(shù)的選取，結(jié)果表明L曲線法可以有效地確定正則參數(shù)的選取。在保證相機響應(yīng)函數(shù)精確性的前提下，相機響應(yīng)函數(shù)標定的正則化方法可以有效解決相機響應(yīng)模型中的病態(tài)問題。