白本督, 劉　軍, 范九倫

(西安郵電大學(xué) 通信與信息工程學(xué)院, 陜西 西安 710121)

高動(dòng)態(tài)范圍成像研究進(jìn)展

白本督, 劉軍, 范九倫

(西安郵電大學(xué) 通信與信息工程學(xué)院, 陜西 西安 710121)

摘要:高動(dòng)態(tài)范圍成像技術(shù)是近年來圖像處理、計(jì)算機(jī)圖形學(xué)等領(lǐng)域的研究熱點(diǎn)?；诟邉?dòng)態(tài)范圍成像技術(shù)的主要流程，從高動(dòng)態(tài)范圍場景的捕獲、高動(dòng)態(tài)范圍圖像的合成、色調(diào)映射、當(dāng)前高動(dòng)態(tài)范圍成像技術(shù)遇到的挑戰(zhàn)以及高動(dòng)態(tài)范圍成像的發(fā)展趨勢(shì)等5個(gè)方面，綜述高動(dòng)態(tài)范圍成像技術(shù)的研究進(jìn)展。

關(guān)鍵詞:高動(dòng)態(tài)范圍成像；多曝光；輻射亮度；色調(diào)映射；去鬼影；單次曝光高動(dòng)態(tài)范圍成像

現(xiàn)實(shí)世界的場景有非常寬廣的亮度范圍，亮度變化從10-4cd/m2到106cd/m2，動(dòng)態(tài)范圍達(dá)10個(gè)數(shù)量級(jí)，而人類視覺系統(tǒng)(human visual system, HVS)在同一場景中可感知的動(dòng)態(tài)范圍也超過5個(gè)數(shù)量級(jí)[1]。但是，當(dāng)前相機(jī)成像傳感器單次曝光可捕獲的動(dòng)態(tài)范圍卻非常有限，最大動(dòng)態(tài)范圍不超過3個(gè)數(shù)量級(jí)，由于記錄的像素值采用8 bit每顏色通道來存儲(chǔ)，導(dǎo)致生成的標(biāo)準(zhǔn)圖像(也稱低動(dòng)態(tài)范圍圖像，low dynamic range, LDR)中常常會(huì)出現(xiàn)過曝光或者欠曝光的現(xiàn)象，丟失了部分場景信息。

高動(dòng)態(tài)范圍(high dynamic range, HDR)成像技術(shù)彌補(bǔ)了成像傳感器動(dòng)態(tài)范圍較低的不足，該技術(shù)可以精確捕獲真實(shí)場景的相對(duì)輻射亮度，完整地保留場景信息，獲得的HDR圖像不僅有助于HVS對(duì)場景的辨識(shí)，而且在圖像處理、計(jì)算機(jī)圖形學(xué)等領(lǐng)域有重要的應(yīng)用。

高動(dòng)態(tài)范圍成像技術(shù)是一組技術(shù)的綜合，依據(jù)高動(dòng)態(tài)范圍成像技術(shù)的主要流程，以下內(nèi)容將分7部分展開。第1節(jié)首先介紹動(dòng)態(tài)范圍的基本概念，然后第2節(jié)引入高動(dòng)態(tài)范圍成像的主要技術(shù)。第3至第5節(jié)逐項(xiàng)綜述相關(guān)技術(shù)的研究進(jìn)展，包括高動(dòng)態(tài)范圍成像技術(shù)的場景捕獲，高動(dòng)態(tài)范圍圖像的合成與色調(diào)映射。接著在第6節(jié)討論了高動(dòng)態(tài)范圍成像面臨的主要難題，最后基于高動(dòng)態(tài)范圍成像面臨的主要障礙——鬼影問題，討論分析了高動(dòng)態(tài)范圍成像技術(shù)未來的研究趨勢(shì)。

1動(dòng)態(tài)范圍

動(dòng)態(tài)范圍(dynamic range)是一個(gè)無量綱量，表示某一個(gè)物理量變化的跨度，即其變化值的最小值到最大值之間的區(qū)域，通常以比值、數(shù)量級(jí)、分貝、“Ev”或者“f-stops”來度量。動(dòng)態(tài)范圍對(duì)于不同的對(duì)象有不同的表示方法，高動(dòng)態(tài)范圍成像中動(dòng)態(tài)范圍指光信號(hào)的變化跨度。

光的亮度(luminance)單位為坎德拉每平方米(cd/m2)，常見光源的近似亮度值如圖1所示。

圖1　常見光源的亮度范圍

場景的動(dòng)態(tài)范圍一般取決于兩個(gè)因素：最大亮度與最小亮度，場景的動(dòng)態(tài)范圍表示為

式中Lmax和Lmin分別表示最大和最小場景亮度，獲得的動(dòng)態(tài)范圍以數(shù)量級(jí)表示。

數(shù)碼相機(jī)的動(dòng)態(tài)范圍取決于其成像傳感器感光單元所能接收的最大亮度(感光單元飽和)與最小可感應(yīng)亮度(讀出噪聲和統(tǒng)計(jì)噪聲)，相機(jī)的感光度(ISO)也會(huì)影響相機(jī)的動(dòng)態(tài)范圍，一般情況下感光度越低受噪聲影響越小則動(dòng)態(tài)范圍越高。當(dāng)然，相機(jī)的動(dòng)態(tài)范圍還與相機(jī)將光信號(hào)轉(zhuǎn)換為數(shù)字信號(hào)的模數(shù)轉(zhuǎn)換的位深度(bit depth)有關(guān)，位深度越大則記錄的動(dòng)態(tài)范圍越大。數(shù)碼相機(jī)的動(dòng)態(tài)范圍為

其中,Lsaturation為相機(jī)記錄的最大飽和亮度，Lnoise為相機(jī)記錄的最小可感知亮度，計(jì)算的結(jié)果表示為f-stops或者Ev。

在實(shí)際的應(yīng)用中，數(shù)碼相機(jī)的動(dòng)態(tài)范圍以輸出的RAW格式圖像位深度作為一個(gè)重要的衡量標(biāo)準(zhǔn)。當(dāng)前，大部分中高端數(shù)碼單反相機(jī)的圖像文件可以記錄10～14位深度，因此理論上的動(dòng)態(tài)范圍為10～14 f-stops，由于受噪聲影響，實(shí)際上平均動(dòng)態(tài)范圍與理論動(dòng)態(tài)范圍還有2 f-stops左右的差距。當(dāng)前數(shù)碼相機(jī)的動(dòng)態(tài)范圍還比較有限，專業(yè)的相機(jī)評(píng)價(jià)機(jī)構(gòu)DxOMark實(shí)驗(yàn)室對(duì)眾多高端單反相機(jī)的動(dòng)態(tài)范圍測試結(jié)果表明，當(dāng)前數(shù)碼相機(jī)最大的動(dòng)態(tài)范圍能達(dá)到12 f-stops(即4096)左右已經(jīng)算性能優(yōu)異了[2]。常見圖像的動(dòng)態(tài)范圍為圖像中記錄的最亮像素值與最暗像素的比，JPEG格式的圖像文件記錄8位深度，所有其可記錄的最大動(dòng)態(tài)范圍為8 Ev(256)。顯示器的動(dòng)態(tài)范圍是顯示器發(fā)出的最大亮度至最小亮度的整個(gè)數(shù)量級(jí)跨度范圍，當(dāng)前普通顯示器的最大動(dòng)態(tài)范圍不超過3個(gè)數(shù)量級(jí)。

2高動(dòng)態(tài)范圍成像技術(shù)

高動(dòng)態(tài)范圍成像技術(shù)源自于膠片時(shí)代的專業(yè)攝影技術(shù)，是廣大專業(yè)攝影師和攝像師群體針對(duì)大場景高動(dòng)態(tài)范圍攝影/攝像成像的主要手段。19世紀(jì)50年代的Gustave Le Gray是當(dāng)今主流多曝光合成高動(dòng)態(tài)范圍成像技術(shù)的先驅(qū)[3]。Le Gray在試圖拍攝既有大海又有藍(lán)天的場景時(shí)發(fā)現(xiàn)單次曝光難以捕獲整個(gè)場景。于是，Le Gray使用一張膠片拍攝天空，另一張具有更長曝光時(shí)間的膠片拍攝大海，然后在暗室將兩張膠片合成為一張既有大海又有天空的高動(dòng)態(tài)范圍照片。

隨著數(shù)字成像技術(shù)的發(fā)展，尤其是近年來數(shù)字成像技術(shù)在分辨率方面的飛速發(fā)展，使得圖像/視頻的質(zhì)量在分辨率方面日臻突破人類視覺可分辨極限。制約數(shù)字成像質(zhì)量的另外一個(gè)主要因素——圖像的動(dòng)態(tài)范圍——引起越來越多的研究者關(guān)注。在過去的20年，HDR成像技術(shù)獲得了迅速的發(fā)展，靜態(tài)場景的HDR成像技術(shù)已日臻成熟，現(xiàn)階段面臨的主要難題是動(dòng)態(tài)場景的HDR成像，主要包括包圍曝光圖像的對(duì)齊和運(yùn)動(dòng)目標(biāo)的去鬼影。2011年，美國蘋果公司發(fā)布的iPhone4s搭載了高動(dòng)態(tài)范圍成像技術(shù)，使得高動(dòng)態(tài)范圍成像技術(shù)開始步入大眾視野。

由于還沒有成熟的HDR成像傳感器，當(dāng)前的HDR成像方法都基于一個(gè)原理：捕獲目標(biāo)場景的包圍曝光圖像，如圖2所示。由于當(dāng)前傳感器單次曝光捕獲的動(dòng)態(tài)范圍有限，不同的曝光量捕獲的亮度范圍不同，通過對(duì)同一場景以不同的曝光量多次曝光(即包圍曝光)，實(shí)現(xiàn)覆蓋整個(gè)場景的亮度范圍，最終將這組覆蓋場景亮度范圍的圖像合成為一張HDR圖像。

圖2　HDR成像原理

當(dāng)前廣泛使用的多曝光HDR成像流程如圖3所示。采用單部成像設(shè)備多曝光或特殊設(shè)計(jì)的成像設(shè)備單次同時(shí)曝光捕獲一組目標(biāo)場景的包圍曝光LDR圖像；通過算法將包圍曝光圖像做對(duì)齊、去鬼影處理；將處理后的包圍曝光圖像以及圖像對(duì)應(yīng)的曝光參數(shù)作為輸入?yún)?shù)求解方程解得相機(jī)響應(yīng)函數(shù)(camera response function, CRF)；將處理后的圖像依據(jù)CRF合成為一張HDR圖像；將HDR圖像直接顯示在HDR顯示設(shè)備上或者將HDR圖像色調(diào)映射后顯示在LDR顯示設(shè)備上。

圖3　多曝光HDR成像流程

3高動(dòng)態(tài)范圍場景的捕獲

當(dāng)前HDR場景的捕獲策略主要有兩種:一種是不同時(shí)的連續(xù)多次曝光捕獲，另一種是基于硬件的單次曝光捕獲。

3.1多曝光

多曝光是當(dāng)前HDR成像中捕獲場景主要采取的方式，使用單部成像設(shè)備對(duì)同一場景以不同的曝光時(shí)間連續(xù)拍攝多張LDR圖像，然后利用成像設(shè)備的響應(yīng)函數(shù)將這些圖像合成為一張HDR圖像[4-8]。對(duì)于靜態(tài)場景，多曝光的方式可完整捕獲場景動(dòng)態(tài)范圍且可合成高質(zhì)量的HDR圖像，當(dāng)前數(shù)碼單反相機(jī)以及移動(dòng)終端中的HDR成像都是采用這種方式，但該方法只適用于靜態(tài)場景的HDR成像，對(duì)于動(dòng)態(tài)場景HDR成像會(huì)出現(xiàn)嚴(yán)重的鬼影問題。

為了解決多曝光HDR成像導(dǎo)致的鬼影問題，采用分光的模式并行多個(gè)成像單元同步曝光提高現(xiàn)有單個(gè)成像設(shè)備的動(dòng)態(tài)范圍是一種有效手段。專業(yè)設(shè)計(jì)的多傳感器相機(jī)[9-11]利用分光器將進(jìn)入相機(jī)鏡頭的光線分向每個(gè)傳感器，實(shí)現(xiàn)同時(shí)包圍曝光的目的。由于該方法將入射光分為多束，因此對(duì)于亮度高的場景可以實(shí)現(xiàn)高質(zhì)量的HDR成像，但對(duì)于亮度低的場景則成像質(zhì)量不能保證。

多部相機(jī)組合的裝置[12-15]通過給每部相機(jī)設(shè)置不同的曝光時(shí)間、不同的光圈值或者不同的感光度實(shí)現(xiàn)每部相機(jī)的不同曝光，最后同時(shí)觸發(fā)多部相機(jī)的快門實(shí)現(xiàn)同步單次包圍曝光。該方案不局限于高光場景,相對(duì)于分光模式[9-11]成像可應(yīng)用的自然場景更廣。但是，由于不同相機(jī)之間的位移差，使得該方法需對(duì)獲得的包圍曝光圖像做視差校正(disparity correction)處理。

3.2單次曝光

單次曝光高動(dòng)態(tài)范圍成像設(shè)備包括對(duì)成像傳感器[16-20]、光圈[21]或者快門[22]進(jìn)行特殊設(shè)計(jì)的相機(jī)。該類特殊設(shè)計(jì)的成像設(shè)備通過在成像傳感器前放置一個(gè)光學(xué)掩膜，或者通過控制傳感器中像素點(diǎn)的曝光時(shí)間、感光度，或者采用專門設(shè)計(jì)的光圈、快門的相機(jī)鏡頭實(shí)現(xiàn)相鄰像素間以不同的曝光量曝光，最終達(dá)到單次包圍曝光的目的。但是，由于是在單個(gè)成像傳感器上實(shí)現(xiàn)同時(shí)包圍曝光，該方法會(huì)犧牲圖像的分辨率，捕獲的動(dòng)態(tài)范圍也遠(yuǎn)達(dá)不到HVS可感知的動(dòng)態(tài)范圍。

3.3多曝光優(yōu)化

迄今為止，HDR成像的研究主要致力于如何將多張連續(xù)曝光的低動(dòng)態(tài)范圍圖像合成為一張受鬼影、噪聲、重影、運(yùn)動(dòng)模糊干擾更小的高動(dòng)態(tài)圖像，而關(guān)于低動(dòng)態(tài)范圍圖像的獲取步驟中最優(yōu)的圖像曝光集合即多曝光優(yōu)化問題的研究則比較少。

針對(duì)當(dāng)前HDR成像中包圍曝光圖像集合冗余多的問題，2003年，文[23]構(gòu)造了3類高動(dòng)態(tài)范圍相機(jī)響應(yīng)函數(shù)，并給出了相應(yīng)的最佳曝光集合，但其給出的組合能獲得的最大動(dòng)態(tài)范圍有限，不能根據(jù)場景的動(dòng)態(tài)范圍靈活地調(diào)整曝光集合以達(dá)到最優(yōu)，同時(shí)對(duì)于不同場景的捕獲還需要用戶預(yù)先選擇動(dòng)態(tài)范圍。2008年，文[24]提出了3個(gè)不同的算法分別實(shí)現(xiàn)最小系統(tǒng)包圍、最小圖像包圍和基于反饋包圍曝光組合。其中最小圖像包圍曝光算法獲得的曝光組合最小，但需要預(yù)捕獲目標(biāo)場景。2015年，文[25]提出了一種簡單有效的最小包圍曝光集合求解算法。該算法首先依據(jù)相機(jī)響應(yīng)函數(shù)建立曝光集合與動(dòng)態(tài)范圍的映射，然后采用測光表或者相機(jī)內(nèi)置測光器直接獲取目標(biāo)場景最亮和最暗亮度，最后通過遍歷的方法尋找涵蓋目標(biāo)場景動(dòng)態(tài)范圍的最小包圍曝光集合。

如圖4所示，優(yōu)化后的曝光序列與圖2中味精優(yōu)化的曝光序列相比明顯變少。此類多曝光優(yōu)化算法在保證合成的HDR圖像質(zhì)量的前提下，可有效減少當(dāng)前廣泛采用的包圍曝光方式捕獲圖像的數(shù)量，從而降低多曝光方式捕獲HDR場景的總捕獲時(shí)間，降低了合成的高動(dòng)態(tài)范圍圖像中可能出現(xiàn)的重影噪聲，同時(shí)節(jié)省了存儲(chǔ)空間，也間接提高了后期高動(dòng)態(tài)范圍圖像的合成效率[25]。因此，多曝光優(yōu)化算法對(duì)于HDR成像中包圍曝光圖像捕獲有很高的實(shí)用價(jià)值。

圖4　優(yōu)化后的曝光序列

4高動(dòng)態(tài)范圍圖像的合成

當(dāng)前合成HDR圖像的方式主要分為兩種：輻射亮度域合成和圖像域合成，如圖5所示。

圖5　HDR圖像合成的兩種方式

4.1輻射亮度域合成

合成HDR圖像較早實(shí)現(xiàn)的方式是在輻射亮度域的合成，這種方式需要依據(jù)成像設(shè)備的響應(yīng)函數(shù)來實(shí)現(xiàn)。成像設(shè)備的響應(yīng)函數(shù)表示入射到成像傳感器上的場景輻射亮度與成像設(shè)備記錄的像素值之間的關(guān)系，是HDR圖像合成的重要基礎(chǔ)，響應(yīng)函數(shù)的準(zhǔn)確度直接影響合成的HDR圖像的質(zhì)量以及記錄的亮度信息準(zhǔn)確度。文[4-6]最早提出了3種不同的相機(jī)響應(yīng)函數(shù)求解方法，為HDR成像奠定了基礎(chǔ)。在這些基礎(chǔ)上，文[26]充分考慮成像過程中各種噪聲的影響來計(jì)算CRF，并從噪聲概率統(tǒng)計(jì)角度設(shè)計(jì)權(quán)重圖譜，文[27]根據(jù)所有相機(jī)響應(yīng)共有的約束因子定義了相機(jī)響應(yīng)的理論空間(theoretical space)，通過收集201部相機(jī)的CRF創(chuàng)建CRF數(shù)據(jù)庫，結(jié)合相機(jī)響應(yīng)的理論空間約束因子與CRF數(shù)據(jù)庫建立了一個(gè)低維參數(shù)的相機(jī)響應(yīng)實(shí)驗(yàn)?zāi)Ｐ?，基于這個(gè)模型計(jì)算的CRF將更準(zhǔn)確。文[28]從一致性、精確性、魯棒性以及運(yùn)算效率等4方面對(duì)一些CRF計(jì)算方法進(jìn)行了評(píng)估[5-6,26-27]，評(píng)估結(jié)果表明：文[27]提出的算法精確度最高，文[6]提出的算法一致性最好，并且抗噪聲干擾能力也很強(qiáng)，文[5]提出的算法抗噪聲干擾能力最強(qiáng)。

獲得CRF后，根據(jù)CRF計(jì)算一組包圍曝光的LDR圖像相應(yīng)的亮度值，以像素點(diǎn)或像素塊為單位，對(duì)相同位置的單位亮度加權(quán)平均[1]171-182獲得最終的HDR圖像。

4.2圖像域合成

圖像域合成[29-30]方法以保留包圍曝光LDR圖像組里每一張中曝光最優(yōu)部分的方式，直接將多張圖像合成為一張圖像。合成的圖像保留了場景的細(xì)節(jié)信息，但損失了場景的動(dòng)態(tài)范圍。算法不需要計(jì)算CRF，而是直接對(duì)相同位置的像素加權(quán)平均獲得最終的HDR圖像，每張圖像對(duì)應(yīng)的權(quán)重圖譜決定了最終的感知特性。本質(zhì)上合成的這張HDR圖像相當(dāng)于HDR圖像色調(diào)映射后的LDR圖像。

如果需要場景的亮度信息，合成HDR圖像則只能采用輻射亮度域合成的方式，如果僅為了視覺上的辨識(shí)，兩種方式都可行，但采用圖像域合成的方式則計(jì)算效率更高。

5色調(diào)映射

HDR成像的最終目的是呈現(xiàn)真實(shí)世界的場景亮度感受給HVS，但當(dāng)前的普通顯示設(shè)備能呈現(xiàn)的動(dòng)態(tài)范圍不超過3個(gè)數(shù)量級(jí)，遠(yuǎn)不能完整顯示HDR內(nèi)容[31]。色調(diào)映射技術(shù)可以壓縮HDR圖像的動(dòng)態(tài)范圍同時(shí)保留最大可感知的細(xì)節(jié)信息，實(shí)現(xiàn)HDR內(nèi)容在普通顯示設(shè)備上的顯示。根據(jù)映射目的，可將色調(diào)映射算法分為3類[32]：(1) 視覺系統(tǒng)模擬器算子[33-34]：該類算子模擬HVS在不同環(huán)境下對(duì)可見光的感知屬性，實(shí)現(xiàn)感知上的真實(shí)性。(2) 場景重構(gòu)算子[35]：保留原始場景的信息，比如對(duì)比度、銳度以及顏色等。(3) 主觀質(zhì)量最優(yōu)[36]：依據(jù)藝術(shù)目的或主觀偏好映射HDR圖像。

根據(jù)采用的算法原理，色調(diào)映射算法可以分為4類[37]：(1) 全局映射算法[33,38]：采用同一個(gè)映射函數(shù)對(duì)HDR圖像中所有的像素值映射。該類方法復(fù)雜度低、運(yùn)算速度快且保持了全局對(duì)比度，但可處理的動(dòng)態(tài)范圍有限，可能會(huì)丟失高亮或者昏暗區(qū)域的細(xì)節(jié)信息。(2) 局部映射算法[39-40]：映射算法在像素空間上是變化的，算法中的參數(shù)根據(jù)HDR圖像局部信息做調(diào)整。該類方法能夠擴(kuò)展局部較小的對(duì)比度、縮減局部較大的對(duì)比度，做到很好保存細(xì)節(jié)信息，但其運(yùn)算復(fù)雜且耗時(shí)，且容易出現(xiàn)色偏，導(dǎo)致映射后的場景整體明暗不協(xié)調(diào)。(3) 分割算法[41-42]：HDR圖像被分割為許多子區(qū)域，不同的區(qū)域采用不同的映射算法。這類算法可以較好保存細(xì)節(jié)信息和對(duì)比度，但復(fù)雜度比較高。(4) 頻域/梯度域算子[43-44]：對(duì)HDR圖像的亮度圖(luminance)在梯度域進(jìn)行多尺度壓縮，再從壓縮后的梯度分布中恢復(fù)出新的亮度圖，從而實(shí)現(xiàn)了動(dòng)態(tài)范圍的壓縮，同時(shí)很好地保留了細(xì)節(jié)及邊緣信息，但可能會(huì)出現(xiàn)光暈效應(yīng)。

色調(diào)映射算法調(diào)整了HDR圖像中的對(duì)比度關(guān)系，映射后的LDR圖像中較好地保留了場景的細(xì)節(jié)和局部對(duì)比度信息，但往往會(huì)出現(xiàn)色貌(color appearance)的改變。有大量關(guān)于色調(diào)映射壓縮亮度動(dòng)態(tài)范圍的算法，但關(guān)于色彩信息的研究則較少。近些年來，研究人員希望能夠?qū)崿F(xiàn)壓縮動(dòng)態(tài)范圍的同時(shí)保持彩色信息不失真，這類技術(shù)主要介紹了如何在LDR圖像中重建HDR圖像的色貌。文[45]基于圖像色貌模型提出iCAM06算法，采用雙邊濾波器將HDR圖像分解為基本層和細(xì)節(jié)層，從而準(zhǔn)確預(yù)測圖像的復(fù)雜色貌，實(shí)現(xiàn)了圖像色貌的再現(xiàn)，在視覺感知上更加真實(shí)，但該算法校正參數(shù)多且運(yùn)算復(fù)雜度高。文[46]提出了一個(gè)全自動(dòng)色貌飽和校正算法，算法的輸入為兩張圖像：色調(diào)映射后的LDR圖像和原始的HDR圖像，利用HDR圖像中包含的原始飽和值和色度值來校正色調(diào)映射后的LDR圖像。該方法可以自動(dòng)校正色調(diào)映射后的圖像色貌，使映射后的圖像更加真實(shí)，且該方法可直接應(yīng)用于已有的色調(diào)映射方法。

為了對(duì)比不同映射算法之間差異性，文[47-50]基于精神物理學(xué)對(duì)色調(diào)映射算法做了相關(guān)測試，測試結(jié)果顯示，不同的色調(diào)映射算法在感知的不同方面有優(yōu)越性，但沒有一個(gè)算法能實(shí)現(xiàn)在感知的多個(gè)方面最優(yōu)?；谶@些評(píng)估，可以根據(jù)需要采用最合適的映射算法實(shí)現(xiàn)HDR內(nèi)容在LDR顯示媒介上的呈現(xiàn)。

6HDR成像的難點(diǎn)

HDR成像的難點(diǎn)分類如表1所示。當(dāng)目標(biāo)場景中不存在運(yùn)動(dòng)目標(biāo)時(shí)，單部成像設(shè)備多曝光的方法獲得的包圍曝光圖像可能會(huì)出現(xiàn)未對(duì)齊的問題，這種問題通常由相機(jī)抖動(dòng)引起，在不同的LDR圖像中出現(xiàn)全局運(yùn)動(dòng)，未對(duì)齊的包圍曝光圖像合成的HDR圖像會(huì)出現(xiàn)運(yùn)動(dòng)模糊問題，使用三腳架固定相機(jī)拍攝可以緩解這種問題。然而，當(dāng)場景中存在運(yùn)動(dòng)目標(biāo)時(shí)，合成的HDR圖像會(huì)發(fā)生同一個(gè)目標(biāo)出現(xiàn)在不同位置的情況，也就是鬼影[7]，如圖6所示。鬼影問題在這4種成像方法中都會(huì)遇到，是當(dāng)前HDR成像中的最大難題。

表1　HDR成像的難點(diǎn)分類

圖6　產(chǎn)生鬼影的原理

文[51]提出了一種包圍曝光圖像對(duì)齊的算法，其思想是首先計(jì)算相鄰圖像間的運(yùn)動(dòng)向量，基于向量對(duì)相鄰的圖像變形，兩兩實(shí)現(xiàn)對(duì)齊，但該算法對(duì)于全局運(yùn)動(dòng)大的情況會(huì)失效。文[52]提出的基于中值閾值位圖(median threshold bitmap, MTB)的對(duì)齊方法能夠準(zhǔn)確地對(duì)齊有輕微全局運(yùn)動(dòng)的一組包圍曝光圖像，且運(yùn)算效率高，許多HDR圖像合成軟件都采用此方法。

由于相機(jī)抖動(dòng)以及場景中存在運(yùn)動(dòng)目標(biāo)常常同時(shí)出現(xiàn)，因此許多算法的圖像對(duì)齊與鬼影去除是同步進(jìn)行的。近年來，研究者提出了不少的方法解決去鬼影問題[53-61]，大體上可分為兩類：鬼影檢測及去除[55,60]首先檢測出會(huì)產(chǎn)生鬼影的區(qū)域，然后根據(jù)檢測結(jié)果去除鬼影；直接去除鬼影[7,53]通過估算包圍曝光之間的相關(guān)性，在合成HDR圖像的同時(shí)去除鬼影。

6.1鬼影檢測及去除

大多數(shù)去鬼影的方法都是先檢測會(huì)產(chǎn)生鬼影的區(qū)域，然后對(duì)這些區(qū)域做去鬼影處理。通常，一組曝光圖像在全局上都對(duì)齊的情況下，鬼影檢測算法依據(jù)某些準(zhǔn)則判斷圖像組中相同像素坐標(biāo)或者塊坐標(biāo)位置上的色彩是否具有一致性，以此來確定會(huì)產(chǎn)生鬼影的區(qū)域。這些準(zhǔn)則包括計(jì)算LDR圖像對(duì)應(yīng)輻射亮度圖的方差圖譜(variance image, VI)[55]，LDR圖像對(duì)應(yīng)的輻射亮度圖兩兩之間的變化檢測(change detection)[60]，局部鄰域熵的差[55]，像素次序的關(guān)聯(lián)[62]，灰度域像素值直方圖的多級(jí)閾值[63]，屬于背景像素的概率[58-59]，不同曝光圖像相同坐標(biāo)位置像素值的相關(guān)性[64-65]，梯度方向之間的差[66]，不同曝光間像素關(guān)聯(lián)的中值位圖[67]等。

檢測到的鬼影將通過兩類方法去除[56]：1)去除鬼影同時(shí)保留一個(gè)曝光中的運(yùn)動(dòng)目標(biāo)[55,57]，這類方法參考圖像的選取依據(jù)飽和像素最少或者鬼影區(qū)域曝光最佳的準(zhǔn)則；2)徹底去除鬼影，不保留運(yùn)動(dòng)目標(biāo)[59,62]，這類方法適合運(yùn)動(dòng)目標(biāo)非常小的場景。

6.2直接去除鬼影

直接去除鬼影的方法首先將包圍曝光圖像對(duì)齊，然后應(yīng)用算法合成HDR圖像的同時(shí)去除鬼影。

文[51]基于梯度域的光流(optical flow)計(jì)算運(yùn)動(dòng)區(qū)域的運(yùn)動(dòng)向量，根據(jù)向量對(duì)相鄰幀的圖像做一致性的處理，達(dá)到去鬼影的目的，但該方法只適用于運(yùn)動(dòng)幅度非常小的場景。在文[51]的基礎(chǔ)上，文[68]提出了基于塊的運(yùn)動(dòng)估計(jì)方法來提高相鄰曝光間的一致性，同時(shí)根據(jù)色彩相似度優(yōu)化了飽和區(qū)域的運(yùn)動(dòng)向量，但得到的HDR圖像可能會(huì)出現(xiàn)塊效應(yīng)。文[54]提出了基于能量的光流方法實(shí)現(xiàn)圖像的對(duì)齊與鬼影去除，算法求得的密集位移域(dense displacement fields)可以表示任意復(fù)雜的運(yùn)動(dòng)，對(duì)于去鬼影有一定效果。但是，該方法對(duì)于運(yùn)動(dòng)幅度較大的目標(biāo)以及運(yùn)動(dòng)目標(biāo)遮擋過的背景HDR成像效果不好。文[7]提出一種基于塊的優(yōu)化算法合成HDR圖像的同時(shí)對(duì)齊了圖像也去除了鬼影。該方法將曝光等級(jí)處在中間的一張LDR圖像作為參考圖像，其他圖像基于塊與其對(duì)齊、合并，通過最小化一個(gè)基于塊的能量公式獲得局部最優(yōu)相似性，同時(shí)實(shí)現(xiàn)了LDR圖像對(duì)齊和HDR圖像的合成處理。由于選定了一張參考圖像，因此參考圖像的噪聲可能會(huì)傳播給最終的HDR圖像，該方法對(duì)被運(yùn)動(dòng)目標(biāo)遮擋過的HDR區(qū)域不能實(shí)現(xiàn)HDR成像。文[53]提出了一種先進(jìn)的自動(dòng)去鬼影方法，通過計(jì)算空間一致性和最小化的一個(gè)MRF類型的全局能量函數(shù)，獲得一組圖像中相同像素位置上具有一致性的彩色像素子集。然后，加權(quán)平均這個(gè)彩色像素子集合成HDR圖像。該算法不需要選擇參考圖像，也不需要對(duì)圖像背景建模，但不能恢復(fù)HDR的運(yùn)動(dòng)目標(biāo)的動(dòng)態(tài)范圍，還可能會(huì)發(fā)生運(yùn)動(dòng)目標(biāo)出現(xiàn)不完整或者多次出現(xiàn)的情況。文[69]構(gòu)造了一個(gè)求解最小秩的框架合成HDR圖像，場景背景表示為一個(gè)低秩矩陣，運(yùn)動(dòng)目標(biāo)表示為一個(gè)稀疏矩陣，在鬼影區(qū)域的相關(guān)物理約束條件下，鬼影檢測就相當(dāng)于低秩矩陣的填充問題。文[70]改進(jìn)了文[69]的算法，圖像未對(duì)齊、運(yùn)動(dòng)目標(biāo)、噪聲以及其他非線性的干擾因素都被當(dāng)做稀疏矩陣中的異常值，提出了一個(gè)秩最小求解算法，對(duì)齊圖像的同時(shí)去除了稀疏矩陣中的異常值。該方法可以在一個(gè)參考圖像上手動(dòng)標(biāo)出可能出現(xiàn)異常的區(qū)域，避免了在合成的HDR圖像中出現(xiàn)運(yùn)動(dòng)目標(biāo)重疊。

文[56]和文[71]對(duì)HDR成像中的去鬼影算法進(jìn)行了評(píng)估，結(jié)果顯示：對(duì)于某些特定場景這些算法都可能會(huì)失效，尤其對(duì)于存在復(fù)雜的非剛體運(yùn)動(dòng)目標(biāo)的場景、運(yùn)動(dòng)目標(biāo)與背景交界處出現(xiàn)高亮區(qū)域或陰影區(qū)域的場景以及運(yùn)動(dòng)目標(biāo)為HDR的場景，很難實(shí)現(xiàn)完全的無鬼影HDR成像。當(dāng)前，專門設(shè)計(jì)的HDR成像裝置可以減輕這些問題[11,13-14]，但也不能完全實(shí)現(xiàn)無鬼影的HDR成像。要實(shí)現(xiàn)無鬼影的HDR成像除了算法上的改進(jìn)還需要成像傳感器性能上的提高。

7研究趨勢(shì)

鬼影是阻礙HDR成像發(fā)展的一大難點(diǎn)，當(dāng)前提出的去鬼影算法主要是針對(duì)多曝光捕獲動(dòng)態(tài)場景的包圍曝光圖像而提出的，為了在源頭去除鬼影的影響，近些年有一些單次曝光捕獲包圍曝光圖像的方法被提出，該類方法可實(shí)現(xiàn)同步捕獲包圍曝光圖像，有效地避免了HDR圖像重建中鬼影的影響。單次曝光的方法主要分為單傳感器曝光和多傳感器單次同時(shí)曝光。

7.1單傳感器

由于單個(gè)傳感器空間上的多曝光是同步進(jìn)行，因此該類方法可有效避免鬼影。2000年，文[16]提出了類似于拜耳模式的色彩濾波陣列方法，通過在單個(gè)傳感器前放置光學(xué)掩膜實(shí)現(xiàn)空間域多曝光，從而實(shí)現(xiàn)HDR成像。圖7為該方法采用的光學(xué)掩膜，此光學(xué)掩膜以圖7右側(cè)的多曝光子像素為一個(gè)像素單元，子像素中不同的空間位置透光率不同，e3>e2>e1>e0。該方法可同時(shí)曝光捕獲一組包圍曝光圖像，對(duì)于動(dòng)態(tài)場景的HDR成像受鬼影影響小，但該方法犧牲了圖像分辨率，對(duì)于運(yùn)動(dòng)場景還會(huì)遇到運(yùn)動(dòng)模糊問題。

圖7　光學(xué)掩膜濾波陣列

2003年，文[19]提出了在時(shí)間域和空間域上自適應(yīng)調(diào)整曝光的HDR成像方法，如圖8所示。通過調(diào)整空間光調(diào)制器的透光率來避免傳感器像素出現(xiàn)飽和?？臻g域上不同空間位置的入射光亮度不同，根據(jù)入射光亮度調(diào)整空間光調(diào)制器不同空間位置的透光率實(shí)現(xiàn)成像傳感器在空間域上的曝光自適應(yīng)調(diào)整。在時(shí)間域上根據(jù)入射光的變化調(diào)整空間光調(diào)制器的透光率實(shí)現(xiàn)成像傳感器在時(shí)間域上的曝光自適應(yīng)調(diào)整，同時(shí)獲得透射率函數(shù)。根據(jù)透射率函數(shù)和捕獲的圖像數(shù)據(jù)恢復(fù)出HDR圖像。由于空間光調(diào)制器Tt+1時(shí)刻的透射率需要根據(jù)成像傳感器的前一時(shí)刻的反饋It來作為調(diào)整依據(jù)，因此該方法對(duì)于運(yùn)動(dòng)場景的HDR成像質(zhì)量不能保證。

圖8　時(shí)間域和空間域調(diào)整曝光的原理

設(shè)置不同的曝光時(shí)間或者在傳感器前放置透射率不同的濾鏡，實(shí)現(xiàn)包圍曝光，是當(dāng)前基于硬件擴(kuò)展方式實(shí)現(xiàn)HDR成像主要采取的策略。近些年來，研究者提出了其他基于硬件的策略實(shí)現(xiàn)HDR成像。2014年，文[22]通過編碼的電子快門(coded electronic shutter)以行變換曝光的方式實(shí)現(xiàn)單次曝光捕獲，如圖9所示。EFCS(electronic front curtain shutters)表示電子前簾快門，對(duì)該電子快門編碼，以不同行的電子快門開啟曝光的時(shí)間起點(diǎn)不同曝光的終止時(shí)間相同的方式實(shí)現(xiàn)傳感器每行不同曝光，然后從捕獲的單張圖像中恢復(fù)出包圍曝光圖像。MRCS(mechanical rear curtain shutter)表示機(jī)械后簾快門，該快門用于終止傳感器曝光。由于傳感器行之間的曝光量是通過曝光時(shí)間的長短來實(shí)現(xiàn)的，因此存在曝光不同步的問題，對(duì)于運(yùn)動(dòng)的目標(biāo)可能會(huì)出現(xiàn)局部鬼影問題，該方法還會(huì)損失圖像分辨率，難以保證圖像的銳度，且該方法的運(yùn)算效率還有待提高。

圖9　以行變換的電子快門曝光

隨著計(jì)算攝像學(xué)(computational photography)的發(fā)展，科研人員提出了一些有關(guān)HDR成像的理論框架。2014年，文[21]提出了一個(gè)基于編碼的光圈(coded aperture)同時(shí)捕獲多個(gè)不同曝光的HDR成像理論框架，如圖10(a)所示。所謂光圈編碼，是指將光圈設(shè)計(jì)成特殊的圖案而不是現(xiàn)在普遍使用的圓形或者正六面形光圈，編碼的光圈就是有特殊圖案的一個(gè)光學(xué)遮罩。編碼的光圈可分解為N個(gè)不同的子光圈，每個(gè)子光圈實(shí)現(xiàn)不同的曝光，從而實(shí)現(xiàn)場景包圍曝光圖像的捕獲，如圖10(b)所示。該框架根據(jù)編碼的光圈對(duì)應(yīng)的解碼濾波算法將捕獲的單張RAW格式圖像分解為N張不同曝光的圖像。但是，當(dāng)捕獲的RAW格式圖像中出現(xiàn)飽和像素時(shí)，該方法則無法準(zhǔn)確恢復(fù)出飽和像素所對(duì)應(yīng)的包圍曝光像素點(diǎn)。

(a) 成像系統(tǒng)示意

(b) 編碼的光圈分解示意

2015年，文[72]提出了一種采用取模相機(jī)(Modulo Camera)實(shí)現(xiàn)無限制的高動(dòng)態(tài)范圍(Unbounded High Dynamic Range，UHDR)成像框架，其核心思想為：在整個(gè)曝光過程中，當(dāng)傳感器像素單元飽和時(shí)將飽和的像素單元清零(重置)，像素單元可繼續(xù)接收入射光，如果入射光亮度很高，則可能會(huì)進(jìn)行多次清零。曝光結(jié)束后，最終獲得的圖像記錄的是取模后的像素值，由于取模相機(jī)對(duì)光的響應(yīng)是線性的，因此不需要計(jì)算相機(jī)響應(yīng)函數(shù)，直接根據(jù)能量優(yōu)化算法和自然圖像的屬性就能恢復(fù)HDR圖像。圖11(a)是該相機(jī)捕獲的取模圖像，可以看出在高亮的區(qū)域有條紋紋理，這些條紋紋理都是由于像素單元飽和后取模的結(jié)果；圖11(b)是由取模圖像恢復(fù)的HDR圖像色調(diào)映射后的結(jié)果。由于不知道傳感器清零的次數(shù)，提出的算法對(duì)于亮度平滑變化的場景能夠很好的恢復(fù)場景的HDR圖像，但對(duì)于存在局部對(duì)比度變化劇烈的場景則不能準(zhǔn)確恢復(fù)場景的HDR圖像，針對(duì)該問題又提出了多曝光的UDHR成像方法，此方法能以最少的曝光次數(shù)捕獲場景的HDR圖像?？偟膩碚f，文[72]提出了一個(gè)新穎的HDR成像思路，為HDR成像發(fā)展提供了更多選擇。

圖11　取模圖像與恢復(fù)圖像

與上述通過硬件方式單次曝光擴(kuò)展動(dòng)態(tài)范圍的方法不同，2015年，文[73]提出了基于軟件控制的方法單次曝光擴(kuò)展動(dòng)態(tài)范圍。該方法以空間上兩行交替變化成像傳感器增益(感光度ISO)的方式捕獲了一張混合的RAW格式圖像，如圖12所示。通過對(duì)捕獲的RAW格式圖像進(jìn)行自適應(yīng)調(diào)節(jié)濾波實(shí)現(xiàn)HDR圖像的重構(gòu)。與硬件擴(kuò)展動(dòng)態(tài)范圍的方法相比，該方法不需要昂貴的專用硬件，也不需要復(fù)雜的設(shè)計(jì)以及傳感器之間精準(zhǔn)的幾何校正，只需要在Cannon單反相機(jī)中安裝Magic Lantern固件，就能以空間上兩行交替變化成像傳感器增益的方式捕獲一張混合的RAW格式圖像，再通過文[73]提出的HDR圖像重構(gòu)算法即可獲得HDR圖像。

圖12　變換感光度的成像模式

7.2多傳感器

利用光學(xué)元件(如分光器或分光棱鏡)將入射光分向多個(gè)同步的成像傳感器實(shí)現(xiàn)動(dòng)態(tài)范圍擴(kuò)展。成像傳感器曝光量的調(diào)整可通過在傳感器前放置不同透光率的光學(xué)濾鏡(中性灰度濾鏡，Neutral density filter，NDF)或者設(shè)置不同的傳感器感光度實(shí)現(xiàn)。此類多傳感器或多相機(jī)單次曝光指多傳感器或者相機(jī)以相同曝光時(shí)間或快門速度同時(shí)曝光。曝光時(shí)間或快門速度相同的傳感器或相機(jī)捕獲的包圍曝光圖像在后期處理時(shí)可有效避免鬼影。

2011年，文[10]在相機(jī)鏡頭與傳感器之間的不同空間位置上放置了兩個(gè)分光器，通過多次反射實(shí)現(xiàn)光路再利用，提高光的使用效率，如圖13所示。對(duì)成像設(shè)備而言，入射光的利用效率至關(guān)重要。理論上，該方法對(duì)進(jìn)入光圈后的光利用率可達(dá)99.96%，遠(yuǎn)高于其他類似的多傳感器HDR成像方法。不過，一旦分光器的透光率確定，該系統(tǒng)的曝光組合將隨之確定，系統(tǒng)靈活性不夠。

圖13　3傳感器成像結(jié)構(gòu)

2014年，文[74]采用兩部Arri ALEXA相機(jī)以圖14的構(gòu)造方式實(shí)現(xiàn)HDR視頻捕獲。將帶抗反射涂層的玻璃板作為分光器，分光器的透射率為94%、反射率為6%，從而實(shí)現(xiàn)擴(kuò)展4 f-stops的動(dòng)態(tài)范圍。與文[10]方法不同，文[74]將分光器的放置位置由相機(jī)鏡頭與傳感器之間變?yōu)橄鄼C(jī)鏡頭前，該方法最明顯的優(yōu)勢(shì)就是不需要復(fù)雜的硬件設(shè)計(jì)，同時(shí)可靈活改變分光器的透光率，實(shí)現(xiàn)靈活調(diào)整曝光。但是，該成像系統(tǒng)也有以下幾點(diǎn)不足：整個(gè)成像系統(tǒng)比較笨重；分光器面積較大導(dǎo)致該系統(tǒng)受雜散光和鏡頭光暈干擾；分光器還會(huì)導(dǎo)致最后捕獲的高亮場景圖像中出現(xiàn)雙輪廓(double contours)；分光器還會(huì)導(dǎo)致光的偏振等；由于只采用了兩部相機(jī)，該系統(tǒng)可捕獲的最大動(dòng)態(tài)范圍約18 f-stops(約2.6×105)，還無法捕獲高度逆光場景的整個(gè)動(dòng)態(tài)范圍。

圖14　雙相機(jī)成像的垂直結(jié)構(gòu)

文[9，11]設(shè)計(jì)了多傳感器的HDR成像系統(tǒng)，原理如圖15所示。采用分光器將入射光四等分，分別入射到每個(gè)傳感器上，傳感器之間曝光的調(diào)整可通過在傳感器前放置不同透光率的中性灰度濾鏡，該方法捕獲的動(dòng)態(tài)范圍很廣，可達(dá)24 f-stops(約1.68×107)。但是，該方法的不足主要有：光的利用率比較低，利用率僅為33.2%，由于光的利用率低也導(dǎo)致對(duì)場景的昏暗區(qū)域成像質(zhì)量難易保證。

圖15　4傳感器成像結(jié)構(gòu)

利用分光器將入射光分向不同相機(jī)的方式對(duì)光的利用率較低[74]，2014年，文[13]提出一種雙部相機(jī)空間域包圍曝光方法，以求充分利用入射光，如圖16所示。在相機(jī)鏡頭前安置NDF，實(shí)現(xiàn)兩部相機(jī)的曝光量調(diào)整，保證場景曝光同步，可緩解合成HDR圖像時(shí)的鬼影問題。該方法的難點(diǎn)在于對(duì)兩部相機(jī)拍攝圖像的精確配準(zhǔn)，亦即視差估計(jì)(disparity estimation)，或稱視差校正。

圖16 雙部相機(jī)平行結(jié)構(gòu)

文[14]針對(duì)雙部相機(jī)可能會(huì)遇到的遮擋(Occlusion)問題,提出了類似于文[13]的三部相機(jī)HDR成像方案，該方案可有效解決遮擋問題，如圖17所示，同時(shí)可提高圖像的視差估計(jì)的準(zhǔn)確度，合成的圖像質(zhì)量也優(yōu)于兩部相機(jī)的結(jié)果。

圖17　3部相機(jī)平行結(jié)構(gòu)

8結(jié)語

詳細(xì)論述了目前HDR成像技術(shù)的發(fā)展?fàn)顩r，對(duì)HDR成像技術(shù)取得的成果以及HDR成像技術(shù)的發(fā)展趨勢(shì)做了討論總結(jié)。靜態(tài)場景的HDR成像以及色調(diào)映射技術(shù)已逐漸成熟，但動(dòng)態(tài)場景的HDR成像到目前為止還有許多挑戰(zhàn)。隨著近些年HDR成像技術(shù)的發(fā)展，HDR成像已經(jīng)逐漸走進(jìn)大眾視野，可以預(yù)知，HDR成像將會(huì)在成像領(lǐng)域給人類帶來更震撼的視覺體驗(yàn)。就像在視覺感受上人類經(jīng)歷了從灰度圖像到彩色圖像的跨越，從低分辨率圖像到高分辨率圖像的跨越以及2D到3D的跨越，從LDR圖像到HDR圖像也會(huì)給人類在視覺感受上帶來同樣的跨越，但要實(shí)現(xiàn)大眾普及，研究人員仍有大量的難點(diǎn)需要突破。

參考文獻(xiàn)

[1]REINHARD E, HEIDRICH W, DEBEVEC P, et al. High dynamic range imaging: acquisition, display, and image-based lighting[M/OL]. 2nd ed. San Mateo: Morgan Kaufmann, 2010:1-594[2015-11-22]. http://www.doc88.com/p-0019918551381.html.

[2]DXOMARK. DxOMark Sensor scores[EB/OL].[2015-11-22].http://www.dxomark.com/About/Sensor-scores/Use-Case-Scores.

[3]Photographer: Gustave Le Gray[EB/OL].[2015-11-22].http://www.getty.edu/art/exhibitions/le_gray/index.html.

[4]MANN S, PICARD R W. On being “undigital” with digital cameras: Extending Dynamic Range by Combining Differently Exposed Pictures[C/OL]// Proceedings of IS&T 48th Annual Conference. Washington:Society for Imaging Science and Technology, 1995:442-448[2015-11-22]. http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.21.3141.

[5]DEBEVEC P E, MALIK J. Recovering High Dynamic Range Radiance Maps from Photographs[C/OL]//Proceedings of the 24th Annual Conference on Computer Graphics and Interactive Techniques. Los Angeles: ACM, 1997:369-378[2015-11-22]. http://dl.acm.org/citation.cfm?doid=1401132.1401174.DOI:10.1145/1401132.1401174.

[6]MITSUNAGA T, NAYAR S K. Radiometric self calibration[C/OL]//IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Fort Collins: IEEE, 1999,1:374-380[2015-11-22]. http://ieeexplore.ieee.org/xpls/abs_all.jsp?arnumber=786966&tag=1.DOI:10.1109/CVPR.1999.786966.

[7]SEN P, KALANTARI N K, YAESOUBI M, et al. Robust patch-based HDR reconstruction of dynamic scenes[J/OL]. ACM Transactions on Graphics, 2012, 31(6):203[2015-11-22]. http://dl.acm.org/citation.cfm?id=2366222.DOI:10.1145/2366145.2366222.

[8]KALANTARI N K, SHECHTMAN E, BARNES C, et al. Patch-based high dynamic range video[J/OL]. ACM Transactions on Graphics, 2013, 32(6):202[2015-11-22]. http://dl.acm.org/citation.cfm?doid=2508363.2508402.DOI:10.1145/2508363.2508402.

[9]KRONANDER J, GUSTAVSON S, BONNET G, et al. A unified framework for multi-sensor HDR video reconstruction[J/OL]. Signal Processing: Image Communication, 2014, 29(2):203-215[2015-11-22]. http://www.sciencedirect.com/science/article/pii/S0923596513001355.DOI:10.1016/j.image.2013.08.018.

[10] TOCCI M D, KISER C, TOCCI N, et al. A versatile HDR video production system[J/OL]ACM Transactions on Graphics, 2011,30(4):41[2015-11-22]. http://dl.acm.org/citation.cfm?doid=2010324.1964936.DOI:10.1145/2010324.1964936.

[11] KRONANDER J, GUSTAVSON S, BONNET G, et al. Unified HDR reconstruction from raw CFA data[C/OL]//IEEE International Conference on Computational Photography. Cambridge :IEEE, 2013:1-9[2015-11-22]. http://ieeexplore.ieee.org/xpl/articleDetails.jsp?arnumber=6853818.DOI:10.1109/ICASSP.2014.6853818.

[12] SUN N, MANSOUR H, WARD R. HDR image construction from multi-exposed stereo LDR images[C/OL]//IEEE International Conference on Image Processing. Hong Kong:2010:2973-2976[2015-11-22]. http://ieeexplore.ieee.org/xpl/articleDetails.jsp?arnumber=5653371.DOI:10.1109/ICIP.2010.5653371.

[13] BATZ M, RICHTER T, GARBAS J-U, et al. High dynamic range video reconstruction from a stereo camera setup[J/OL]. Signal Processing: Image Communication, 2014, 29(2):191-202[2015-11-22]. http://www.sciencedirect.com/science/article/pii/S0923596513001331.DOI:10.1016/j.image.2013.08.016.

[14] KEINERT J, WETZEL M, SCHOBERT M, et al. Cost-Effective Multi-Camera Array for High Quality Video with Very High Dynamic Range[J/OL]. Digital Photography X, 2014, 9023(1):1-15[2015-11-22]. http://proceedings.spiedigitallibrary.org/proceeding.aspx?articleid=1844626.DOI:10.1117/12.2039563

[15] LEE B, SONG B C. Multi-image high dynamic range algorithm using a hybrid camera[J/OL]. Signal Processing: Image Communication, 2015, 30:37-56[2015-11-22]. http://www.sciencedirect.com/science/article/pii/S092359651400160X.DOI:10.1016/j.image.2014.11.002.

[16] NAYAR S K, MITSUNAGA T. High dynamic range imaging: spatially varying pixel exposures[C/OL]//IEEE Conference on Computer Vision and Pattern Recognition. Hilton Head Island: IEEE, 2000:472-479[2015-11-22]. http://ieeexplore.ieee.org/xpl/articleDetails.jsp?arnumber=855857.DOI:10.1109/CVPR.2000.855857

[17] CHENG H-Y, CHOUBEY B, COLLINS S. A high-dynamic-range integrating pixel with an adaptive logarithmic response[J/OL]. Photonics Technology Letters, 2007, 19(15):1169-1171[2015-11-22]. http://ieeexplore.ieee.org/xpl/freeabs_all.jsp?arnumber=4268351.DOI:10.1109/LPT.2007.901466.

[18] AGUERREBERE C, ALMANSA A, GOUSSEAU Y, et al. Single shot high dynamic range imaging using piecewise linear estimators[C/OL]//IEEE International Conference on Computational Photography. Santa Clara: IEEE, 2014:1-10[2015-11-22]. http://ieeexplore.ieee.org/xpl/articleDetails.jsp?arnumber=6831807.DOI:10.1109/ICCPHOT.2014.6831807.

[19] BNAYAR S K, BRANZOI V. Adaptive dynamic range imaging: Optical control of pixel exposures over space and time[C/OL]//IEEE International Conference on Computer Vision. Nice: IEEE, 2003:1168-1175[2015-11-22]. http://ieeexplore.ieee.org/xpl/articleDetails.jsp?arnumber=1238624.DOI:10.1109/ICCV.2003.1238624.

[20] HAJSHARIF S, KRONANDER J, UNGER J. HDR reconstruction for alternating gain (ISO) sensor readout[C/OL]// Eurographics 2014-Short Papers. Strasbourg: The Eurographics Association ,2014[2015-11-22]. http://www.diva-portal.org/smash/record.jsf?pid=diva2%3A700103&dswid=-7045.

[21] TEIXEIRA R, AIZAWA K. Simultaneous acquisition of multiple images with higher dynamic range[C/OL]//IEEE International Conference on Acoustics, Speech and Signal Processing. Florence :IEEE, 2014:1355-1359[2015-11-22]. http://ieeexplore.ieee.org/xpl/articleDetails.jsp?arnumber=6853818.DOI:10.1109/ICASSP.2014.6853818.

[22] CHO H, KIM S J, LEE S. Single-shot High Dynamic Range Imaging Using Coded Electronic Shutter[J/OL]. Computer Graphics Forum, 2014, 33(7):329-338[2015-11-22]. http://onlinelibrary.wiley.com/doi/10.1111/cgf.12501/full.DOI:10.1111/cgf.12501.

[23] GGOSSBERG M D, NAYAR S K. High dynamic range from multiple images: Which exposures to combine[C/OL]// Proceedings of the ICCV Workshop on Color and Photometric Methods in Computer Vision (CPMCV). Nice: IEEE Computer Society, 2003, 3(3) [2015-11-22]. http://citeseer.ist.psu.edu/viewdoc/summary?doi=10.1.1.123.3522.

[24] BARAKAT N, HONE A N, DARCIE T E. Minimal-bracketing sets for high-dynamic-range image capture[J/OL]. IEEE Transactions on Image Processing, 2008, 17(10):1864-1875[2015-11-22]. http://ieeexplore.ieee.org/xpls/icp.jsp?arnumber=4623179. DOI: 10.1109/TIP.2008.2001414.

[25] 白本督, 范九倫. 高動(dòng)態(tài)范圍成像最小包圍曝光方法[J/OL]. 西安郵電大學(xué)學(xué)報(bào), 2015, 20(5): 43-47[2015-11-22].http://dx.chinadoi.cn/10.13682/j.issn.2095-6533.2015.05.008.

[26] ROBERTSON M A, BORMAN S, STEVENSON R L. Estimation-theoretic approach to dynamic range enhancement using multiple exposures[J/OL]. Journal of Electronic Imaging, 2003, 12(2):219-228[2015-11-22]. http://electronicimaging.spiedigitallibrary.org/article.aspx?articleid=1097956.DOI:10.1117/1.1557695.

[27] GROSSBERG M D, NAYAR S K. Modeling the space of camera response functions[J/OL].IEEE Transactions on Pattern Analysis and Machine Intelligence,2004, 26(10):1272-1282[2015-11-22]. http://ieeexplore.ieee.org/xpl/articleDetails.jsp?arnumber=1323796.DOI:10.1109/TPAMI.2004.88.

[28] AKYUZ A O, GENCTAV A. A reality check for radiometric camera response recovery algorithms[J/OL]. Computers & Graphics, 2013, 37(7):935-943[2015-11-22]. http://www.sciencedirect.com/science/article/pii/S0097849313001015.DOI:10.1016/j.cag.2013.06.003.

[29] MERTENS T, KAUTZ J, VAN REETH F. Exposure fusion:A simple and practical alternative to high dynamic range photography[J/OL]. Computer Graphics Forum, 2009, 28(1):161-171[2015-11-22]. http://onlinelibrary.wiley.com/doi/10.1111/j.1467-8659.2008.01171.x/full.DOI:10.1111/j.1467-8659.2008.01171.x.

[30] ZHANG W, CHAM W-K. Gradient-directed composition of multi-exposure images[C/OL]//IEEE Conference on Computer Vision and Pattern Recognition. San Francisco: IEEE, 2010:530-536[2015-11-22]. http://ieeexplore.ieee.org/xpls/abs_all.jsp?arnumber=5540168.DOI:10.1109/CVPR.2010.5540168.

[31] SEETZEN H, WARD G, WHITEHEAD L, et al. High Dynamic Range Display Systems[J/OL]. ACM Transactions on Graphics, 2004, 23(3):757-765[2015-11-22]. http://dl.acm.org/citation.cfm?id=1015797.DOI:10.1145/1015706.1015797.

[32] EILERTSEN G, WANAT R, MANTIUK R K, et al. Evaluation of Tone Mapping Operators for HDR-Video[J/OL]. Computer Graphics Forum, 2013, 32(7):275-284[2015-11-22]. http://onlinelibrary.wiley.com/doi/10.1111/cgf.12235/full.DOI:10.1111/cgf.12235.

[33] PATTANAIK S N, TUMBLIN J, YEE H, et al. Time-dependent visual adaptation for fast realistic image display[C/OL]// SIGGRAPH’00 Proceedings of the 27th Annual Conference on Computer Graphics and Interactive Techniques. New Orleans: ACM, 2000:47-54[2015-11-22]. http://dl.acm.org/citation.cfm?id=344810. 10.1145/344779.344810.

[34] CYRIAC P, BERTALMIO M, KANE D, et al. A tone mapping operator based on neural and psychophysical models of visual perception[C/OL]//Proceedings of SPIE 9394, Human Vision and Electronic Imaging XX. San Francisco :SPIE, 2015: 93941I-93941I-10[2015-11-22]. http://proceedings.spiedigitallibrary.org/proceeding.aspx?articleid=2209754.DOI:10.1117/12.2081212.

[35] DALY S, MANTIUK R, KEROFSKY L. Display adaptive tone mapping[J/OL]. ACM Transactions on Graphics, 2008, 27(3):68[2015-11-22]. http://dl.acm.org/citation.cfm?doid=1360612.1360667.DOI:10.1145/1360612.1360667.

[36] AKYUZ A O, HADIMLI K, AYDINLILAR M, et al. Style-based tone mapping for HDR images[C/OL]//Proceedings of SIGGRAPH Asia 2013 Technical Briefs. Hong Kong :ACM, 2013: Article 23[2015-11-22]. http://dl.acm.org/citation.cfm?id=2542384.DOI: 10.1145/2542355.2542384.

[37] BANTERLE F, ARTUSI A, Debattista K, et al. Advanced high dynamic range imaging :theory and practice[M/OL]. Natick:CRC Press, 2011: 33-113[2015-11-22].http://dl.acm.org/citation.cfm?id=1996408.

[38] DRAGO F, MYSZKOWSKI K, ANNEN T, et al. Adaptive logarithmic mapping for displaying high contrast scenes[J/OL].Computer Graphics Forum, 2003, 22(3):419-426[2015-11-22]. http://onlinelibrary.wiley.com/doi/10.1111/1467-8659.00689/pdf.

[39] REINHARD E, STARK M, SHIRLEY P, et al. Photographic tone reproduction for digital images[J/OL]. ACM Transactions on Graphics, 2002, 21(3):267-276[2015-11-22]. http://dl.acm.org/citation.cfm?doid=566654.566575.DOI:10.1145/566654.566575.

[40] ASHIKHMIN M. A tone mapping algorithm for high contrast images[C/OL]//Proceedings of the 13th Eurographics workshop on Rendering. Pisa: Eurographics Association, 2002:145-156[2015-11-22]. http://citeseer.ist.psu.edu/viewdoc/summary?doi=10.1.1.18.7977.DOI:10.2312/EGWR/EGWR02/145-156.

[41] YEE Y H, PATTANAIK S. Segmentation and adaptive assimilation for detail-preserving display of high-dynamic range images[J/OL]. The Visual Computer, 2003, 19(7):457-466[2015-11-22]. http://link.springer.com/article/10.1007/s00371-003-0211-5.

[42] LISCHINSKI D, FARBMAN Z, UYTTENDAELE M, et al. Interactive local adjustment of tonal values[J/OL]. ACM Transactions on Graphics, 2006, 25(3):646-653[2015-11-22]. http://dl.acm.org/citation.cfm?doid=1141911.1141936.DOI:10.1145/1141911.1141936.

[43] FATTAI R, LISCHINSKI D, WERMAN M. Gradient domain high dynamic range compression[J/OL]. ACM Transactions on Graphics, 2002, 21(3):249-256[2015-11-22]. http://dl.acm.org/citation.cfm?doid=566654.566573.DOI:10.1145/566654.566573.

[44] CHOUDHURY P, TUMBLIN J. The trilateral filter for high contrast images and meshes[C/OL]//Proceedings of the 14th Eurographics Workshop on Rendering Techniques. Leuven :The Eurographics Association, 2003:1-11[2015-11-22]. http://dl.acm.org/citation.cfm?id=1198565.DOI:10.1145/1198555.1198565.

[45] KUANG J, JOHNSON G M, FAIRCHILD M D. iCAM06: A refined image appearance model for HDR image rendering[J/OL]. Journal of Visual Communication & Image Representation, 2007, 18(5): 406-414[2015-11-22]. http://www.sciencedirect.com/science/article/pii/S1047320307000533.DOI:10.1016/j.jvcir.2007.06.003.

[46] POULI T, ARTUSI A, BANTERLE F, et al. Color correction for tone reproduction[C/OL]//21st Color and Imaging Conference. Albuquerque : Society for Imaging Science and Technology , 2013, 2013(1): 215-220. [2015-11-22]. https://www.researchgate.net/publication/257929785_Color_Correction_for_Tone_Reproduction.

[47] AKYUZ A O, FLEMING R, RIECKE B E, et al. Do HDR displays support LDR content?:a psychophysical evaluation[J/OL]. ACM Transactions on Graphics, 2007,26(3):38[2015-11-22]. http://dl.acm.org/citation.cfm?doid=1276377.1276425.DOI:10.1145/1276377.1276425.

[48] LEDDA P, CHALMERS A, TROSCIANKO T, et al. Evaluation of tone mapping operators using a high dynamic range display[J/OL]. ACM Transactions on Graphics, 2005, 24(3):640-648[2015-11-22]. http://dl.acm.org/citation.cfm?doid=1073204.1073242.DOI:10.1145/1073204.1073242.

[49] CAKIK M, WIMMER M, NEUMANN L, et al. Evaluation of HDR tone mapping methods using essential perceptual attributes[J/OL]. Computers & Graphics, 2008, 32(3):330-349[2015-11-22]. http://www.sciencedirect.com/science/article/pii/S0097849308000460.DOI:10.1016/j.cag.2008.04.003.

[50] YOSHIDA A, BLANZ V, MYSZKOWSKI K, et al. Perceptual evaluation of tone mapping operators with real-world scenes[C/OL]//Proceedings of SPIE 5666, Human Vision and Electronic Imaging X. San Jose :SPIE, 2005:192-203[2015-11-22]. http://proceedings.spiedigitallibrary.org/proceeding.aspx?articleid=857715.DOI:10.1117/12.587782.

[51] KANG S B, UYTTENDAELE M, WINDER S, et al. High dynamic range video[J/OL]. ACM Transactions on Graphics, 2003, 22(3):319-325[2015-11-22]. http://dl.acm.org/citation.cfm?doid=882262.882270.DOI:10.1109/MCG.2008.23.

[52] WARD G. Fast, robust image registration for compositing high dynamic range photographs from hand-held exposures[J/OL]. Journal of Graphics Tools, 2003, 8(2):17-30[2015-11-22]. http://www.tandfonline.com/doi/abs/10.1080/10867651.2003.10487583.

[53] GRANADOS M, KIM K I, TOMPKIN J, et al. Automatic noise modeling for ghost-free HDR reconstruction[J/OL]. ACM Transactions on Graphics, 2013, 32(6):201[2015-11-22]. http://dl.acm.org/citation.cfm?doid=2508363.2508410.DOI:10.1145/2508363.2508410.

[54] ZIMMER H, BRUHN A, WEICKERT J. Freehand HDR imaging of moving scenes with simultaneous resolution enhancement[J/OL].Computer Graphics Forum, 2011, 30(2):405-414[2015-11-22]. http://onlinelibrary.wiley.com/doi/10.1111/j.1467-8659.2011.01870.x/full.

[55] JACOBS K, LOSCOS C, WARD G. Automatic high-dynamic range image generation for dynamic scenes[J/OL]. IEEE Computer Graphics and Applications, 2008, 28(2):84-93[2015-11-22]. http://ieeexplore.ieee.org/xpl/articleDetails.jsp?arnumber=4459868.DOI:10.1109/MCG.2008.23.

[56] SRIKANTHA A, SIDIBE D. Ghost detection and removal for high dynamic range images: Recent advances[J/OL]. Signal Processing: Image Communication, 2012, 27(6):650-662[2015-11-22]. http://www.sciencedirect.com/science/article/pii/S0923596512000306.DOI:10.1016/j.image.2012.02.001.

[57] GROSCH T. Fast and robust high dynamic range image generation with camera and object movement[C/OL]//Proceedings of Vision, Modeling and Visualization. Aachen :IOS Press, 2006:277-284[2015-11-22]. http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.546.8488.

[58] KHAN E A, AKYIIZ A, REINHARD E. Ghost removal in high dynamic range images[C/OL]//IEEE International Conference on Image Processing. Atlanta: IEEE, 2006:2005-2008[2015-11-22]. http://ieeexplore.ieee.org/xpl/articleDetails.jsp?arnumber=4106952.DOI:10.1109/ICIP.2006.312892.

[59] PEDONE M, HEIKKILA J. Constrain propagation for ghost removal in high dynamic range images[C/OL]//International Conference on Computer Vision Theory and Applications. Funchal: INSTICC, 2008:36-41[2015-11-22]. http://www.ee.oulu.fi/research/imag/mvg/files/pdf/cpgr_paper-1.pdf.

[60] SILK S, LANG J. Fast high dynamic range image deghosting for arbitrary scene motion[C/OL]//Graphics Interface. Toronto: ACM, 2012:85-92[2015-11-22]. http://dl.acm.org/citation.cfm?id=2305291.

[61] LEE D K, PARK R H, CHANG S. Ghost and noise removal in exposure fusion for high dynamic range imaging[J/OL]. International Journal of Computer Graphics & Animation, 2014, 4(4):1-18[2015-11-22]. http://www.airccse.org/journal/ijcga/papers/4414ijcga01.pdf.DOI:10.5121/ijcga.2014.4401.

[62] SIDIBE D, PUECH W, STRAUSS O. Ghost detection and removal in high dynamic range images[C/OL]//2009 17th European Signal Processing Conference. Glasgow: IEEE, 2009:2240-2244[2015-11-22]. http://ieeexplore.ieee.org/xpls/abs_all.jsp?arnumber=7077430&tag=1.

[63] MIN T H, PARK R H, CHANG S. Histogram based ghost removal in high dynamic range images[C/OL]//IEEE International Conference on Multimedia and Expo. New York: IEEE, 2009:530-533[2015-11-22]. http://ieeexplore.ieee.org/xpl/articleDetails.jsp?arnumber=5202550.DOI:10.1109/ICME.2009.5202550.

[64] GALLO O, GELFAND N, CHEN W-C, et al. Artifact-free high dynamic range imaging[C/OL]//IEEE International Conference on Computational Photography. San Francisco: IEEE, 2009:1-7[2015-11-22][2015-11-22]. http://ieeexplore.ieee.org/xpl/articleDetails.jsp?arnumber=5559003.

[65] RAMAN S, CHAUDHURI S. Bottom-up segmentation for ghost-free reconstruction of a dynamic scene from multi-exposure images[C/OL]//Proceedings of the Seventh Indian Conference on Computer Vision, Graphics and Image Processing. Chennai: ACM, 2010:56-63[2015-11-22]. http://dl.acm.org/citation.cfm?doid=1924559.1924567.DOI:10.1145/1924559.1924567.

[66] ZHANG W, CHAM W-K. Gradient-directed multiexposure composition[J/OL]. IEEE Transactions on Image Processing, 2012, 21(4):2318-2323[2015-11-22]. http://ieeexplore.ieee.org/xpl/articleDetails.jsp?arnumber=6030938.DOI:10.1109/TIP.2011.2170079.

[67] PECE F, KAUTZ J. Bitmap movement detection: HDR for dynamic scenes[C/OL]//Proceedings of Conference on Visual Media Production. London: IEEE, 2010:1-8[2015-11-22]. http://ieeexplore.ieee.org/xpl/articleDetails.jsp?arnumber=5693088.DOI:10.1109/CVMP.2010.8.

[68] MANGIAT S, GIBSON J. High dynamic range video with ghost removal[C/OL]//Proceedings of SPIE 7798, Applications of Digital Image Processing XXXII. San Diego: SPIE, 2010,7798:1-8[2015-11-22]. http://proceedings.spiedigitallibrary.org/proceeding.aspx?articleid=754702.DOI:10.1117/12.862492.

[69] LEE C, LI Y, MONGA V. Ghost-Free High Dynamic Range Imaging via Rank Minimization[J/OL]. IEEE Signal Processing Letters, 2014, 21:1045-1049[2015-11-22]. http://ieeexplore.ieee.org/xpl/articleDetails.jsp?arnumber=6814772.DOI:10.1109/LSP.2014.2323404.

[70] OH T, LEE J, TAI Y, et al. Robust High Dynamic Range Imaging by Rank Minimization[J/OL]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2014，37(6):1219-1232[2015-11-22]. http://ieeexplore.ieee.org/xpl/articleDetails.jsp?arnumber=6915885.DOI:10.1109/TPAMI.2014.2361338.

[71] HADZIABDIC K K, TELALOVIC J H, MANTIUK R. Comparison of Deghosting Algorithms for Multi-exposure High Dynamic Range Imaging[C/OL]//Proceedings of the 29th Spring Conference on Computer Graphics. Smolenice: ACM, 2013:21-28[2015-11-22]. http://dl.acm.org/citation.cfm?doid=2508244.2508247. DOI:10.1145/2508244.2508247.

[72] ZHAO H, SHI B, FERNANDEZ-CULL C, et al. Unbounded High Dynamic Range Photography Using a Modulo Camera[C/OL]//2015 IEEE International Conference on Computational Photography. Houston: IEEE, 2015: 1-10[2016-03-02].http://ieeexplore.ieee.org/xpls/abs_all.jsp?arnumber=7168378&tag=1.DOI:10.1109/ICCPHOT.2015.7168378.

[73] HAJISHARIF S, KRONANDER J, UNGER J. Adaptive dualISO HDR reconstruction[J/OL]. Eurasip Journal on Image & Video Processing, 2015, 2015(41): 1-13[2016-03-02].http://link.springer.com/article/10.1186/s13640-015-0095-0.DOI: 10.1186/s13640-015-0095-0.

[74] FROEHLICH J, GRANDINETTI S, EBERHARDT B, et al. Creating cinematic wide gamut HDR-video for the evaluation of tone mapping operators and HDR-displays[C/OL]//Proc. of SPIE9023, Digital Photography X. San Francisco: SPIE, 2014: 1-10[2015-11-12].http://proceedings.spiedigitallibrary.org/proceeding.aspx?articleid=1844625.DOI:10.1117/12.2040003.

[責(zé)任編輯:陳文學(xué)]

Recent research in high dynamic range imaging

BAI Bendu,LIU Jun,FAN Jiulun

(School of Communication and Information Engineering, Xi’an University of Posts and Telecommunication, Xi’an 710121, China)

Abstract:High dynamic range (HDR) imaging can precisely capture the scene irradiance, which has been a hot research topic in image processing and computer graphics for two decades. Based on the main flow of HDR imaging, the recent research and advances in HDR imaging are reviewed in detail, including the methods of capturing HDR scenes, the ways to combine exposure-bracketed images into an HDR image, tone mapping, the challenges and the development trend in HDR imaging.

Keywords:high dynamic range imaging, multiple exposure, radiance, tone mapping, deghosting, single-shot high dynamic range imaging

doi:10.13682/j.issn.2095-6533.2016.03.001

收稿日期：2015-11-30

基金項(xiàng)目：公安部技術(shù)研究計(jì)劃重點(diǎn)資助項(xiàng)目(2014JSYJA018)

作者簡介：白本督(1972-)，男，博士，副教授，從事圖形圖像處理研究。E-mail：baibendu@xupt.edu.cn 劉 軍(1989-)，男，碩士研究生，研究方向?yàn)樾虃蓤D形處理。E-mail：liujun0422@163.com

中圖分類號(hào)：TN911.74

文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：2095-6533(2016)03-0001-14