孫小桐 陳戈珩

摘要：相機(jī)與拍攝對象之問的相對運動會在拍攝到的圖像中引入運動模糊。非模糊圖像的重建由于空間高頻率的喪失而具有病態(tài)性。顫振快門通過在曝光過程中快速打開和關(guān)閉快門來保持高頻率，提供了極大的改進(jìn)。文中解決了從抖動快門圖像重建不模糊圖像的兩個開放問題。給出了一種在保留圖像細(xì)節(jié)的同時減少重構(gòu)噪聲的降噪技術(shù)，和一種自動估計運動模糊點擴(kuò)展函數(shù)的方法。這些技術(shù)共同提供了大幅改進(jìn)，以重建顫振快門圖像。

【關(guān)鍵詞】運動模糊 編碼曝光 PSF 估計 降噪

數(shù)碼照片要求在拍攝時，相機(jī)和場景中的任何物體之間不存在相對運動。任何運動物體的圖像都將沿著運動方向模糊。這種模糊被稱為動態(tài)模糊，是數(shù)碼照片中最常見的認(rèn)為造成的現(xiàn)象。在某些情況下，由物體運動引起的模糊是有用的。例如，它創(chuàng)造了一種運動的印象，并幫助觀眾識別運動的方向，尤其是在靜止的照片中。然而，在數(shù)碼攝影中，運動模糊通常被認(rèn)為是不可取的。運動模糊降低了圖像的質(zhì)量，這樣就不可能在有大量運動模糊的照片中區(qū)分不同的對象。本文對利用Raskar等的flutter shutter技術(shù)（也稱編碼曝光）對圖像進(jìn)行后處理提出改進(jìn)，flutter shutter camera通過在圖像曝光期間多次快速打開和關(guān)閉快門保存高頻信息。保留的高頻信息極大地改善了非模糊圖像的重構(gòu)。然而，也有幾個問題沒有解決。兩個顯著的開放性問題是重建過程中圖像噪聲的放大，以及運動模糊的點擴(kuò)散函數(shù)（PSF）的手工規(guī)范要求。本文介紹了顫振快門及其相關(guān)工作。然后討論了運動模糊圖像捕獲的仿真，包括顫振快門的仿真，及提出的降噪技術(shù)。

1 顫振快門及其相關(guān)工作

1.1 編碼曝光攝影（抖動快門）

Raskar等人提出了編碼曝光攝影。在這種方法中，在一次曝光中，使用偽隨機(jī)雙元序列多次打開和關(guān)閉快門。這一過程將高頻空間信息保存在模糊的圖像中一一編碼的攝影圖像看起來就像許多單獨的短曝光被組合在一起，而這實際上就是正在發(fā)生的事情。例如，圖1顯示了使用模擬的顫振快門相機(jī)捕獲的移動汽車。

在傳統(tǒng)的相機(jī)中，物體在曝光時間內(nèi)的運動定義了一個框過濾器，用來模糊物體的圖像。抹片破壞了高頻空間細(xì)節(jié)，因此反褶積重建成為一個不確定的問題。使用顫振快門，污跡被轉(zhuǎn)換成寬帶濾波器，在模糊的圖像中保留高頻細(xì)節(jié)，重建成為一個很好的問題。Raskar等人確定了一個接近最優(yōu)的二進(jìn)制序列來調(diào)制快門，并證明了該技術(shù)能夠成功處理較大的模糊。

編碼曝光photography的兩個重要限制是需要人為手動指定模糊的PSF，以及在重構(gòu)過程中圖像噪聲的放大。后者部分是由于顫振快門本身降低了進(jìn)入相機(jī)的光線一一隨后對圖像亮度的校正放大了圖像的噪聲。本文討論了圖像降噪和PSF估計這兩個問題。

1.2 去噪

去噪的目標(biāo)是去除圖像中的噪聲，同時盡可能保留重要的特征。有許多不同的圖像去噪算法適合不同的情況。傳統(tǒng)的去噪方法采用線性濾波方法，如維納濾波、移動平均濾波和低通濾波。這些技術(shù)降低了噪聲，但同時也存在圖像平滑、特征定位不佳、噪聲抑制不完全的副作用。非線性技術(shù)如中值濾波在降噪方面是有效的，但也會消除圖像細(xì)節(jié)。

混合濾波器結(jié)合多種去噪算法，以解決單個ap-proaches的不足。Ling和Bovik[10]將各向異性擴(kuò)散與中值濾波結(jié)合，與單個濾波相比產(chǎn)生了更好的結(jié)果一一中值濾波去除的各向異性擴(kuò)散產(chǎn)生了不必要的階梯效應(yīng)。然而，中值過濾器也去除一些細(xì)節(jié)，尖銳的角和細(xì)線。Raj an等[10]對該技術(shù)進(jìn)行了修改，用非線性四階PDE濾波器和中值濾波器代替了各向異性擴(kuò)散濾波器。

由更新方程給出了四階PDE擴(kuò)散：

其中u是圖像平滑，△t是離散時間步和△2表示圖像的離散拉普拉斯算子。圖1擴(kuò)散系數(shù)函數(shù)?！?1110000111100001111”。

這種混合濾波器即使在低信噪比的圖像中也能保持高頻細(xì)節(jié)，同時也能防止非對稱擴(kuò)散所產(chǎn)生的不良階梯效應(yīng)。在第3部分中，進(jìn)一步修改了這項技術(shù)，以提供一種有效的方法去噪抖動快門圖像而不丟失高頻信息。

1.3 估計PSF

重構(gòu)經(jīng)過過濾的圖像最困難的部分可能是估計未知的PSF。當(dāng)需要從一個模糊的圖像中估計PSF時，這種估計尤其具有挑戰(zhàn)性。已經(jīng)提出了幾種技術(shù)，它們可以根據(jù)多個圖像估計PSF，或者通過使用附加的硬件。然而，對于顫振快門技術(shù)，我們假設(shè)只有一個模糊圖像可以用于PSF估計和重構(gòu)。

編碼曝光圖像的PSF估計與傳統(tǒng)運動模糊圖像的PSF估計完全不同，因為現(xiàn)有的ap-proaches通常依賴于運動模糊的連續(xù)性質(zhì)。例如，Lokhande等人和Sakano等人利用常規(guī)運動模糊PSF的功率譜中的O從模糊圖像中識別PSF。這些技術(shù)在編碼曝光圖像上失敗了，因為抖動快門代碼是經(jīng)過精心選擇的，所以PSF是可逆的，并且在頻率響應(yīng)中不包含任何零。

Jia的[3]PSF估計方法概括了透明的概念，包括一個對象遮擋了部分曝光時間背景的圖像區(qū)域。由于常規(guī)運動模糊的PSF是連續(xù)的，所以可以使用alpha matting來識別模糊。Agrawal和Xu修改flutter shutter代碼，使PSF更適合alpha matting，但修改后的代碼遠(yuǎn)非最優(yōu)，增加重構(gòu)噪聲。此外，獲得的PSF值非常不準(zhǔn)確，特別是對于較大的模糊。

2 運動模糊圖像捕獲的仿真

為了實驗的目的，要求在合理數(shù)量的情況下使用己知運動模糊的顫振快門圖像。flurtershutter開發(fā)人員提供了少量真正的顫振快門圖像。為了獲得更多的圖像，使用運動序列圖像模擬了顫振快門技術(shù)。

模擬從幀間具有亞像素運動的運動序列開始。幀間運動要求很小，以便圖像序列能夠很好地逼近連續(xù)時間數(shù)據(jù)。從網(wǎng)絡(luò)中獲取合適的高速攝像機(jī)圖像序列，并利用射線追蹤軟件POV-ray生成額外的序列。

真正的顫振快門圖像包含自然噪聲，這是相機(jī)的特點。這些是唯一用于研究降噪的圖像。對于PSF估計的研究，我們還使用了由POV-ray生成的高速攝像機(jī)和圖像序列的圖像序列。高速相機(jī)的圖像包含了自然噪音，并被納入到模擬的顫振快門圖像中。對于POV-ray圖像序列，使用了Matlab函數(shù)為每個圖像添加模擬噪聲。加入了模擬放大器噪聲作為高斯噪聲，其方差在O.OOOl和0.001之間，還模擬了泊松射擊噪聲。

給定一個運動圖像序列，攝像機(jī)模擬器將序列中的單個圖像平均起來，生成一個輸出運動模糊圖像一一輸出圖像中的每個像素是輸入圖像中相應(yīng)像素的平均值。傳統(tǒng)的運動模糊是通過平均所有圖像在一個時間范圍內(nèi)的運動序列。模擬曝光時間可以通過改變圖像的平均數(shù)量來改變。

為了模擬顫振快門，圖像的序列首先被分成相等的子集，代表了顫振快門代碼的單個“排布”。每個印章的圖像數(shù)量可能會改變模擬曝光時間（或運動速度）。例如，每個包含10個圖像的分割比包含5個圖像的分割表示更長的曝光（或更快的運動）。每個印章的圖像平均在一起，形成一個模糊的圖像，然后印章圖像被合并到輸出圖像中，只有當(dāng)顫振的快門代碼位的那個印章是l。這兩步方法允許通過簡單地改變切割時間來創(chuàng)建不同尺寸的運動模糊。此外，可以產(chǎn)生非常大的模糊（通過使用非常大的切割尺寸），而不影響模擬模糊的質(zhì)量或連續(xù)性。

3 降噪

3.1 算法

在本節(jié)中，采用Raj an等人的去噪算法來提高顫振快門捕獲圖像的質(zhì)量。重要的是，這個方法能夠在保留圖像細(xì)節(jié)的同時降低圖像噪聲。本節(jié)介紹了對顫振快門捕捉到的圖像進(jìn)行去噪實驗，并給出了實驗結(jié)果。

將去噪算法應(yīng)用于原始抖動快門捕獲的圖像，并將重建后的去噪圖像與原始噪聲重構(gòu)圖像進(jìn)行對比。由于Raj an等人提出的算法最初是針對灰度圖像設(shè)計的，所以在實現(xiàn)中將其分別應(yīng)用到彩色圖像的每個通道上。

3.2 去噪結(jié)果

測試了再構(gòu)造前后的去噪算法，并進(jìn)行了1- 15次的去噪迭代。在所有的情況下，發(fā)現(xiàn)預(yù)重構(gòu)去噪在降低圖像噪聲的同時也能顯著降低圖像的清晰度。這在包含文本的圖像中尤為明顯。銳度的損失主要是由于應(yīng)用了松弛中值濾波器。雖然放松的中值濾波器對不模糊圖像的清晰度的影響可以忽略不計，但在重構(gòu)之前，它會破壞編碼模糊圖像中包含的一些清晰細(xì)節(jié)。因此，經(jīng)過重建，清晰的細(xì)節(jié)被丟失。重建后的去噪效果略優(yōu)于重建前的去噪效果。輸出圖像的平滑度和銳度都比較低。然而，在某些情況下，反復(fù)使用放松的中值濾波器會降低圖像的清晰度。這在大型物體運動中尤為明顯。

為了進(jìn)一步改善顫振快門圖像的去噪，測試了Rajan等人提出的濾波器的修改。重構(gòu)前后分別使用四階PDE濾波器，最后只使用放松的中值濾波器，得到了明顯的改進(jìn)結(jié)果。這種方法產(chǎn)生了良好的結(jié)果，因為四階PDE濾波器的第一次應(yīng)用在重構(gòu)之前去除了一些傳感器噪聲，而沒有去除高頻細(xì)節(jié)。這反過來又減少了重建圖像中的噪聲，而不會損失質(zhì)量。四階PDE的二次應(yīng)用進(jìn)一步降低了重構(gòu)圖像中的噪聲，放松的中值濾波采用圖像平滑處理，對最終圖像的清晰度沒有明顯影響。放松的中值濾波器對高噪聲圖像特別有用。圖2顯示了采用我們的去噪方法進(jìn)行原始重構(gòu)和重構(gòu)的結(jié)果。

4 PSF估計

在他們的原始論文中，Raskar等人[1]手動指定PSF來重建每個圖像。在本節(jié)中，我們提出一種適合于編碼曝光圖像的半自動PSF估計技術(shù)。

4.1 基于邊緣的PSF估計

當(dāng)將顯示編碼運動模糊的圖像與顫振代碼進(jìn)行比較時，可以看到當(dāng)代碼改變時（例如當(dāng)快門打開或關(guān)閉時），高頻率出現(xiàn)在模糊中。例如，圖3中的模擬圖像顯示了與特定的快門代碼相對應(yīng)的高頻率內(nèi)容。

實驗證實了由代碼轉(zhuǎn)換產(chǎn)生的高頻人工制品在所有抖動的快門圖像中都是清晰可識別的，無論是真實的還是模擬的。這些人工制品可以通過邊緣檢測器提取，如圖4所示，并用于估計對象的運動。通過對由編碼模糊圖像（包括模擬圖像和真實圖像）產(chǎn)生的Canny邊緣檢測，可以看出邊緣檢測器能夠在所有情況下提取幾乎所有的代碼轉(zhuǎn)換。丟失的轉(zhuǎn)換是由于代碼中的孤立的O和1造成的。例如，代碼開頭的序列“10100”只產(chǎn)生一條邊，因為沒有檢測到孤立的O。對圖3的圖像進(jìn)行邊緣檢測，得到圖4所示的結(jié)果。從球的一邊看邊緣，運動由第一個被探測到的邊緣到最后一個邊緣的距離來表示。但是，如上所述，并不是所有的代碼轉(zhuǎn)換都被檢測到。在這個例子中，實際的運動是73像素，但是邊緣表示69像素的運動。將同樣的技術(shù)應(yīng)用于不同的圖像，始終可以得到與實際運動相比的相似的檢測運動比例。這個比率取決于快門代碼的性質(zhì)，可以用來修正基于檢測到的邊緣的運動估計。結(jié)果是對PSF的準(zhǔn)確估計。

4.2 結(jié)果

我們的PSF估計技術(shù)的局限性類似于Raskar等人為fiutter shurter重建的一般。特別是，我們的PSF估計方法只適用于速度恒定、光照恒定的線性運動的場景。此外，PSF估計依賴于前景對象上的邊緣檢測，不適用于背景介紹額外邊緣或物體有多個邊緣的圖像的部分。對所給出的PSF估計方法進(jìn)行了仿真，可以得出結(jié)論，區(qū)域選擇并不困難，只要背景整潔。在每個示例中，PSF都被成功提取。

5 結(jié)論

顫振快門相機(jī)在運動模糊的圖像中保持了高頻率的信息。根據(jù)先前提出的運動模糊PSF的手動規(guī)范，從顫振快門圖像中重構(gòu)非模糊圖像，得到具有顯著噪聲特性的結(jié)果。已經(jīng)可以證明，重構(gòu)噪聲可以通過在重構(gòu)前后使用四階PDE去噪濾波器來減少重要圖像信息的丟失，最后使用一個放松的中值濾波器。還演示了一種基于邊緣檢測的從模糊圖像中提取運動模糊PSF的半自動技術(shù)。這種方法要求用戶選擇圖像的適當(dāng)部分，然后進(jìn)行分析以確定動態(tài)模糊PSF。該技術(shù)精度高，重建效果好。未來的工作可以使用更復(fù)雜的技術(shù)來識別邊緣檢測到的圖像中的運動人工制品，可能提供一種完全自動化的PSF提取方法。這將使顫振快門技術(shù)適合非技術(shù)用戶。

（通訊作者：陳戈珩）

參考文獻(xiàn)

[1]R. Raskar，A. Agrawal， and J.Tumblin，“Coded exposure photography： motiondeblurring using fluttered shutter，”in SIGGRAPH' 06： ACM SIGGRAPH 2006Papers， New York， NY， USA， 2006.

[2]S. Mealing， The Art and Science ofComputer Animation. Intellect Books，1998.

[3] J. Jia， "Single image motiondeblurring using transparency，" inCVPR07， 2007， pp. 1-8. [Online] .Available： ht t p： //dx. doi. org/10. 1109/CVPR. 2007. 383029.

[4] D. Kundur and D. Hatzinakos， "Blindimage deconvolution，” in IEEE SignalProcessing Magazine，May 1996， pp.43-64.

[5] Q. Shan， J. Jia， and A. Agarwala， "High-quality motion de- blurring from asingle image，” ACM Transactions on Graphics （SIGGRAPH）， 2008.

[6] A. Levin， P. Sand， T. S. Cho， F. Durand， andW. T. Free- man， "Motion-invariantphotography，" ACM Transactions on Graphics

（SIGGRAPH 2008） ， p. A. 71，August 2008.

[7] K. N. Nezarnoddini， P. W. Fiegu t h， and

E.Jernigan， "Bayesshrinkridgelets forimage denoising，” in ICIAR04，2004，pp.l：163-170.

[8] A. C. Bovik， Handbook of Image and VideoProcessing. Academic Pres s， 2005.

[9] Y. Yan， B. Guo， and W. Ni， "Imagedenoising： An approach based onwavelet neural network and improvedmedian filter- ing，" in WCICA06，vol. 2， 2006， pp.10 063-10 067.

[10] J. Rajan， K. Kannan， and M. R.Kaimal， "An improved hybrid modelfor molecular image denoising， "JMIV，vol. 31，no.l，May 2008.