樊曉平，熊哲源，陳志杰，劉少強，瞿志華,3

(1.中南大學 信息科學與工程學院，湖南 長沙 410075；2.湖南財政經濟學院 信息管理系，湖南 長沙 410205；3.美國中佛羅里達大學 電氣與計算機工程系，奧蘭多 FL32816-2450, 美國)

1 引言

無線傳感器網絡(WSN, wireless sensor networks)由具有感知、計算和通信能力的傳感器節(jié)點組成，可以對溫度、濕度、光照強度等數(shù)據進行采集、傳輸和處理[1]。近年來，WSN在目標跟蹤、過程控制和視頻監(jiān)控等方面的應用，促使裝備有攝像頭和麥克風，能產生大量多媒體數(shù)據的無線多媒體傳感器網絡(WMSN, wireless multimedia sensor networks)的出現(xiàn)和發(fā)展[2]。由于WMSN在能量、計算和存儲等方面受到的限制，在傳輸多媒體數(shù)據特別是視頻數(shù)據之前必須對其進行壓縮編碼，減少數(shù)據傳輸量以節(jié)約能量。但有損壓縮會使圖像失真，且壓縮率越高，圖像質量越差。同時，視頻編碼的計算復雜度高，也會消耗許多能量。如何同時保持較低的能量消耗和可靠的圖像質量，需要在計算復雜度和通信數(shù)據量之間達到平衡，這是亟待解決的問題。

視頻由圖像序列組成，視頻編碼也是以圖像編碼為基礎。第一代圖像編碼技術包括預測編碼、變換編碼、統(tǒng)計編碼、向量編碼和小波編碼等，第二代圖像編碼技術包括基于分割的編碼、基于模型的編碼和分形編碼等[3]。傳統(tǒng)視頻編碼主要使用2種結構，一種是幀內編碼聯(lián)合幀間像素預測，另一種是目前廣泛使用的幀內編碼聯(lián)合運動補償。

目前主要有兩類視頻編碼標準：國際標準化組織(ISO)的 MPEG-x系列和國際電信聯(lián)盟(ITU)的H.26x系列，它們的編碼器結構主要包括運動補償預測、離散余弦變換、量子化、熵編碼等4個部分[4]。由于運動估計補償?shù)挠嬎懔亢艽?，視頻編碼中編碼器的計算復雜度一般是解碼器的 5～10倍。WMSN節(jié)點資源受限，難以執(zhí)行計算量巨大的視頻編碼任務，這將占用大量處理器資源和存儲空間，并使節(jié)點能量很快耗盡。因此，需要為節(jié)點設計簡單的視頻編碼器以降低計算復雜度，并且保證較高的壓縮率和較好的視頻解碼質量。

2 WMSN中視頻編碼面臨的問題和挑戰(zhàn)

在傳統(tǒng)的有線和無線環(huán)境中傳輸?shù)囊曨l幀率高，數(shù)據量大，一般采用混合編碼方式來提高壓縮率，用幀內編碼(如熵編碼、變換編碼)減小一幀圖像內部的冗余，用幀間編碼(如預測編碼、運動估計補償)減小序列圖像幀之間的冗余。但是，幀間編碼增加了圖像失真率，且占用了大量資源，計算復雜度高、數(shù)據存儲量大，不適用于資源受限、無線多跳的WMSN。此外，WMSN主要應用于區(qū)域監(jiān)控，如公共場所、交通場景、敏感區(qū)域和智能家居等，其捕獲的視頻幀率較低，數(shù)據量較小，但要求圖像失真率低，以便于進行目標跟蹤和分析，使用計算復雜度較低、存儲空間較小的幀內編碼可以滿足其對壓縮率和圖像質量的要求。影響 WMSN視頻編碼的主要因素如下[5]。

1) 資源受限：傳感器節(jié)點一般由電池供電，裝備嵌入式微處理器和存儲芯片，其能量、計算能力、存儲空間和發(fā)送功率等都十分有限。

視頻編碼可以減小數(shù)據發(fā)送量，降低通信的能耗[6]。但是，數(shù)據壓縮率和編碼計算復雜度成正比，提高數(shù)據壓縮率，減少了通信的能耗，卻增加了視頻編碼計算的能耗。數(shù)據壓縮率與視頻解碼質量成反比，數(shù)據壓縮率越高，視頻解碼質量越低，提高數(shù)據壓縮率可能使得圖像質量無法滿足應用的要求。因此，需要解決節(jié)點資源受限和視頻編碼計算復雜度高、要求高質量視頻之間的矛盾。例如，Wu等提出在給定網絡條件和圖像質量限制時，一個自適應算法可使計算和通信能量消耗之和達到最小值[7]。圖1是節(jié)點發(fā)送和接收視頻數(shù)據的全過程。

圖1 節(jié)點上視頻數(shù)據的發(fā)送和接收過程

假設所有節(jié)點的通信距離都為d，中繼節(jié)點只負責轉發(fā)數(shù)據，每比特數(shù)據傳送距離d所消耗能量為ETX(d)，接收1bit數(shù)據所消耗能量為ERX，壓縮1bit數(shù)據且壓縮率為β(l)時所消耗能量為Ec(L)，則將一幅圖像傳送到基站所需的能量消耗為

如圖2所示，存在一個最優(yōu)值Lopt使得通信距離d取不同值時能量消耗最小。

圖2 總體能耗與變換層級L和通信距離d的關系

2) 不可靠性：由于信號衰減和多徑/陰影干擾等因素，無線信道的誤碼率較高；而編碼后的視頻數(shù)據相關性較小，對數(shù)據錯誤敏感，單個誤碼比特會導致后續(xù)眾多數(shù)據失效，嚴重影響視頻數(shù)據的質量。而監(jiān)控視頻數(shù)據對實時性要求高，難以使用數(shù)據重傳技術。因此，需要解決無線信道誤碼率高、視頻編碼對數(shù)據錯誤敏感和要求高質量視頻之間的矛盾。

3) 帶寬波動：無線信道帶寬波動劇烈，且視頻編碼輸出的比特流也不均勻，而視頻流的傳輸需要比較穩(wěn)定的帶寬，帶寬波動會嚴重影響視頻的重建質量。當網絡負載超過允許帶寬或節(jié)點移動時，無線信道中會出現(xiàn)擁塞和分組丟失，數(shù)據分組大量丟失將導致視頻數(shù)據流阻塞，圖像中出現(xiàn)馬賽克，甚至不能正確解碼[8]。因此，需要解決無線信道帶寬波動劇烈和要求高質量視頻之間的矛盾。

4) 異構性：在多播(multicast)場景中，由于接收端在網絡延遲、視頻數(shù)據質量、處理能力、能量限制和帶寬限制等方面各不相同，給視頻的多播傳輸造成很大困難[9]。

節(jié)點捕獲的視頻數(shù)據需要通過有損的無線信道進行可靠傳輸，并要求能量消耗和發(fā)送的數(shù)據量盡可能得小[10]。由此可知，WMSN 中視頻編碼的設計目標如下。

1) 高壓縮率：未壓縮的視頻流數(shù)據率很高，會消耗許多能量和帶寬，必須提高數(shù)據壓縮率來降低帶寬占用率和能量消耗。

2) 低復雜度：視頻編碼器嵌入在節(jié)點設備中，必須具有低復雜度以減小處理器和內存占用，必須低功耗以延長節(jié)點壽命。

3) 容錯：節(jié)點編解碼器必須提供健壯的、可容錯的視頻編碼。

3 面向WMSN的視頻編碼

基于運動估計和補償?shù)念A測編碼運算量很大，傳感器節(jié)點的嵌入式微處理器大多難以執(zhí)行視頻編碼任務。因此，視頻節(jié)點主要采用 JPEG、JPEG 2000等靜態(tài)圖像編碼標準進行圖像壓縮。目前，可用于WMSN的圖像編碼方式包括個體信源編碼和分布式信源編碼2種[11]。

3.1 個體信源編碼

由于個體信源編碼十分簡單，各信息源之間無需進行通信，因而被廣泛使用。在傳感器節(jié)點平臺上試驗過的圖像/視頻編碼和傳輸方案都是基于個體信源編碼方式。根據所采用的壓縮技術，WMSN中的個體信源編碼可分為單層編碼和多層編碼兩大類。

3.1.1 單層編碼

單層編碼方案主要包括基于差異編碼的 JPEG和基于改進離散余弦變換(DCT, discrete cosine transform)的JPEG 2種。在視頻監(jiān)控時，基站周期性地產生并發(fā)送一個參考幀到節(jié)點，節(jié)點只發(fā)送監(jiān)測圖像與參考幀的差異到基站。監(jiān)控場景一般變化少，發(fā)送的數(shù)據量小，因而能量消耗較低。為此，學者們研究了 DCT變換的能量壓縮特性，對其中的處理過程和變換參數(shù)進行優(yōu)化，并將其應用于關聯(lián)性較高圖像的壓縮編碼。

Chiasserini等用定點DCT運算替換浮點DCT運算以優(yōu)化 JPEG[12]，對參考幀進行壓縮以減少計算復雜度。隨后，又提出一種基于變化檢測和興趣區(qū)域編碼的改進JPEG編碼方案。Pekhteryev等在ZigBee網絡中傳輸了 100張 JPEG標準的圖像和100張JPEG2000標準的圖像[14]，證明了在ZigBee網絡中傳輸JPEG和JPEG2000圖像的可行性。Feng等設計了一個視頻傳感器節(jié)點平臺[15]，使用JPEG、差異 JPEG和條件補給的壓縮方式。圖像像素為640×480時，可以達到每秒5幀的傳輸速度；像素為320×240時，可達到每秒20幀的傳輸速度。

Mammeri等研究JPEG中8×8 DCT系數(shù)矩陣的裁剪優(yōu)化[16～18]，進行 DCT變換時，選擇處理 8×8矩陣中的一個方塊區(qū)域和一個三角形區(qū)域的系數(shù)，分析裁剪后編碼的能量消耗與圖像質量，并提出了2種選擇系數(shù)區(qū)域尺寸的方法，在全局方法中計算出適用于圖像中所有 DCT系數(shù)塊的唯一尺寸；在局部方法中將圖像分為興趣區(qū)域和碎片區(qū)域，分別計算適合的系數(shù)區(qū)域尺寸。遺憾的是，他們沒有給出能自動識別圖像區(qū)域興趣等級和自動分配相應系數(shù)塊尺寸的方法。

Lee等提出一種改進的JPEG圖像編碼方案[19,20]，在確保編碼所需最小精度的情況下，通過分析法決定如何分配最優(yōu)整數(shù)和帶寬給壓縮過程的信號路徑，以降低計算復雜度，并保證較好的圖像質量。在視頻節(jié)點平臺上的實驗表明，編碼圖像相比于未編碼圖像，其傳輸時間和能量消耗都顯著降低。其改進算法與JPEG標準相比，在確保信噪比不變的情況下，比原標準減少25%的運算量；在允許少量信噪比損失的情況下，運算量約為原標準的一半。分析實驗中測得的工作電壓、運算時間和能量消耗得出結論，計算過程的能量消耗由運算時間和處理器功耗綜合決定，并非處理器功耗低計算的能耗就小，提高運算速度是降低計算能耗的有效方法。此外，還在節(jié)點上測試了JPEG的一些高級應用，如興趣區(qū)域編碼、連續(xù)式或漸進式圖像傳輸?shù)取?/p>

綜合起來看，單層編碼方案的能耗較低，因為結合變化檢測和差異編碼的JPEG算法使數(shù)據通信量顯著減少，對 DCT變換的簡化可以降低計算復雜度。然而，這種方法也存在一些缺陷和不足：1)差異編碼的圖像難以進行圖像融合，因為圖像融合需要將以前的數(shù)據信息存儲在匯聚節(jié)點，而差異編碼并未保存完整的圖像信息；2)對參考幀的質量要求很高，任何一點錯誤都會傳播給依據參考幀進行編碼的其他幀，降低它們的質量，同時，也會限制通過調整 DCT變換系數(shù)的量化規(guī)模進行的碼率調節(jié)；3)不支持錯誤恢復、差錯控制和信源信道聯(lián)合編碼；4)減少能量消耗的同時也降低了基站接收到的圖像質量。

3.1.2 多層編碼

多層編碼方案主要采用基于小波變換的JPEG 2000編碼方法，通過調整小波變換層級和量化層級來改變壓縮率。在多層編碼機制中，信號被分為一個基礎層和多個增強層進行發(fā)送?；A層的傳輸有很高的優(yōu)先級并采用錯誤保護，而增強層的傳輸則采用較少的差錯控制位，在信道擁塞時會被丟棄。如果一個比特流中出現(xiàn)一個錯誤，它所在層級的后續(xù)比特流將被丟棄，而其他層級的數(shù)據流不會受到影響。根據圖像內容、信道條件和率失真限制，可以選擇最優(yōu)的層級數(shù)量和信道編碼數(shù)量，使總的能量消耗達到最小。

Wu等設計了一種基于小波域圖像分解的多比特流圖像編碼方案[21]，將小波變換系數(shù)依據父子關系分為不用的塊，每個塊獨立地采用分層樹集合劃分(SPIHT, set partitioning in hierarchical tree)算法進行編碼。Yu等設計了一種基于JPEG 2000的圖像傳輸系統(tǒng)[22]，采用碼率兼容刪除卷積，聯(lián)合信源信道編碼和能量控制算法計算出最優(yōu)傳輸分層數(shù)量和每一層相應的優(yōu)化策略。然而，這種方法僅考慮了點對點的傳輸，在許多應用中信號的傳輸過程需要中繼節(jié)點進行轉發(fā)。Wu等提出了一種啟發(fā)式圖像編碼算法[23]，在給定網絡環(huán)境和圖像質量限制的條件下，選擇基于小波變換的圖像壓縮最優(yōu)參數(shù)使得總體能量消耗最小。Lu等研究了基于DSP視頻節(jié)點平臺的低功耗JPEG 2000壓縮[24]，用定點LS9/7替換浮點CDF9/7小波變換濾波器，通過基于移位—加定點實現(xiàn)提升系數(shù)α、β和δ，基于移位—乘定點實現(xiàn)提升系數(shù)γ，基于后拉伸和移位—乘定點實現(xiàn)縮放因子ζ，以減少計算復雜度。實驗中對1 024×1 024像素的遙感圖像進行4級小波變換，LS9 /7定點小波較之CDF9/7小波分數(shù)法和算術移位法定點，其計算復雜度分別降低了34.0%和28.3%。

總之，多層編碼方案的誤碼率低，圖像質量較好，可以使用信源信道聯(lián)合編碼來適應信道條件的變化。然而，增加碼率調整的靈活性意味著會消耗更多的能量。此外，由于內存和計算能力的限制，傳感器節(jié)點很難編碼一幅完整的圖像幀，也無法根據編碼變化和層級冗余進行自適應數(shù)據匯聚。因此，多層編碼的研究相比單層編碼要少許多。

目前，WMSN中的個體信源編碼主要研究單個靜態(tài)圖像的編碼，結合運動估計和補償以減少序列圖像時間冗余的編碼算法也是值得研究的。

3.2 分布式信源編碼

在個體信源編碼方式中，由編碼器利用信號源統(tǒng)計信息進行編碼。而分布式編碼理論認為可以部分或全部由解碼器端利用信號源統(tǒng)計信息來實現(xiàn)壓縮[25,26]。分布式信源編碼對多個相互關聯(lián)的傳感器節(jié)點的輸出數(shù)據進行壓縮，相互之間無需進行協(xié)同，或者僅需少量的協(xié)同，在中心解碼器進行聯(lián)合解碼，如圖3所示。其最大優(yōu)勢就是將編碼器的計算負載轉移到解碼器上[27]。這種編碼方式非常適合WMSN中的視頻節(jié)點應用。近年來，已經有一些對基于Wyner-Ziv理論的分布式視頻編碼的研究，但迄今為止還沒有實際的解決方案。

圖3 分布式壓縮2個統(tǒng)計獨立隨機處理信源X和Y，并在解碼器端聯(lián)合解碼X和Y

3.2.1 像素域Wyner-Ziv編碼

Aaron等提出一種基于像素域 Wyner-Ziv(PDWZ, pixel-domain Wyner-Ziv)動態(tài)視頻編碼方案[28～30]，采用幀內編碼和幀間解碼的方式，如圖4所示。關鍵幀用基于8×8 DCT變換的幀內編解碼方式，關鍵幀之間的Wyner-Ziv幀采用幀內編碼和幀間解碼方式。每個Wyner- Ziv幀量化之后，符號塊被發(fā)送給執(zhí)行碼率兼容刪除 Turbo碼(RCPT,rate-compatible punctured Turbo code)的Slepian-Wolf編解碼器。RCPT編解碼器產生校驗位并將其存儲在緩存中，如果原始符號無法被可靠地解碼，解碼器就發(fā)出一個請求校驗位的比特流。對每一個Wyner-Ziv幀，解碼器結合邊信息和校驗位來重建原始的符號序列，邊信息由解碼器對已解碼的關鍵幀和Wyner-Ziv幀使用插值法或歸納法產生。

圖4 像素域Wyner-Ziv編碼器結構

PDWZ編碼過程十分簡單，不需要進行運動估計和補償、DCT變換和前向DCT變換。Slepian-Wolf編碼器只需2個反饋轉換寄存器和一個交織器。然而，邊信息和反饋仍然是影響PDWZ編碼的2個主要因素。

邊信息對PDWZ編解碼器的率失真影響很大，邊信息越精確則錯誤越少，需要的校驗位少，比特流也小。Ascenso等提出在編碼器端用新的運動補償幀歸納工具來產生更精確的邊信息[32]， 隨后又提出一個頑健的歸納運算模塊[33]，在運動區(qū)域平滑的基礎上產生邊信息，從而提高延遲較低的PDWZ視頻編解碼器的性能。

PDWZ編碼的主要缺點是需要接收端的在線反饋，盡管使用信道反饋可以獲得一個更準確的碼率分配方案，但這在單向和脫機應用中是不可行的，會造成嚴重的延遲。Morbee等提出一種不需使用信道反饋而能適用于 PDWZ視頻編解碼器的碼率分配算法[34]，能計算出每個視頻幀編碼后的比特率，并且不會顯著增加編碼器的復雜度。

Aaron等的PDWZ編解碼器僅利用了視頻圖像序列之間的時間關系，Tagliasacchi等提出一種可以利用空間和時間關系的 PDWZ編解碼器[35]。與之相似，Avudainayagam等在解碼器端利用一幀圖像內的空間關系[36]，將時間和空間邊信息看作是2個虛擬信道的輸出，結合時間和空間邊信息的多樣性來提高Wyner-Ziv解碼器的性能。Xue等提出采用切片結構來優(yōu)化 PDWZ的碼率控制[37]，以減小率失真，并提高視頻質量。

3.2.2 變換域Wyner-Ziv編碼

Aaron等提出一種基于變換域 Wyner-Ziv(TDWZ, transform-domain Wyner-Ziv)視頻編解碼器，如圖5所示。首先，對每幅Wyner-Ziv幀進行分塊 DCT變換，變換系數(shù)獨立地進行量化并組成系數(shù)帶。然后，由Slepian-Wolf Turbo編解碼器進行壓縮。與像素域編碼方案相似的是，解碼器利用先前重建的幀來產生邊信息。分塊 DCT變換用于邊信息幀，產生邊信息系數(shù)帶。Turbo解碼器利用相關的邊信息來獨立地重建量化系數(shù)帶。給定的重建符號和邊信息，每個系數(shù)帶可依據最佳估計值獲得重建。

Ramchandran等提出了另一種變換域視頻編碼方案[39～41]，編碼器端的一些簡單的時間依賴估計值被用于執(zhí)行碼率控制，而不需要接收端的反饋。分塊DCT變換后面進行統(tǒng)一的標量量化，盡管如此，每個塊還是獨立地進行編碼。

TDWZ視頻編碼也會受到反饋和邊信息的影響。在許多視頻編碼應用中，往往不允許信道反饋。一般來說，信道反饋會帶來延遲，從而增加解碼器的復雜度。Brites等通過一些量化指標，如信道反饋的使用頻率和關聯(lián)率來分析信道反饋對 TDWZ視頻編碼的影響[42]。為了避免使用信道反饋，他們又提出一種用于 TDWZ視頻編碼的編碼器碼率控制方案[43]，包括2個主要部分：低復雜度邊信息估計模塊和校驗位估計模塊。Sheng等提出在編碼器預測每幅Wyner-Ziv幀的比特數(shù)[44]，作為編碼方式和量化系數(shù)的函數(shù)。

邊信息的質量對壓縮效率影響很大。Martins等提出一種適用于 TDWZ視頻編解碼器的邊信息改進算法[45]，在解碼過程中通過學習使邊信息逐漸改進。Badem等采用邊信息迭代改進技術提出了一個TDWZ編碼改進方案[46]。

分布式信源編碼十分依賴信息源和邊信息之間的統(tǒng)計相關性，在 TDWZ中被稱為相互關系噪聲。圖像序列中運動的數(shù)目對預測精度的影響很大，其相互關系不是時間和空間固定的。Esmaili等提出一種通過邊信息精度來定義每個頻率帶上相互關系噪聲的不同等級的算法[47]。Huang等提出一個用于TDWZ視頻編碼的改進的虛擬信道噪聲模型[48]。Skorupa等則討論了一種將像素域估計值轉換到變換域的方法[49]。Brites等提出了一種更為可行的Wyner-Ziv視頻編碼方法[50]，在編碼器端在線估計相互關系噪聲模型的參數(shù)，這種方法同時適用于像素域和變換域Wyner-Ziv視頻編解碼器。

圖5 變換域Wyner-Ziv編碼器結構

3.2.3 協(xié)同編碼

不同于 Wyner-Ziv編碼，協(xié)同編碼是適用于WMSN的另一種分布式圖像編碼方案。Wagner等使用圖像匹配的方法來找到相互關聯(lián)的圖像[51]，以定義其中的最大重疊區(qū)域，發(fā)送低分辨率的重疊區(qū)域圖像給基站，基站使用超像素還原技術重建重疊區(qū)域的高分辨率圖像。但是，他們僅考慮了圖像之間的時間冗余，而且這種算法僅適用視頻節(jié)點密集部署的情況。Wu等提出一種改進算法[52]，對于給定的圖像序列，背景圖像只發(fā)送一次，之后僅發(fā)送感興趣區(qū)域的圖像及其空間位置給基站，基站融合背景圖像和目標區(qū)域圖像，并結合其空間位置來重建完整的圖像。Lu等在分簇的網絡結構中使用基于雙正交重疊變換(LBT, lapped biorthogonal transform)的分布式協(xié)同圖像壓縮方案[53]，使視頻節(jié)點與周邊的中繼節(jié)點協(xié)作完成圖像壓縮與傳輸任務，以降低單個節(jié)點的計算復雜度和能量消耗，如圖6所示。視頻節(jié)點負責圖像采集以及圖像數(shù)據的列時域預處理，并將數(shù)據傳輸至中繼節(jié)點；中繼節(jié)點負責進行列DCT、行時域預處理、行DCT以及8×8 LBT系數(shù)塊的編碼；最后將壓縮得到的碼流匯聚到簇頭節(jié)點。如果 WMSN中節(jié)點密度足夠大，使得視頻節(jié)點在無線通信鏈路的連通區(qū)域內其鄰居節(jié)點集不為空時，該算法可以有效地降低能量消耗。

圖6 基于LBT的多節(jié)點協(xié)同壓縮

分布式信源編碼存在一些缺陷[54]：1)它需要編碼器之間保持同步，因為解碼器是使用時間相關信息來解碼的；2)為了有效利用分布式壓縮技術，需要獲得多個信源數(shù)據之間的相互關系模型，這是十分困難的工作；3)結合邊信息的分布式信源編碼需要節(jié)點之間的一些協(xié)作；4)為有效利用數(shù)據的相互關系進行分布式信源編碼，至少需要3個以上的信息源。這些問題都難以解決，目前還沒有相關的理論研究進展。

4 未來研究方向

理論上，分布式信源編碼能夠有效降低視頻編碼的計算復雜度，轉移計算負載，十分適合于資源受限的WMSN。但是，要使視頻節(jié)點相互協(xié)作，并保持編碼器之間的同步，節(jié)點之間要頻繁地進行數(shù)據交換，這將大量占用無線信道的帶寬，使得通信的能量消耗顯著增加，相比于計算過程能耗的降低似乎得不償失。綜合 WMSN視頻編碼面臨的困難和個體信源編碼、分布式信源編碼的優(yōu)勢與缺陷，以及2種編碼方式的研究進展，個體信源編碼發(fā)展較快，且更適合于 WMSN的應用需求。下面針對個體信源編碼中單層編碼方案和多層編碼方案存在的一些缺陷， 考慮WMSN視頻編碼所面臨的問題，并結合設計目標，即高壓縮率、低復雜度和容錯，提出相應的改進研究方向。

4.1 圖像融合

個體信源編碼中單層編碼方案不支持圖像融合。然而，WMSN中一般部署多個視頻節(jié)點以覆蓋監(jiān)視區(qū)域，事件發(fā)生后，目標區(qū)域的節(jié)點會向基站發(fā)送相似的高質量圖像，產生相同數(shù)據的多個副本。這些副本并不增加信息量，卻會造成嚴重的網絡擁塞和巨大的能量消耗。如果在匯聚節(jié)點將相互關聯(lián)的圖像進行融合，能夠有效地減少數(shù)據通信量，提高資源利用率。此外，根據應用環(huán)境的不同，WMSN中可能使用不同類型的圖像傳感器，如靜態(tài)彩色攝像頭、夜視攝像頭、全景視覺攝像頭、可變焦云臺攝像頭等。不同圖像傳感器的成像模式不同，使用的編碼算法不同，所獲得的圖像之間存在冗余性和互補性。通過融合不同圖像傳感器獲得的信息，可以對監(jiān)控區(qū)域的動態(tài)進行簡明和持續(xù)的描繪，從視頻數(shù)據中提取關鍵事件，并采取有效應對措施[55]。目前已有學者在進行相關研究，但還處于探索階段。因此，研究適用于 WMSN的圖像融合機制是十分必要的。

例如，可以使用特征級圖像融合算法實現(xiàn)同類多傳感器對同一事件的副本圖像的融合，如圖7所示。各傳感器從其所獲得的圖像中提取特征信息，如邊緣、紋理、光譜和亮度區(qū)域等。匯聚節(jié)點按特征信息對多傳感器圖像數(shù)據進行分類、匯集和綜合。這樣實現(xiàn)了信息壓縮，計算量小，處理速度快，并且能最大限度地給出決策分析提供所需要的特征信息。

圖7 多傳感器圖像的特征級融合

4.2 可伸縮視頻編碼

個體信源編碼中單層編碼方案不支持錯誤恢復、差錯控制和信源信道聯(lián)合編碼，碼率控制受限，在帶寬有限、噪聲干擾多的無線信道中，當視頻數(shù)據流的比特率變化范圍較大時，分組丟失和誤碼的增加會影響傳輸?shù)目煽啃??？缮炜s視頻編碼(SVC,scalable video coding)可以增強碼流對網絡帶寬變化、誤碼和分組丟失的適應性。SVC將視頻信息按照重要性分解，對各部分按照其統(tǒng)計特性編碼，信息源根據網絡條件的變化調整傳輸?shù)臄?shù)據量。當傳輸或儲存環(huán)境好時，傳送高品質的視頻碼流；當傳輸帶寬或存儲空間不足時，就犧牲視頻尺寸、幀率和圖像質量中的一個或多個。通過分組丟失或截斷碼流即可獲得較低質量、較低空域分辨率和/或時域分辨率的圖像，且所有子碼流的編碼效率與相應非可伸縮視頻編解碼器相當[56]。SVC可以為 WMSN視頻傳輸提供簡單、靈活的解決方案，也簡化了解碼器的設計。但SVC依賴于基本層，使其傳輸可靠性降低，而且編碼的復雜性大，增加能量消耗。目前，主要以H.264/AVC為基礎進行SVC的研究，但這個編碼標準不適用于 WMSN。因此，深入研究SVC，探索適用于WMSN的改進方案具有重要的研究價值。

例如，可以使用帶反饋的 SVC來增強傳輸?shù)目煽啃?，如圖8所示。由于視頻幀長度過大，一個視頻幀通常被分成多個數(shù)據分組傳輸，部分數(shù)據分組的丟失會使接收端得不到完整的數(shù)據幀。解碼端根據信道的分組丟失率，即收到的視頻幀的完整性，向編碼端發(fā)送反饋信息，使碼流截斷模塊選擇適當?shù)膫鬏敂?shù)據量。如果正確收到基本層的數(shù)據分組，則將此幀轉給解碼器，并向發(fā)送端返回確認消息。若檢測到基本幀的數(shù)據分組丟失，則向發(fā)送端返回請求重發(fā)消息。幀級反饋比數(shù)據分組級反饋的信息量少了，節(jié)省了一定的無線帶寬資源。

圖8 帶反饋的SVC編碼傳輸

4.3 多重描述編碼

個體信源編碼中多層編碼方案十分依賴于基礎層數(shù)據，若基礎層發(fā)送失敗，則將使得增強層數(shù)據不能使用，而無線信道中發(fā)生誤碼、擁塞或延遲情況較多，會影響基礎層數(shù)據的發(fā)送，這將嚴重降低圖像的解碼恢復質量，甚至無法對圖像進行正確解碼。多重描述編碼(MDC, multiple description coding)是一種能有效提高圖像信息傳輸頑健性的信源信道聯(lián)合編碼方式，將同一視頻信息編碼為多個獨立的描述，任何一個描述碼流都能單獨解碼，并獲得一個可接受的恢復質量。接收端接收到的碼流越多，恢復的視頻質量越好[57]。WMSN 中發(fā)送端和接收端之間存在多條相互獨立的信道，雖然網絡傳輸可靠性較低，但同時發(fā)生錯誤、數(shù)據分組丟失的概率很小，MDC的一個或多個碼流可以通過不同信道到達接收端，如圖 9所示，這將提高WMSN視頻傳輸?shù)念B健性和實時性，而且無須重傳、延時小[58]。當傳輸數(shù)據率較低時，MDC的性能低于多層編碼方式，高于單層編碼方式，因為單層編碼不提供錯誤恢復機制。MDC視頻編碼的研究處于起步階段，現(xiàn)有的MDC大多是基于塊的運動估計和運動補償?shù)木幋a方案，產生和發(fā)送多個描述碼流越會占用許多資源，會使傳感器節(jié)點的能量很快耗盡[59]。另外，在任何信道都可能隨機地發(fā)生分組丟失，MDC同樣要考慮信道對視頻重建質量的影響。因此，需要在控制數(shù)據冗余，提高網絡帶寬利用率和數(shù)據傳輸頑健性之間找到一個平衡，對MDC進行改進以適用于WMSN。

圖9 MDC編碼傳輸

4.4 目標識別

在 WMSN的大多數(shù)應用中，目標識別都是設計過程中必須考慮的問題之一。在個體信源編碼中使用目標識別技術，探測監(jiān)控場景中的感興趣區(qū)域，就無需傳輸全部的視頻流，而只要傳輸監(jiān)測圖像序列的部分圖像幀或一幀圖像中的興趣區(qū)域，這樣可以有效地節(jié)約資源。分割監(jiān)測場景中人物和車輛等目標的特征，要求傳感器節(jié)點對監(jiān)測圖像序列進行分析處理，探測到場景變化和事件發(fā)生，并考慮視頻傳感器的噪聲和光照條件的變化等對識別精確性的影響，待識別出目標后再進行傳輸[60]。目前，學者已研究出許多有線視頻監(jiān)控環(huán)境的目標識別方法，但計算復雜度很高，不適用于資源受限的WMSN。因此，研究計算復雜度較低、能夠充分利用 WMSN有限資源的目標識別算法也是值得研究的課題。

5 結束語

WMSN在目標跟蹤、過程控制和視頻監(jiān)控等方面有著廣泛的應用前景。視頻編碼對 WMSN有著重要的研究價值，是減少數(shù)據傳輸量，降低能量消耗，延長網絡生命周期的關鍵技術之一。本文分析了 WMSN中的視頻編碼所面臨的問題和挑戰(zhàn)，從個體信源編碼和分布式信源編碼2個方面深入探討了近年國內外具有代表性的解決方案和理論研究成果?；谝陨蠈Ω鞣N視頻編碼算法的評價研究，WMSN視頻編碼需要一個高效的、能夠結合個體信源編碼和分布式信源編碼優(yōu)點的方案，以滿足其高壓縮率、低復雜度和較強容錯性的要求。各種編碼方法之間的綜合量化比較，面向 WMSN的分布式信源編碼測試平臺和應用實例都是未來重要的研究方向。

[1]AKYILDIZ I F, SU W, SANKARASUBRAMANIAM Y,et al.Wireless sensor networks: a survey[J].Computer Networks, 2002, 38 (4):393-422.

[2]GURSES E, AKAN O B.Multimedia communication in wireless sensor networks[J].Ann Telecommun, 2005, 60 (7-8): 799-827.

[3]TORRES L, KUNT M.Video Coding: the Second-Generation Approach[M].Boston: Kluwer Academic Publishers, 1996.

[4]CHIEN S Y, HUANG Y W, CHEN C Y,et al.Hardware architecture design of video compression for multimedia communication systems[J].IEEE Communications Magazine, 2005, 43(8): 123-131.

[5]AKYILDIZ I F, MELODIA T, CHOWDHURY K R.A survey on wireless multimedia sensor networks[J].Computer Networks, 2007,51(4): 921-960.

[6]KIMURA N, LATIFI S.A survey on data compression in wireless sensor networks[A].International Conference on Information Technology: Coding and Computing[C].Las Vegas, 2005.8-13.

[7]WU H, ABOUZEID A.Power aware image transmission in energy constrained wireless networks[A].Proceedings of the Ninth International Symposium on Computers and Communications[C].Alexandria,2004.202–207.

[8]GHARAVI H, BAN K.Dynamic packet control for video communications over ad-hoc networks[A].Proceedings of the 2004 IEEE International Conference on Communications[C].Paris, 2004.20-24.

[9]WAND Y, OSTERMANN J, ZHANG Y Q.Video Processing and Communications[M].New Jersey: Prentice Hall, 2002.

[10]AKYILDIZ I F, MELODIA T, CHOWDHURY K R.Wireless multimedia sensor network: a survey[J].IEEE Transaction on Wireless Communication, 2007, 14(6): 32-39.

[11]MISRA S, REISSLEIN M, XUE G.A survey of multimedia streaming in wireless sensor networks[J].IEEE Communications Surveys and Tutorials, 2008, 10(4): 18-39.

[12]CHIASSERINI C, MAGLI E.Energy consumption and image quality in wireless video-surveillance networks[A].Proceedings of 13th IEEE International Symposium on Personal, Indoor and Mobile Radio Communications[C].Lisbon, 2002.2357-2361.

[13]MAGLI E, MANCIN M, MERELLO L.Low complexity video compression for wireless sensor networks[A].Proceedings of 2003 International Conference on Multimedia and Expo[C].Baltimore, 2003.585-588.

[14]PEKHTERYEV G, SAHINOGLU Z, ORLIK P,et al.Image transmission over IEEE 802.15.4 and Zigbee networks[A].Proceedings of the 2005 IEEE International Symposium on Circuits and Systems[C].Kobe, 2005.23-26.

[15]FENG W, KAISER E, FENG W C,et al.Panoptes: scalable low-power video sensor networking technologies[J].ACM Transactions on Multimedia Computing, Communications, and Applications,2005, 1(2): 151-167.

[16]MAMMERI A, KHOUMSI A, ZIOU D,et al.Energy-aware JPEG for visual sensor networks[A].The 2008 Maghrebian Conference on Software Engineering and Artificial Intelligence[C].Oran, 2008.1-7.

[17]MAMMERI A, KHOUMSI A, ZIOU D,et al.Modeling and adapting JPEG to the energy requirements of visual sensor networks[A].2008 International IEEE Workshop on Sensor Networks[C].Virgin Islands,2008.1-6.

[18]MAMMERI A, KHOUMSI A, ZIOU D,et al.Energy efficient transmission scheme of JPEG images over VSN[A].Proceedings of 2008 International IEEE Workshop on Performance and Management of Wireless and Mobile Networks[C].Montreal, 2008.639-647.

[19]LEE D, KIM H, TU S,et al.Energy-optimized image communication on resource-constrained sensor platforms[A].Proceedings of 6th International Symposium on Information Processing in Sensor Networks[C].Cambridge, 2007.216-225.

[20]LEE D, KIM H, TU S,et al.Energy-efficient image compression on resource-constrained platforms[J].IEEE Transactions on Image Processing, 2009, 18(9): 2100-2113.

[21]WU M, CHEN C.Multiple bitstream image transmission over wireless sensor networks[A].Proceedings of IEEE Sensors[C].Toronto, 2003.727-731.

[22]YU W, SAHINOGLU Z, VETRO A.Energy efficient JPEG 2000 image transmission over wireless sensor networks[A].Proceedings of 2004 Global Telecommunications Conference[C].Dallas, 2004.2738-2743.

[23]WU H, ABOUZEID A.Power aware image transmission in energy constrained wireless networks[A].Proceedings of the Ninth International Symposium on Computers and Communications[C].Alexandria,2004.202-207.

[24]LU Q, DU L, HU B.Low-power JPEG2000 implementation on DSP-based camera node in wireless multimedia sensor networks[A].Proceedings of 2009 International Conference on Networks Security,Wireless Communications and Trusted Computing[C].Wuhan, 2009.300-303.

[25]SLEPIAN D, WOLF J.Noiseless coding of correlated information sources[J].IEEE Transactions on Information Theory, 1973, 19(4):471-480.

[26]WYNER A.Recent results in the Shannon theory[J].IEEE Transactions on Information Theory, 1974, 20(1): 2-10.

[27]XIONG Z, LIVERIS A D, CHENG S.Distributed source coding for sensor networks[J].IEEE Signal Process Mag, 2004, 21 (9): 80-94.

[28]AARON A, ZHANG R, GIROD B.Wyner-Ziv coding of motion video[A].Proceedings of the Asilomar Conference on Signals and Systems[C].Pacific Grove, 2002.240-244.

[29]AARON A, RANE S, ZHANG R,et al.Wyner-Ziv coding for video:applications to compression and error resilience[A].Proceedings of 2003 IEEE Data Compression Conference[C].Snowbird, 2003.93-102.

[30]AARON A, SETTON E, GIROD B.Toward practical Wyner-Ziv coding of video[A].Proceedings of the IEEE International Conference on Image Processing[C].Barcelona, 2003.869-872.

[31]GIROD B, AARON A, RANEAND S,et al.Distributed video coding[J].Proceedings of the IEEE, 2005, 93(1): 71-83.

[32]ASCENSO J, BRITES C, PEREIRA F.Improving frame interpolation with spatial motion smoothing for pixel domain distributed video coding[A].Proceedings of the 5th EURASIP Conference Speech and Image Processing, Multimedia Communications and Services[C].Smolenice, 2005.1-6.

[33]NATARIO L, BRITES C, ASCENSO J,et al.Extrapolating side information for low-delay pixel-domain distributed video coding[J].Lecture Notes in Computer Science, 2006, 3893(4): 16-21.

[34]MORBEE M, NEBOT J P, PIZURICA A,et al.Rate allocation algorithm for pixel-domain distributed video coding without feedback channel[A].Proceedings of 2007 IEEE International Conference on Acoustics, Speech and Signal Processing[C].Honolulu, 2007.521-524.

[35]TAGLIASACCHI M, TRAPANESE A, TUBARO S,et al.Exploiting spatial redundancy in pixel domain Wyner-Ziv video coding[A].Proceedings of 2006 IEEE International Conference on Image Processing[C].Atlanta, 2006.253-256.

[36]AVUDAINAYAGAM A, SHEA J M, WU D P.Hyper-trellis decoding of pixel-domain Wyner-Ziv video coding[J].IEEE Transactions on Circuits and Systems for Video Technology, 2008, 18(5): 557-568.

[37]XUE Z, LOO K K, COSMAS J, YIP P Y.Distributed video coding in wireless multimedia sensor network for multimedia broadcasting[J].WSEAS Transaction on Communications, 2008, 5(7): 418-427.

[38]AARON A, RANEAND S, SETTON E,et al.Transform-domain Wyner-Ziv codec for video[A].Proceedings of Society of Photo-Optical Instrumentation Engineers-Visual Communications and Image Processing[C].San Jose, 2004.520-528.

[39]PURI R, RAMCHANDRAN K.PRISM: a new robust video coding architecture based on distributed compression principles[A].Proceedings of 2002 Allerton Conference on Communication, Control, and Computing[C].Allerton, 2002.1-10.

[40]PURI R, RAMCHANDRAN K.PRISM: an uplink-friendly multimedia coding paradigm[A].Proceedings of 2003 International Conference on Acoustics, Speech, and Signal Processing[C].Hong Kong,2003.856-859.

[41]PURI R, MAJUMDAR A, RAMCHANDRAN K.PRISM: a video coding paradigm with motion estimation at the decoder[J].IEEE Transactions on Image Processing, 2007, 16(10): 2436-2448.

[42]BRITES C, ASCENSO J, PEDRO J Q,et al.Evaluating a feedback channel based transform domain Wyner-Ziv video codec[J].Signal Processing: Image Communication, 2008, 23(3): 269-297.

[43]BRITES C, PEREIRA F.Encoder rate control for transform domain Wyner-Ziv video coding[A].Proceedings of 2007 IEEE International Conference on Image Processing[C].San Antonio, 2007.5-7.

[44]SHENG T, HUA G, GUO H,et al.Rate allocation for transform domain Wyner-Ziv video coding without feedback[A].Proceedings of the 16th ACM International Conference on Multimedia[C].Vancouver,2008.701-704.

[45]MARTINS R, BRITES C, ASCENSO J,et al.Refining side information for improved transform domain Wyner-Ziv video coding[J].IEEE Transactions on Circuits and Systems for Video Technology, 2009,19(9): 1327-1341.

[46]BADEM M B, FERNANDO W A C, MARTINEZ J L,et al.An iterative side information refinement technique for transform domain distributed video coding[A].Proceedings of 2009 IEEE International Conference on Multimedia an Expo[C].New York, 2009.177-180.

[47]ESMAILI G R, COSMAN P C.Correlation noise classification based on matching success for transform domain Wyner-Ziv video coding[A].Proceedings of 2009 IEEE International Conference on Acoustics, Speech and Signal Processing[C].2009.801-804.

[48]HUANG X, FORCHHAMMER S.Improved virtual channel noise model for transform domain Wyner-Ziv video coding[A].Proceedings of 2009 IEEE International Conference on Acoustics, Speech and Signal Processing[C].2009.921-924.

[49]SKORUPA J, SLOWACK J, MYS S,et al.Accurate correlation modeling for transform-domain Wyner-Ziv video coding[A].Proceedings of the 9th Pacific Rim Conference on Multimedia: Advances in Multimedia Information Processing[C].2008.1-10.

[50]BRITES C, PEREIRA F.Correlation noise modeling for efficient pixel and transform domain Wyner-Ziv video coding[J].IEEE Transactions on Circuits and Systems for Video Technology, 2008, 18(9):1177-1190.

[51]WAGNER R, NOWAK R, BARANIUK R.Distributed image compression for sensor networks using correspondence analysis and super-resolution[A].Proceedings of 2003 IEEE International Conference on Image Processing[C].Barcelona, 2003.597-600.

[52]WU M, CHEN C.Collaborative image coding and transmission over wireless sensor networks[J].EURASIP Journal on Advances in Signal Processing, 2007, (1): 223-232.

[53]LU Q, LUO W, WANG J,et al.Low-complexity and energy efficient image compression scheme for wireless sensor networks[J].Computer Networks, 2008, 52: 2594-2603.

[54]FERNANDO P, LUIS T, CHRISTINE G,et al.Distributed video coding: selecting the most promising application scenarios[J].Signal Processing: Image Communication, 2008, 23: 339-352.

[55]RASHEED Z, CAO X, SHAFIQUE K,et al.Automated visual analysis in large scale sensor networks[A].Proceedings of Second ACM/IEEE International Conference on Distributed Smart Cameras[C].Stanford, 2008.1-10.

[56]JENS-RAINER O.Advances in scalable video coding[J].Proceedings of the IEEE, 2005, 93(1): 42-56.

[57]GOYAL V K.Multiple description coding: compression meets the network[J].IEEE Signal Processing Magazine, 2001, 18(9): 74-93.

[58]GOGATE N, CHUNG D M, PANWAR S,et al.Supporting image and video applications in a multi-hop radio environment using path diversity and multiple description coding[J].IEEE Transactions on Circuits and Systems for Video Technology, 2002, 12(9): 777-792.

[59]BACCAGLINI E, BARRENETXEA G, LOZANO B B.Performance of multiple description coding in sensor networks with finite buffers[A].Proceedings of 2005 IEEE International Conference on Multimedia and Expo[C].Amsterdam, 2005.1460-1463.

[60]ZILAN R, ORDINAS J M B, TAVLI B.Image recognition traffic patterns for wireless multimedia sensor networks[A].Proceedings of 4th International Workshop of the Euro FGI Wireless and Mobility[C].Barcelona, 2008.49-59.