王建新 朱 恩 劉文松 祁友杰

?

基于JPEG2000的遙感圖像感興趣區(qū)域編碼新算法及其VLSI設計

王建新 朱 恩*劉文松 祁友杰

(東南大學信息科學與工程學院 南京 211100)

為解決空間遙感圖像數據量及信道帶寬之間的矛盾，該文提出一種基于JPEG2000的感興趣區(qū)域(Region Of Interest, ROI)編碼算法。主流的JPEG2000 ROI編碼算法難以兼顧ROI質量和系統(tǒng)計算量，且在低碼率編碼時有完全丟失背景的隱患。該算法通過精確控制各子帶中背景系數的精度，使ROI分配到更多碼流。并引入了人眼視覺特性，使較少的背景碼流產生盡量好的視覺效果。另外，根據該算法提出了針對矩形ROI的超大規(guī)模集成電路(VLSI)設計，此設計經過簡單調整，亦可適用于主流的ROI編碼算法。測試結果表明，該算法在ROI質量和重建圖像視覺效果上均表現優(yōu)異，且支持任意形狀ROI編碼，兼容JPEG2000協議。該VLSI設計僅使JPEG2000系統(tǒng)運行時間增加一個周期，具有極高的吞吐率，可滿足實時處理要求。

遙感圖像；感興趣區(qū)域編碼；JPEG2000；人眼視覺特性；超大規(guī)模集成電路

1 引言

(Region Of Interest, ROI)編碼是國際最新的靜態(tài)圖像編碼標準JPEG2000的一大亮點，在與目標識別相關的遙感類應用上[1,2]，ROI編碼可提供一種兼顧圖像編碼質量和傳輸效率的解決策略，即在保持圖像壓縮比不變的前提下，對ROI進行高質量編碼，僅保留少量背景信息用于和已有的衛(wèi)星圖像進行比對。ROI是指人們感興趣或者對具體應用很重要的圖像區(qū)域，圖像其他區(qū)域則稱作背景。

JPEG2000感興趣區(qū)域編碼的主流算法是基于小波系數提升，即量化后小波子帶中ROI系數的位平面上移，使其在位平面編碼(Bit-Plane Coding, BPC)和算術編碼(Arithmetic Coding, AC)時被優(yōu)先編碼，進而在優(yōu)化截斷時被優(yōu)先保留。JPEG2000協議中采納的最大移位法(Maxshift)和一般移位法(the generic scaling based method)均屬此類。Maxshift[3,4]將ROI系數的最低位平面移動到背景系數的最高位平面之上，可獲得最好的ROI編碼質量。一般移位法[5]將ROI系數提升數個位平面，可控制ROI和背景的相對質量，但碼流中需加入ROI形狀信息，為克服此限制，文獻[6]將ROI與背景的多個中間位平面交叉排列，文獻[7]將ROI和背景的位平面各分為兩部分并交叉排列，文獻[8]將ROI的部分位平面上移。文獻[6-8]中碼流均不兼容JPEG2000協議。此類算法可實現高質量的ROI編碼，但因位平面數增加而極大增大了系統(tǒng)計算量。

除上述思路外，文獻[9]提出隱式加權法，通過在BPC時加權ROI碼塊的失真，可實現邊界粗糙的ROI編碼，文獻[10]提出兩種類似算法。文獻[11-14]通過組織多個質量層等方式實現ROI編碼，但編碼質量較低。文獻[15]提出預截斷算法，獲得了最優(yōu)的ROI編碼性能。除基于JPEG2000系統(tǒng)外，文獻[16-23]提出多種ROI編碼或提取算法。

ROI算法的硬件實現。為解決上述問題，本文提出一種新的JPEG2000感興趣區(qū)域編碼算法及其超大規(guī)模集成電路(Very Large Scale Integration, VLSI)設計。該算法在文獻[15]算法基礎上引入人眼視覺特性，可使較少的背景碼流產生較好的視覺效果。所提VLSI設計針對矩形ROI編碼，簡單調整后可適用于基于系數移位的ROI編碼算法。

2 算法研究

2.1 本文算法基本思想

文獻[15]提出了預截斷算法，通過降低小波子帶中背景系數的精度，使生成的背景碼流減少，則在優(yōu)化截斷時ROI將分配到更多碼流，實現ROI編碼。ROI碼流是指由各子帶ROI系數經BPC和AC后生成的碼流，背景碼流則由背景系數生成。預截斷算法對第分解層子帶中量化系數的處理如圖1所示。

圖 1 預截斷算法處理前后第d分解層子帶b的系數值

從人眼視覺角度看，人眼對不同頻率信息的敏感度不同，對低頻信息的敏感程度要高于對高頻信息的敏感程度。因而，本文算法根據子帶所處分解層和子帶類型(LL, HL, LH, HH)調整值。為便于計算，將第1分解層HH子帶中背景系數保留的位平面數作為基準值，通過引入子帶修正參數來調整其它子帶中背景系數保留的位平面數，如式(1)所示。取值為自然數。

以9/7離散小波變換(Discrete Wavelet Transform, DWT)為例，論述的計算方法。JPEG2000標準通過式(2)對小波系數進行恒域標量量化[3]。

表1 9/7 DWT子帶量化步長

文獻[24, 25]研究了視覺無損時9/7 DWT各子帶的量化步長閾值。為便于與表1比較，將文獻[24, 25]中DWT輸入數據的標稱范圍歸一化到[-1/2, 1/2]，則各個分解層中HL, LH和HH子帶的量化步長閾值如表2所示。閾值越大，表示子帶對圖像視覺效果的影響越小。由表2可知，子帶所處分解層越高，對視覺效果影響越大；同一分解層中HL和LH子帶的影響相差無幾。

表2 視覺無損時子帶量化步長閾值

表3 9/7 DWT子帶修正參數

不管從能量角度還是人眼視覺角度，LL子帶對重建圖像的質量影響最大，因而本文算法中LL子帶的背景系數保留全部位平面，。

圖 2 3層9/7 DWT時本文算法處理后的典型子帶系數值

2.4 性能比較

本節(jié)實驗測試了4幅Offutt基地遙感圖像(512×512, 8 bit)。JPEG2000編碼系統(tǒng)采用3層9/7 DWT,為11，碼塊大小為32×32。使用PSNR衡量圖像或ROI的質量，公式為

其中，MSE指重建圖像或ROI的均方誤差。

2.4.1編碼質量對比 圖4給出了無ROI編碼，Maxshift，預截斷算法和本文算法的編碼效果對比。ROI為白框內區(qū)域，面積為8.3%，ROI PSNR指重建圖像中ROI的PSNR值，bg指預截斷算法各子帶保留的位平面數。

由圖4可知，與無ROI編碼相比，本文算法獲得更高質量的ROI和可接受的圖像整體視覺效果。與Maxshift相比，本文算法在背景質量和圖像主觀視覺效果上要好得多。與圖4(c)相比，圖4(d)中文字標語更清晰，即本文算法獲得了比預截斷算法更好的圖像視覺效果，而代價僅為ROI質量的微弱減小。考慮到預截斷算法可獲得比文獻[6-14]中算法高得多的ROI編碼質量[15]，本文算法在ROI編碼質量上亦表現優(yōu)異。

圖 3 多個值下ROI和背景(BG)質量對比

圖4 碼率為0.3bpp時Offutt圖片的編碼效果

2.4.2其他方面對比 本文算法繼承了預截斷算法在兼容性等方面的特性，如支持任意形狀ROI編碼和兼容JPEG2000協議，而文獻[6-8]中算法均需對解碼端做出適應性改變。另外，應用本文算法時無需改動系統(tǒng)其他模塊，因而極易嵌入已有JPEG2000軟硬件系統(tǒng)，而文獻[3-14]中算法均需對JPEG2000其他模塊作較大調整。

3 VLSI設計

3.1系統(tǒng)架構

基于本文算法，設計了針對矩形ROI編碼的VLSI架構，如圖5所示，其中下標NW, SE指矩形的左上、右下頂點，用于確定矩形的位置。此架構位于DWT (含量化)模塊與子帶系數緩存模塊之間，實現4路子帶系數的并行處理，矩形ROI亦可適用于絕大部分應用。此架構包含3個主要部分：掩膜生成模塊；邊界生成模塊；子帶系數處理模塊。

掩膜生成模塊根據輸入的碼率Rate、當前DWT層數Lv，矩形ROI的左上頂點坐標NW和右下頂點坐標SE，計算值并轉化為掩膜輸出。邊界生成模塊的輸入為Lv,NW和SE，輸出非LL子帶內ROI的左上、右下頂點坐標。這兩個模塊在每層DWT開始時啟動，只需2個周期即可計算出相應參數并送入子帶數據處理模塊。除LL子帶外，其他3路子帶系數由3個子帶數據處理模塊獨立編

圖 5 本文算法VLSI架構

碼。子帶數據處理模塊的輸入有系數存儲使能EN，地址ADR，系數值DAT。輸出為本文算法處理后的系數值DAT’，以及延時一個周期后的使能EN′和地址ADR’。此模塊在EN有效時運行，每個周期處理1個小波系數，因而JPEG2000系統(tǒng)運行時間僅增加1個周期。為保持數據同步，LL子帶的存儲使能、地址及系數值亦延時一個周期輸出。子帶系數緩存模塊的運行與無ROI編碼時相比，除推遲一個周期外無任何差別。

3.2 關鍵模塊

3.2.1 掩膜生成模塊 掩膜生成模塊主要包含碼率查找表和面積查找表，分別由碼率和ROI像素數占圖像總像素數的比例倒數索引，兩者輸出之和為值，進而結合表3求出當前層數Lv下3個子帶的值。碼率查找表中碼率對應的各值與圖像的頻率分布密切相關，因而需根據具體應用定制碼率查找表。掩膜是為方便硬件實現而定義的的二進制映射，將掩膜與背景系數位與，即實現僅保留個最高位平面。

3.2.2 邊界生成模塊 邊界生成模塊主要解決DWT引發(fā)的ROI邊界延展問題。當應用9/7 DWT時，1維序列邊界擴展規(guī)律可表示為

(6)

其中，和分別為原1維序列ROI的左邊界和右邊界，L,H分別為L, H子帶的左邊界，sub為L, H子帶的右邊界。?/2?和?/2?用移位寄存器實現。擴展到2維DWT，矩形左上(右下)頂點坐標決定其左、上(右、下)邊界，對應1維序列的左(右)邊界。

圖6為邊界生成模塊架構。根據當前DWT層數Lv，選用原圖像ROI頂點坐標NW,SE，或上層LL子帶頂點坐標SPNW_LL, SPSE。由左上頂點坐標生成模塊計算式(6)，并組合成4個子帶的ROI左上頂點SPNW_LL, SPNW_HL, SPNW_LH及SPNW_HH。其中，SPNW_LL用于計算下個分解層各子帶邊界，其他3個子帶的左上頂點坐標輸出。由式(7)知，各子帶ROI的右下頂點相同，故共用一個輸出SPSE，由右下頂點坐標生成模塊計算。

3.2.3 子帶系數處理模塊 子帶數據處理模塊主要完成兩個工作：判斷系數是否屬于ROI；將背景系數的個最低位平面置零。其關鍵路徑如圖7所示，Comp提取SPNW, SPSE和系數地址ADR的行列索引并比較。若地址ADR的行列索引均不小于SPNW的行列索引，且均不大于SPSE的行列索引，則系數屬于ROI，此時與門輸出高電平，MUX將DAT賦予DAT’。否則，將DAT與Mask位與的值賦予DAT’，實現降低背景系數精度。

3.3 架構擴展

文獻[3-8]中論述的算法與本文算法均以子帶系數為基本處理單位，因而對所提VLSI設計作適當調整，即可適用于文獻[3-8]中算法。主要調整如下：

(1)將與LL子帶存儲使能等信號相連的D觸發(fā)器換做子帶系數處理模塊，信號連接方式與其它3個子帶數據處理模塊類似；

(2)掩膜生成模塊輸出系數移位值；

(3)邊界生成模塊選擇輸出SPNW_LL或與其同位深的各位均為1的信號；

(4)根據算法邏輯，對子帶系數處理模塊進行調整。

3.4 綜合驗證

使用Verilog HDL描述了此VLSI設計，在

圖6 邊界生成模塊VLSI架構

圖7 子帶系數處理模塊關鍵路徑

Xilinx Virtex-7 XC7VX485T FPGA平臺上完成綜合，綜合結果如表4所示，其中ROI模塊工作頻率可達271.5 MHz，考慮到模塊輸入為4路子帶數據，獨立測試時吞吐率可達1086Mcoefficient/s。

表4 FPGA綜合結果

已發(fā)表文獻中，并沒有涉及ROI算法的硬件設計，不便于比較。因此，將本文設計的ROI電路模塊嵌入JPEG2000編碼硬核進行測試。此硬核編碼大小為512×512的瓦片(Tile)，進行3層9/7 DWT，采用文獻[26]所述DWT架構，為11。測試結果表明，JPEG2000硬件系統(tǒng)可穩(wěn)定地運行在200 MHz時鐘頻率，對1024×1024×24 bit彩色圖像的編碼速率達24幀/s，可滿足高清圖像實時處理要求。

4 結束語

本文提出一種基于JPEG2000的遙感圖像感興趣區(qū)域編碼新方法，實現了高質量的感興趣區(qū)域編碼并提升了重建圖像主觀視覺效果，且在協議兼容性等方面表現優(yōu)異。提出了針對此算法的VLSI設計，具有較高的工作頻率和吞吐率，可滿足高清圖像實時編碼。后續(xù)將研究任意形狀ROI的表示，使所提VLSI架構可支持任意形狀ROI編碼。

, 徐波, 高有濤, 等. 基于近鄰傳播聚類與核匹配追蹤的遙感圖像目標識別方法[J]. 電子與信息學報, 2014, 36(12): 2923-2928. doi: 10.3724/SP.J.1146.2014.00422.

CHU Yuezhong, XU Bo, GAO Youtao,. Technique of remote sensing image target recognition based on affinity propagation and kernel matching pursuit[J].&, 2014, 36(12): 2923-2928. doi: 10.3724/SP.J.1146.2014.00422.

[2] 李曉博, 孫文方, 李立. 靜止軌道遙感衛(wèi)星海面運動艦船快速檢測方法[J]. 電子與信息學報, 2015, 37(8): 1862-1867. doi: 10.11999/JEIT141615.

LI Xiaobo, SUN Wenfang, and LI Li. Ocean moving ship detection method for remote sensing satellite in geostationary orbit[J].&, 2015, 37(8): 1862-1867. doi: 10.11999/JEIT141615.

[3] ISO/IEC. Information TechnologyJPEG2000 Image Coding System-Part 1: Core Coding System[S]. 2000.

[4] CHRISTOPOULOS C, ASKELOF J, and MATHIAS L. Efficient methods for encoding regions of interest in the upcoming JPEG2000 still image coding standard[J]., 2000, 7(9): 247-249. doi: 10.1109/97.863146.

[5] ISO/IEC. Information TechnologyJPEG2000 Image Coding System-Part 2: Extensions[S]. 2004.

[6] WANG Zhou and BOVIK C. Bitplane-by-bitplane shift (BbBshift)A suggestion for JPEG2000 region of interest image coding[J]., 2002, 9(5): 160-162. doi: 10.1109/LSP.2002.1009009.

[7] WANG Zhou, BANERJEE S, EVANS L,. Generalized bitplane-by-bitplane shift (BbBShift) method for JPEG2000 ROI coding[C]. Proceedings of International Conference on Image Processing, New York, 2002, 3: 81-84.

[8] LIU Lijie and FAN Guoliang. A new JPEG 2000 region of interest image coding method: partial significant bitplanes shift [J]., 2003, 10(2): 35-38. doi: 10.1109/LSP.2002.807867.

[9] TAUBMAN D and MARCELLIN M. JPEG2000 Image Compression Fundamentals, Standards and Practice[M]. USA: Kluwer Academic Publishers, 2001: 639-641.

[10] BARTRINA-RAPESTA J, AULI-LLNAS F, and SERRA-SAGRISTA J. JPEG2000 arbitrary ROI coding through rate-distortion optimization techniques[C]. Data Compression Conference, Snowbird, 2008: 292-301.

[11] XIE Yun and HAN Guoqiang. ROI coding with separated code block[C]. Proceedings of IEEE International Conference on Machine Learning and Cybernetics, Guangzhou, 2005, 9: 5447-5451.

[12] AMELI J, VAISEY J, and TONG Jin. Selecting the don’t care bits in JPEG2000 ROI coding[C]. Proceedings of SPIE, San Jose, 2004, 5308: 1383-1390.

[13] KONG Haosong, VETRO A, and HATA T.[C]. Proceedings of SPIE Visual Communications and Image Processing, Beijing, 2005, 5960: 59605Q.

[14] SANCHEZ V, BASU A, and MANDAL K. Prioritized region of interest coding in JPEG2000[J]., 2004, 14(9): 1149-1155. doi: 10.1109/TCSVT.2004.833168.

[15] WABG Jianxin and ZHU En. Background pretruncated method for JPEG2000 region of interest coding[J]., 2015, 24(3): 033019. doi: 10.1117/1.JEI. 24.3.033019.

[16] JIAO Licheng, WABG Lei, WU Jiaji,. Shape-adaptivreversible integer lapped transform for lossy-to-lossless ROI coding of remote sensing two-dimensional images[J]., 2011, 8(2): 326-330. doi: 10.1109/LGRS. 2010.2072490.

[17] ZHANG Liao, LI Hao, WABG Pengfei,. Detection of regions of interest in a high-spatial-resolution remote sensing image based on an adaptive spatial subsampling visual attention model[J].&, 2013, 50(1): 112-132. doi: 10.1080/15481603.2013.778553.

[18] CHENG Guangchun and BUCKLES B. A nonparametric approach to region-of-interest detection in wide-angle views [J]., 2014, 49(1): 24-32. doi: 10.1016/j.patrec.2014.05.019.

[19] ANESAN P, RAJINI V, SATHISH S,. HSV color space based segmentation of region of interest in satellite images[C]. 2014 International Conference on Control, Instrumentation, Communication and Computational Technologies (ICCICCT), India, 2014: 101-105.

[20] ZHANG Libao and YANG Kaina. Region-of-interest extraction based on frequency domain analysis and salient region detection for remote sensing image[J]., 2014, 11(5): 916-920. doi: 10.1109/LGRS.2013.2281827.

[21] SALIHA A, KARIMA B, MOULOUD K,. Extraction method of region of interest from hand palm: application with contactless and touchable devices[C]. 2014 10th International Conference on Information Assurance and Security (IAS), Okinawa, 2014: 77-82.

[22] CHEN Huizhong, JING Ning, WANG Jun,.novel saliency detection method for lunar remote sensing images[J]., 2014, 11(1): 24-28. doi: 10.1109/LGRS.2013.2244845.

[23] ZHANG Libao, YANG Kaina, and LI Hao. Regions of interest detection in panchromatic remote sensing images based on multiscale feature fusion[J]., 2014, 7(12): 4704-4716. doi: 10.1109/JSTARS. 2014.2319736.

[24] HAN O, BILGIN A, and MARCELLIN W. Visually lossless JPEG2000 at fractional resolutions[C]. 18th IEEE International Conference on Image Processing (ICIP), Paris, 2011: 309-312.

[25] HAN O, BILGIN A, and MARCELLIN W. Visually lossless encoding for JPEG2000[J]., 2013, 22(1): 189-201. doi: 10.1109/TIP. 2012.2215616.

[26] WANG Jianxin and ZHU En. A high-throughput VLSI design for JPEG2000 9/7 discrete wavelet transform[J].(), 2015, 31(1): 19-24. doi: 10.3969/j.issn.1003-7985.2015.01.004.

王建新： 男，1989年生，博士生，研究方向為圖像視頻編碼算法及芯片設計.

朱 恩： 男，1965年生，博士生導師，研究方向為圖像視頻編碼算法及芯片設計.

劉文松： 男，1983年生，博士生，研究方向為圖像視頻編碼算法及芯片設計.

祁友杰： 男，1982年生，博士生，研究方向為圖像視頻編碼算法及芯片設計.

A New Region of Interest Coding Algorithm Based on JPEG2000 for Remote Sensing Images and Its VLSI Design

WANG Jianxin ZHU En LIU Wensong QI Youjie

(School of Information Science and Engineering, Southeast University, Nanjing 211100, China)

To resolve the conflict between the amount of image data and the channel bandwidth, a Region Of Interest (ROI) coding method based on JPEG2000 is proposed in this paper. The mainstream methods for JPEG2000 ROI coding have a difficulty in balancing ROI quality and system computation, and have a hidden trouble in losing background completely at a low bit rate. The proposed method achieves ROI coding by precisely controlling the accuracy of background coefficients in each subband. The human visual property is introduced to obtain better visual effect with limited background codestream. Also, the Very Large Scale Integration (VLSI) design of the proposed method for the rectangle ROI is proposed. This design can be suitable for the mainstream ROI methods for JPEG2000 by some necessary adjustments. Experimental results show that the proposed method obtains an excellent performance in ROI quality and visual effect of the reconstructed images, supports arbitrary ROI shape coding, and is compatible with the standard. The VLSI design only adds one clock cycle on the coding time of JPEG2000 system, has a high throughput, and satisfies real-time applications.

Remote sensing image; Region Of Interest (ROI) coding; JPEG2000; Human visual property; Very Large Scale Integration (VLSI)

The National Natural Science Foundation of China (61271058)

TP751; TN492

A

1009-5896(2016)04-0958-06

10.11999/JEIT150812

2015-07-08；改回日期：2015-12-02；網絡出版：2016-02-03

朱恩 zhuenpro@seu.edu.cn

國家自然科學基金(61271058)