周丁華姜漢鈞王月娟呂曉娟王志華

?

膠囊內(nèi)窺鏡系統(tǒng)圖像壓縮算法設(shè)計(jì)及實(shí)現(xiàn)*

周丁華①*姜漢鈞②王月娟①呂曉娟①王志華②

周丁華,男,(1965- ),博士，主任醫(yī)師。火箭軍總醫(yī)院全軍肝膽胃腸病中心，從事消化外科臨床與基礎(chǔ)研究工作。

目的：設(shè)計(jì)一種高效的壓縮、存儲和傳輸?shù)膱D像處理系統(tǒng)，以滿足高性能膠囊內(nèi)窺鏡對消化道疾病臨床診斷的需要。方法：在圖像處理系統(tǒng)的設(shè)計(jì)中引入在不同分解尺度取不同閾值的屏蔽函數(shù)和基于統(tǒng)計(jì)分析的優(yōu)化編碼方案，并對其進(jìn)行專門測試。結(jié)果：通過專門的測試顯示，用此圖像處理系統(tǒng)的膠囊內(nèi)窺鏡的圖像傳輸速率為12幀/s，景深0～50 mm，實(shí)現(xiàn)了圖像數(shù)據(jù)的高效、高保真的壓縮和高速的傳輸要求。結(jié)論：通過實(shí)現(xiàn)圖像處理系統(tǒng)的設(shè)計(jì)，在極大降低能耗的同時(shí)可較好地解決圖像傳輸、還原的應(yīng)用需求，并能夠滿足消化道系統(tǒng)監(jiān)測與診斷需求。

膠囊內(nèi)窺鏡；圖像壓縮算法；JPEG-LS編碼器；低功耗

①火箭軍總醫(yī)院全軍肝膽胃腸病中心 北京 100088

②清華大學(xué)微電子研究所 北京 100084

[First-author’s address] The General Hospital of the PLA Rocket Force, Beijing 100088, China.

21世紀(jì)伊始，以色列Given Image公司成功研發(fā)出無線膠囊式內(nèi)窺鏡，并因其在消化道疾病的臨床診斷中具有的有效性、安全性及無創(chuàng)性等特點(diǎn)而被迅速應(yīng)用于臨床[1-3]。膠囊內(nèi)窺鏡由一組微小元器件組成，受檢者口服膠囊內(nèi)窺鏡后，膠囊內(nèi)窺鏡會通過內(nèi)置的攝像頭在消化道內(nèi)以一定的頻率拍攝照片，并通過信號傳輸裝置將照片傳出體外，利用體外的圖像記錄儀和影像工作站了解受檢者的整個(gè)消化道情況，從而對其病情做出診斷。

在膠囊內(nèi)鏡檢查為小腸疾病診斷開辟了新領(lǐng)域的同時(shí)，帶來了新技術(shù)的挑戰(zhàn)：膠囊內(nèi)窺鏡拍攝的照片數(shù)量巨大，如何在有限電量制約下準(zhǔn)確、高效地將所拍攝照片傳出是關(guān)鍵的問題[4]。本研究根據(jù)膠囊內(nèi)窺鏡的特定工作環(huán)境要求，提出一個(gè)適合無線內(nèi)窺鏡的無損和準(zhǔn)無損壓縮算法，并設(shè)計(jì)實(shí)現(xiàn)低功耗、小面積的圖像壓縮器硬件。

1 膠囊內(nèi)窺鏡系統(tǒng)圖像壓縮算法

圖像壓縮指以較少的比特有損或無損地表示原來的像素矩陣的技術(shù)，也稱圖像編碼。進(jìn)行圖像壓縮可以較快地傳輸各種信源、提高信道的利用率、降低發(fā)射功率、節(jié)約能源以及減少存儲容量等[5]。目前，較為廣泛應(yīng)用的圖像壓縮算法有JPEG壓縮、JPEG2000壓縮、小波變換圖像壓縮以及分形圖像壓縮等，而各類壓縮算法在壓縮圖像質(zhì)量和壓縮比等方面各有優(yōu)勢[6]?；谀z囊內(nèi)窺鏡的圖像數(shù)據(jù)壓縮模塊，要在無線通信帶寬有限、無線發(fā)射能耗有限的條件下，使壓縮后的圖片盡可能清晰地傳出則是很大的挑戰(zhàn)。本研究設(shè)計(jì)采用的無損和準(zhǔn)無損圖像壓縮算法由專用的圖像濾波算法和標(biāo)準(zhǔn)的JPEG-LS壓縮算法組成。

1.1 專用圖像濾波算法

目前，CMOS圖像傳感器[7]廣泛采用的一種原始傳感像素排列格式是Bayer[8]彩色濾波陣列格式。其中，奇數(shù)行的圖像數(shù)據(jù)為藍(lán)色分量(B)和綠色分量(G)間隔排列；偶數(shù)行的圖像數(shù)據(jù)為綠色分量(G)和紅色分量(R)間隔排列，如圖1所示。

圖1 原始Bayer CFA格式及濾波后圖像格式示意圖

CMOS圖像傳感器只能感應(yīng)光線強(qiáng)度，不能感應(yīng)色彩信息。因此，光線在打到傳感芯片之前先通過彩色濾鏡陣列，使得相應(yīng)的彩色通過，濾除其他顏色的光線，得到的圖像信息將通過A/D變換后逐行輸出。由于目前集成電路的限制，CMOS圖像傳感器的原始輸出是每個(gè)像素只包含R、G和B三種顏色分量中的一種顏色分量的馬賽克圖像。為了獲得另外2種顏色分量的信息以形成完整的全彩色圖像，Bayer格式的圖像傳感器在圖像重建過程中通常需要進(jìn)行顏色插值處理，從相鄰的像素中估計(jì)不足的顏色分量信息[9]。但是，插值處理的圖像數(shù)據(jù)量為未插值的3倍，這對于能量受限、帶寬受限的無線傳輸系統(tǒng)的挑戰(zhàn)是非常大的。研究表明，直接使用原始的彩色濾波陣列格式進(jìn)行壓縮和解壓縮，而后再進(jìn)行插值的方法可以在保證高圖像質(zhì)量的前提下極大降低傳輸?shù)臄?shù)據(jù)量[10-11]。因此，本研究所設(shè)計(jì)實(shí)現(xiàn)的圖像壓縮算法針對的是未插值的原始Bayer圖像數(shù)據(jù)。

然而，未插值的原始Bayer彩色濾波陣列排布中，相鄰像素相關(guān)性較小導(dǎo)致像素空間出現(xiàn)了明顯的高頻分量。無論是基于預(yù)測的壓縮方法即差分脈沖編碼調(diào)制(differential pulse code modulation，DPCM)，還是基于變換的壓縮方法即離散小波變換(discrete wavelet transform，DWT)，均會因此而極大降低圖像的壓縮比。為了消除由于不同顏色分量交替排列給壓縮帶來的不利影響，本研究采用了專門設(shè)計(jì)的圖像濾波算法，作為JPEG-LS圖像壓縮算法的預(yù)處理步驟，圖像濾波算法直接在R、G和B三種顏色分量空間對圖像數(shù)據(jù)進(jìn)行變換和均值濾波，極大地抑制了圖像空間的高頻分量，在保證圖像質(zhì)量的同時(shí)顯著提高了圖像壓縮性能。針對原始Bayer彩色濾波陣列圖像設(shè)計(jì)的濾波算法分為兩步。

1.1.1 圖像變換

圖像變換將B、G和R三種顏色分量分隔排列為G 和BR兩種顏色矩陣，在這一步驟中，B和R被視為同一種顏色分量，其計(jì)算為公式1：

式中(x，y)表示當(dāng)前像素的行列坐標(biāo)，而(X，Y)表示完成圖像變換后當(dāng)前像素的行列坐標(biāo)；N表示圖像的寬度。

1.1.2 均值濾波

在完成圖像變換后，當(dāng)前像素與水平和垂直兩個(gè)方向上的相鄰像素進(jìn)行均值濾波計(jì)算(公式2)：

式中(P)表示當(dāng)前像素的原始值，(P')表示當(dāng)前像素經(jīng)過濾波后的值。

濾波算法中將B分量和R分量視為同一顏色分量，將三種顏色分量簡化為兩種顏色分量進(jìn)行排布后再進(jìn)行處理。從圖像壓縮性能上考慮，兩種顏色分量的處理方法雖然比不上三種顏色分量分別壓縮的方法，但如果考慮到所消耗的硬件開銷和處理時(shí)間，兩種顏色分量的濾波方法將更有益于VLSI的硬件實(shí)現(xiàn)。因?yàn)閳D像濾波后的圖像陣列按照與圖像傳感器相同的方式逐行地送入JPEG-LS編碼器進(jìn)行壓縮，無需對其中的某一顏色分量進(jìn)行完全存儲，這使得濾波過程只需要緩存兩行圖像數(shù)據(jù)即可完成濾波過程，極大減少了對存儲器的要求，同時(shí)可與圖像傳感器同步的方式完成實(shí)時(shí)處理，提高了計(jì)算效率。

1.2 標(biāo)準(zhǔn)JPEG-LS圖像壓縮算法

JPEG-LS采用了基于像素預(yù)測的圖像壓縮方法的傳統(tǒng)結(jié)構(gòu)，由像素預(yù)測、圖像上下文建模、編碼及嵌入式字符集擴(kuò)展4個(gè)部分組成，如圖2所示。

JPEG-LS中的像素預(yù)測和上下文建模部分以圖1a所示的像素鄰域?yàn)槟０濉D中的x為當(dāng)前像素，a，b，c，d為相鄰像素。

1.2.1 像素預(yù)測

預(yù)測將根據(jù)已知的像素鄰域的值來預(yù)測下一像素的值。JPEG-LS算法的預(yù)測值由固定預(yù)測器(中部邊沿檢測器，即MED)和自適應(yīng)預(yù)測器累加產(chǎn)生。

圖2 JPEG-LS算法框圖

自適應(yīng)預(yù)測器(也稱偏移補(bǔ)償)是基于圖像上下文模型的預(yù)測器，用于補(bǔ)償固定預(yù)測器所具有的小數(shù)偏移量。

1.2.2 圖像上下文建模

通過對大量樣本的分析，固定預(yù)測器的預(yù)測值與真實(shí)值之間的誤差符合中心為0的雙邊幾何分布。然而在考慮了基于特定圖像上下文的條件之后，這種雙邊幾何分布的中心一般不為0，而相對于0產(chǎn)生一定的偏移量。JPEG-LS算法將根據(jù)對圖像上下文建立的模型進(jìn)行統(tǒng)計(jì)，根據(jù)統(tǒng)計(jì)的結(jié)果對偏移量作出補(bǔ)償，使最終的預(yù)測值與真實(shí)值之間的誤差更小，使得編碼的長度更短，圖像的壓縮比更高。

JPEG-LS算法采用基于像素鄰域梯度的圖像上下文建模方法。像素鄰域梯度為g1、g2和g3，其計(jì)算為公式4：

局部梯度包含了像素鄰域的平坦程度的信息。每個(gè)gj，j=1,2,3的值將被量化為一組等概率區(qū)間，這些區(qū)間是正負(fù)對稱且連續(xù)相連的。8比特的圖像數(shù)據(jù)的默認(rèn)量化區(qū)間為{0}，±{1，2}，±{3，4，5，6}，±{7，8，…,20}，±{e|e≥21}。量化后的圖像上下文(q1，q2，q3)的正負(fù)對稱集合是等概率的，將等概率集合合并后(q1，q2，q3)可以映射為365種圖像上下文模型。量化后的圖像上下文模型即可為自適應(yīng)預(yù)測器所用。

1.2.3 編碼器

爛眼阿根卻笑得更燦爛了，好像她們的罵聲很補(bǔ)很受用似的，他朝她們叫道：“像癩阿小這種造頭——還沒有長成熟的——鴨子，清湯寡水的，有啥個(gè)吃頭？姜還是老的辣，你們吃過就知道那味道……”

為了對符合雙邊幾何分布的預(yù)測殘差進(jìn)行編碼，JPEG-LS使用了有限長度的Golomb編碼器。Golomb編碼器最先用于游長編碼，JPEG-LS算法中的Golomb編碼器使用了二次冪的特殊除數(shù)(m=2k)進(jìn)行編碼，有利于硬件實(shí)現(xiàn)，簡化了編碼器的復(fù)雜度。同時(shí)，二次冪的特殊除數(shù)的Golomb編碼器對于雙邊幾何分布是優(yōu)化的，也稱為Golomb-Rice編碼器。對于任意給定的數(shù)y，其編碼分為商和余數(shù)兩個(gè)部分。商 y/2k采用一元編碼，而余數(shù)則直接使用y的最低k特表示，商和余數(shù)之間用一比特進(jìn)行分隔，這樣y的編碼長度為k+1+ y/2k。

此外，JPEG-LS算法使用了自適應(yīng)的k參數(shù)選取策略來改進(jìn)編碼效率，這種自適應(yīng)的算法也是基于圖像上下文模型的，其預(yù)測殘差幅度之和A、預(yù)測殘差的個(gè)數(shù)N、預(yù)測累計(jì)殘差B以及預(yù)測偏移補(bǔ)償C將對于每種圖像上下文模型進(jìn)行統(tǒng)計(jì)。

2 膠囊內(nèi)窺鏡系統(tǒng)圖像壓縮器硬件實(shí)現(xiàn)

由于膠囊內(nèi)窺鏡工作環(huán)境限制，其圖像壓縮模塊必須滿足低功耗、小面積的性能要求。另一方面，膠囊內(nèi)窺鏡系統(tǒng)的數(shù)據(jù)吞吐率受限于無線射頻收發(fā)機(jī)的數(shù)據(jù)率(200～800 kbps)，JPEG-LS數(shù)據(jù)傳輸速率要求不高[12]。JPEG-LS算法分為3種不同的模式，即正常模式、游程模式和游程中斷模式[13]。這3種模式下的算法復(fù)雜難度為正常模式＞游程中斷模式＞游程模式。

本研究設(shè)計(jì)的壓縮器硬件結(jié)構(gòu)可分為圖像濾波器和JPEG-LS編碼器2個(gè)部分。為了復(fù)用片上的行緩存SRAM，JPEG-LS算法中生成模板的部分與濾波算法進(jìn)行了合并。彩色濾波陣列格式的原始圖像數(shù)據(jù)經(jīng)過濾波模塊處理后，生成了圖1b所示的像素鄰域。JPEG-LS編碼器的模式判決模塊將根據(jù)像素鄰域來判斷圖像的平坦程度，并依此選擇3條流水線中的一條來進(jìn)行編碼。3條并行的流水線，即正常模式流水線、游程中斷模式流水線和游程模式流水線，分別對正常模式、游程模式和游程中斷模式的編碼過程進(jìn)行處理(如圖3所示)。

圖3 無損圖像壓縮模塊VLSI結(jié)構(gòu)圖

使用3條獨(dú)立的流水線分別實(shí)現(xiàn)不同模式的編碼過程，可以使編碼過程以最低的硬件資源和能量消耗來完成計(jì)算。例如在計(jì)算復(fù)雜度最低的游程模式下，當(dāng)前像素使用簡單的游程模式流水線進(jìn)行編碼，此時(shí)另外2條流水線將停止工作。游程模式流水線以非常簡單的邏輯單元和翻轉(zhuǎn)次數(shù)完成編碼過程，避免了另外2條流水線不必要的能量消耗，對JPEG-LS編碼器數(shù)據(jù)通路的功耗仿真的結(jié)果不包括存儲單元的功耗(如圖4所示)。

圖4 不同模式下數(shù)據(jù)通路功耗仿真結(jié)果示圖

圖4顯示對3行圖像數(shù)據(jù)進(jìn)行編碼時(shí)數(shù)據(jù)通路的功耗，前2行圖像數(shù)據(jù)平坦，使用了游程模式的游程模式流水線進(jìn)行編碼，功耗僅為12 μW。第3行圖像數(shù)據(jù)使用了正常模式的正常模式流水線進(jìn)行編碼，功耗122 μW，為游程模式流水線的10倍。因此，對于平坦度較高的圖像，大量的像素被游程模式流水線處理，圖像壓縮模塊消耗的能量就可以極大降低。

JPEG-LS數(shù)據(jù)通路的流水線具體設(shè)計(jì)。3條流水線均為3級，每級分配4個(gè)時(shí)鐘周期，使用每級4個(gè)時(shí)鐘周期雖然降低了數(shù)據(jù)通路的吞吐率，但卻有利于減少消耗的硬件資源，如圖5所示。

圖5 JPEG-LS編碼器流水線數(shù)據(jù)通路框圖

(1)每級4個(gè)時(shí)鐘周期的分配使流水線可以更加廣泛地使用級內(nèi)的資源復(fù)用。例如，圖像局部梯度計(jì)算D1=d-b、D2=b-c和D3=c-a可以使用同一減法器在4個(gè)時(shí)鐘周期內(nèi)完成，而每級1個(gè)時(shí)鐘周期則需要3個(gè)減法器才能完成。

(2)每級4個(gè)時(shí)鐘周期的分配可以對上下文參數(shù)SRAM的訪問被安排在同一流水線級內(nèi)完成，避免不同流水線級對上下文參數(shù)SRAM同時(shí)讀寫，從而避免使用雙倍尺寸的上下文參數(shù)SRAM。

(3)每級4個(gè)時(shí)鐘周期的分配使得行緩存SRAM可以使用單端口的SRAM來實(shí)現(xiàn)，而無需使用面積較大的雙端口SRAM，即節(jié)省了芯片的面積。

除了流水線級內(nèi)的資源復(fù)用，JPEG-LS的數(shù)據(jù)通路也采用了流水線之間的資源復(fù)用。因?yàn)檎ＤＪ搅魉€和游程中斷模式流水線均采用Golomb編碼器編碼。因此2條流水線第2級和第3級分別共享了Golomb參數(shù)k計(jì)算和Golomb編碼器的電路，如圖5中深灰色的模塊所示。

Golomb參數(shù)k決定了Golomb的編碼長度k+1+y/2k。k的軟件計(jì)算方式為公式5：

式中N為圖像上下文模型出現(xiàn)的次數(shù)，A為預(yù)測殘差幅度的累計(jì)之和。

在以往的硬件實(shí)現(xiàn)中，為了在一個(gè)時(shí)鐘周期內(nèi)得出k值，需要大量的比較器對所有可能的k值進(jìn)行比較，這無疑消耗了大量的硬件資源和不必要的計(jì)算。為了簡化計(jì)算過程，本研究提出了新的k值計(jì)算方法，其為公式6：

新的電路實(shí)現(xiàn)極大的使用了對數(shù)編碼器來減少比較器的使用，使得最終的等效門數(shù)相較于原來減少了45%。

在對圖像壓縮器進(jìn)行專門的測試中，在20 MHz的時(shí)鐘頻率和0.95 V的電源電壓下，以15 fps的速率對VGA格式的Bayer圖像進(jìn)行壓縮時(shí)，圖像壓縮模塊的功耗僅為0.8 mW，極為適合膠囊內(nèi)窺鏡系統(tǒng)的特殊應(yīng)用環(huán)境。同時(shí)，圖像的傳輸速率可達(dá)12幀/s，平均每例記錄圖像63761幀，下載數(shù)據(jù)長度約為8.5 h，可高效完成圖像處理及傳輸。

3 結(jié)語

本研究提出的JPEG-LS圖像數(shù)據(jù)壓縮模塊，可將圖像傳感器采集到的圖像數(shù)據(jù)進(jìn)行無損和準(zhǔn)無損壓縮，能夠滿足膠囊內(nèi)窺鏡低功耗下的圖像記錄要求，且可提供1/3的壓縮比，有效提高系統(tǒng)數(shù)據(jù)傳輸效率，充分滿足醫(yī)生通過膠囊內(nèi)窺鏡對消化道疾病的臨床監(jiān)測與診斷需求。

[1]馮桂建,劉玉蘭.膠囊式內(nèi)窺鏡的發(fā)展和應(yīng)用[J].中國消化內(nèi)鏡,2007,1(2):16-21.

[2]周丁華,閆濤,呂偉,等.HT型膠囊式內(nèi)窺鏡在消化道隱匿性出血中的診斷價(jià)值[J].中華損傷與修復(fù)雜志, 2012,7(5):538-541．

[3]周丁華,閆濤,呂偉,等.HT型膠囊式內(nèi)窺鏡檢查對人體消化道動力學(xué)的影響[J].中華損傷與修復(fù)雜志, 2012,7(6):636-637．

[4]張偉,謝德明.膠囊內(nèi)鏡的技術(shù)進(jìn)展及臨床應(yīng)用[J].生物醫(yī)學(xué)工程與臨床,2012,9,12(5):499-503.

[5]覃鳳清.數(shù)字圖像技術(shù)壓縮綜述[J].宜賓學(xué)院學(xué)報(bào), 2006,7(6):88-90.

[6]田勇,丁學(xué)君.數(shù)字圖像壓縮技術(shù)的研究及進(jìn)展[J].裝備制造技術(shù),2007(4):72-75.

[7]周文光,王春飛,毛坤劍等.一種新型內(nèi)窺鏡視頻系統(tǒng)的設(shè)計(jì)[J].中國醫(yī)學(xué)裝備,2015,12(3):30-33.

[8]B.E.Bayer.Color image array[P].U.S.Patent: No.3917065,1976.

[9]華磊.基于Bayer圖像數(shù)字圖像傳感器顏色插值及降噪的算法研究[D].杭州:浙江大學(xué)信電系,2011.

[10]Toi T,Ohita M.A subband coding techinque for image compression in single CCD cameras with Bayer color filter arrays[J].IEEE Trans.Consumer Electronics,1999,45(1):176-180.

[11]Chin Chye Koh,Jayanta Mukherjee,Sanjit K.Mitra.New efficient methods of image compression in digital cameras with color filter array[J].IEEE Trans.Consumer Electronics,2003, 49(4):1448-1456.

[12]王磊.面向普適醫(yī)療的低功耗醫(yī)學(xué)集成電路芯片設(shè)計(jì)[J].中國醫(yī)療器械信息,2010,16(6):21-24.

[13]郝勇錚.基于JPEG-LS算法的星載圖像壓縮系統(tǒng)設(shè)計(jì)[D].西安:西安電子科技大學(xué)通信與信息系統(tǒng)專業(yè), 2011.

The design and realization of image compression methodology of capsule endoscope

ZHOU Ding-hua, JIANG Han-jun, WANG Yue-juan, et al// China Medical Equipment,2016,13(2):5-9.

Objective: To design one kind of image system with high efficiency scheme of image compression, storage and transmission to meet the needs of high performance endoscope.Methods: By introducing the shielding function which owns different threshold at different decomposition scales and the optimized coding scheme based on statistical analysis.And then we validated the endoscope by professional tests.Results: Experiments and clinical applications shown this capsule endoscope realized the features of 12 fps frame rate even for 480×480 images, DOF 0～50 mm.It realized high efficiency, high fidelity compression and high speed transmission of the image.Conclusion: The energy consumption of the image storage system had been greatly reduced through the design, and the application demands of image transmission and reduction had been solved.The capsule endoscope can well meet the requirements from system monitoring and diagnosis.

Capsule endoscope; Image compression algorithm; JPEG-LS encoder; Low-power

10.3969/J.ISSN.1672-8270.2016.02.002

國家863計(jì)劃資助項(xiàng)目(2008AA0107102)“基于極低功耗SoC芯片的消化道無線檢測產(chǎn)品開發(fā)-消化道無線檢測產(chǎn)品臨床檢測”；軍隊(duì)“十一五”杰出人才課題(06J003)“消化道微型仿生機(jī)器人優(yōu)化及其體內(nèi)定位方法的研究”

zhoudh@sina.com

1672-8270(2016)02-0005-05

R197.324

A

2015-11-09