李曉磊，張明明，王磊，陳玉民

（1.河北工業(yè)大學電子信息工程學院，天津 300401；2.廊坊職業(yè)技術學院電氣工程系，河北廊坊 065000；3.河北工業(yè)大學電氣工程學院，天津 300130）

基于雙芯片DM642的Bayer格式圖像修復系統(tǒng)

李曉磊1,2，張明明2，王磊2，陳玉民3

（1.河北工業(yè)大學電子信息工程學院，天津 300401；2.廊坊職業(yè)技術學院電氣工程系，河北廊坊 065000；3.河北工業(yè)大學電氣工程學院，天津 300130）

提出了一種基于數(shù)字信號處理器（DM642）和可編程邏輯門陣列（FPGA）架構(gòu)的Bayer格式圖像修復系統(tǒng)，可應用于高速圖像采集和實時處理．該系統(tǒng)采用雙處理器流水線體系結(jié)構(gòu)，DM642計算出改進的四點像素Bayer格式圖像校正參數(shù)，F(xiàn)PGA根據(jù)校正后的參數(shù)對失去的像素進行恢復，再按一定的數(shù)據(jù)格式打包傳給DM642進行雙線性插值運算．實驗結(jié)果表明：該系統(tǒng)修復一幅大小為752×480像素的Bayer圖像大約需要15 ms，完全可以滿足實時性的要求，解決了采用傳統(tǒng)的Bayer圖像恢復算法所產(chǎn)生的邊界模糊以及局部圖像有團塊等問題．

DM 642；FPGA；CMOS圖像傳感器；雙線性插值

在煤礦中，為保證安全生產(chǎn)，在各主要部門和生產(chǎn)環(huán)節(jié)都架設了視頻監(jiān)控系統(tǒng)．以我國最常見的深井綜采為例，在地面上，需要將地面變電站、井口人工進口和物料進口等主要部門的生產(chǎn)環(huán)節(jié)進行實時監(jiān)控．在綜采井底，需要對罐籠人員和物料的出口、井下中央變電站、水泵房、采掘面供配電硐室等重要生產(chǎn)環(huán)節(jié)進行視頻監(jiān)控．而后將地面和地底所有的監(jiān)控信號實時傳至地面中央集控室，進行統(tǒng)一管理．在各主要環(huán)節(jié)的視頻信號的實時監(jiān)控是煤礦安全生產(chǎn)的一個主要的保障措施．

高精度圖像實時處理技術在機器視覺、通信、醫(yī)學、雷達成像、紅外探測、航天航空等領域得到越來越多的應用．由于圖像傳輸數(shù)據(jù)量大，數(shù)據(jù)處理實時性要求高，這就需要運算和處理速度快的中心處理系統(tǒng)．這里提出了一種針對工業(yè)質(zhì)量檢測中CMOS傳感器Bayer格式圖像進行像素修復和轉(zhuǎn)換為RGB格式的圖像進行實時處理的解決方案：數(shù)據(jù)處理模塊主要以數(shù)字信號處理器（DM642）和可編程邏輯控制器（FPGA）為主要處理芯片，極大地提高了Bayer格式數(shù)字圖像變換的精度，提高了系統(tǒng)設計的靈活性和運算速度，降低了系統(tǒng)設計和制造成本．

1 Bayer圖像格式

市場上所售的CMOS圖像傳感器大多是由Bayer濾光片組成，該濾光片把外界照射的光信號分解成RGB 3種基色，一個像素點代表一種顏色的亮度．本系統(tǒng)中所使用的CMOS圖像傳感器，最大能輸出752×480 ×8 bit的Bayer圖像數(shù)據(jù)（由于輸出圖像本身就是數(shù)字圖像，故無需對圖像進行模數(shù)轉(zhuǎn)換），Bayer格式圖像數(shù)據(jù)如圖1所示，其代表一幅圖像的數(shù)據(jù)量，由縱橫排列的小方格表示，其中每個小方格都代表一個像素，并且是3種顏色分量中的一種，奇數(shù)行由G、R偶數(shù)行由B、G交替進行，通過觀察，可以看到含有G分量的綠色像素越多，大約占據(jù)總量的一半，而R分量和B分量一共占據(jù)了剩下的一半，即紅色和藍色各占了1/4．由于人眼對綠色最敏感，所以綠色像素占的比例稍大．為了得到更加逼真的彩色圖像，采用插值方法是一個不錯的選擇，通過運算可以恢復另外兩個丟失的顏色分量，稱這種插值方法為彩色插值(Color Interpolation)．在插值方法的選擇中，G分量所使用的插值方法作用重大．效率較好的G分量插值法不僅能提高G像素分量的恢復質(zhì)量，而且也使R和B像素分量的質(zhì)量恢復的效率大大提高．DM642接口數(shù)據(jù)總線采用8位，F(xiàn)PGA先將輸出的圖像數(shù)據(jù)按每4個像素提取出一個通道數(shù)據(jù)包，分別取出R、G、G、B 4個通道數(shù)據(jù)，然后打包后傳送給DM642進行雙線性插值算法，最后得到的是一片被恢復轉(zhuǎn)換為24位的RGB彩色圖像．

圖1 Bayer彩色濾光陣列Fig.1Bayer color filtering array

2 Bayer圖像處理算法

2.1 Bayer圖像數(shù)據(jù)的傳統(tǒng)處理算法

物體被光照射會吸收一定的溫度，從而發(fā)出不同的光線，此光線既包含了亮度成份又包含了顏色成分．當色溫高時，藍色成分較多，圖像偏藍；相反，色溫低時，紅色成分較多，圖像偏紅．因此，物體反映出的色彩會隨著照射物體的光線變化而發(fā)生變化，從而影響到后期算法處理的結(jié)果．此時，需要對數(shù)據(jù)圖像進行像素修正，相關插值算法是經(jīng)常采用的算法，可以分為以下兩類：

1）單通道獨立插值算法：紅、綠、藍通道分量值（其中紅、綠、藍的分量值未知）直接由相應的已知像素值進行估算而不考慮它們之間的相關性，如雙線性法．由于忽略各通道間的相關性以及邊緣區(qū)像素的方向性，容易造成一定程度的邊緣模糊．

2）信號相關插值算法：考慮多通道的相關性及圖像細節(jié)而進行插值運算，但算法比較繁瑣，需要消耗很多的硬件資源，而且此種算法大都是串行執(zhí)行，實時處理效果不佳．

針對以上兩種算法的不足，采用4點像素修復法．即，將一幀大小為752×480的圖像數(shù)據(jù)按照上下左右4點數(shù)據(jù)的關系按式(1)進行修正，然后提取出各1/4幀數(shù)據(jù)大小的r、g1、g2、b四個通道數(shù)據(jù)進行處理．

2.2 Bayer格式圖像的改進處理算法

Bayer圖像數(shù)據(jù)格式的組成中，其圖像的一半像素分給G通道的亮度信號，另一半像素分給R通道和B通道的色度信號．所謂格式轉(zhuǎn)換就是將經(jīng)過彩色濾光陣列（CFA）得到的Bayer格式圖像進行像素復原，并轉(zhuǎn)換為24位RGB格式的彩色圖像的過程，即是上面提到的彩色插值的過程．如圖2所示，修正后的Bayer格式數(shù)據(jù)采取一種改進的線性插值算法，分兩步進行．

1）邊緣像素點即圖像周圍兩圈的像素的插值

以上是對左上角第一個2×2區(qū)域內(nèi)的像素處理方法，其它周圍兩圈像素的求取依此法類推．

2）剩余像素點的插值

即在2x2區(qū)域內(nèi)對相鄰對應元素求平均值．

類似于紅色分量，也可以得出藍色分量的計算式．

圖2 修正后的Bayer陣列Fig.2Modified Bayer array

圖3 系統(tǒng)總體結(jié)構(gòu)圖Fig.3Structure of system

3 系統(tǒng)的硬件實現(xiàn)

基于DM642的Bayer格式圖像恢復系統(tǒng)由CMOS圖像傳感器、DM642、FPGA、FLASH存儲器、SDRAM可擴展內(nèi)存和EMAC組成，系統(tǒng)總體結(jié)構(gòu)如圖3所示．

該系統(tǒng)是以DM642和FPGA為結(jié)構(gòu)組成的Bayer圖像處理系統(tǒng)，工作流程如圖4所示．電源開啟后，第1步：通過上位機PC網(wǎng)絡配置其傳感器參數(shù)，采集一幀圖像原始數(shù)據(jù)，F(xiàn)PGA將數(shù)據(jù)傳輸通道切換到到DM642的VP0口，將數(shù)據(jù)傳遞給DM642．DM642對采集出來的第一張圖像進行核心算法計算，得出算法參數(shù)（公式(1)中的參數(shù)矩陣數(shù)據(jù)）；第2步：通過串行外設接口SPI總線傳回FPGA參數(shù)配置寫入Flash存儲器中．系統(tǒng)重新上電后，F(xiàn)PGA按最新算法參數(shù)對圖像數(shù)據(jù)進行r、g1、g2、b通道提取數(shù)據(jù)．這樣，利用1/4原始數(shù)據(jù)幀，就可以重新組成一幀大小為752x480規(guī)格的數(shù)據(jù)包發(fā)送到DM642的VP1口．DM642通過增強型直接內(nèi)存存取(EDMA)完成RGGB 4通道數(shù)據(jù)的轉(zhuǎn)移；第3步：將各個數(shù)據(jù)通道分別傳到算法線程接口，運行雙線性插值算法，將其轉(zhuǎn)換成一幀24位的RGB圖像，通過以太網(wǎng)接口按照TCP/IP協(xié)議將其傳輸?shù)缴衔粰C進行PC圖像實時顯示和后續(xù)算法的處理．

圖4 系統(tǒng)工作流程圖Fig.4Flowchart of system

4 實驗結(jié)果

4.1 傳統(tǒng)算法和改進算法處理圖像效果的比較

實驗使用MT9V024傳感器采集Raw格式圖像，大小為752×480像素，如圖5a）所示．傳統(tǒng)的單通道獨立插值算法處理圖像如圖5b）所示．采用改進的雙線性插值算法處理圖像如圖5c）所示．改進算法處理后的圖像不但增加了亮度，而且對比度也明顯提高，邊界也更加突出，避免了使用傳統(tǒng)算法處理所出現(xiàn)的紅格現(xiàn)象．

4.2 算法實時性分析

在DM642上運行圖像處理算法時，為確保數(shù)據(jù)的準確性，必須使FPGA數(shù)據(jù)傳入的頻率是DM642的計算頻率的1/2倍（FPGA會同時采集相鄰上下兩行的數(shù)據(jù)），以確保圖像數(shù)據(jù)恢復的準確性．以實驗所采用的CMOSMT9V024為例，本文選取3幅大小均為752×480的圖像，分別用傳統(tǒng)的雙線性插值算法和改進的雙線性插值算法進行恢復，試驗結(jié)果如表1所示．

圖5 兩種算法處理圖像效果的比較Fig.5Comparison between two methods of image processing

表1 時間比較Tab.1Running time by two methods

顯然，改進算法與傳統(tǒng)算法相比較，處理速度得到了提高（其處理速度達到60 fps以上）．實驗結(jié)果表明：改進算法在硬件上的處理速度足以滿足實時性的要求．

5 結(jié)論

本文提出了基于DM642的Bayer圖像恢復系統(tǒng)，F(xiàn)PGA可以高速、實時地對MT9V024 CMOS圖像傳感器采集的Bayer格式原始圖像進行預處理，抽取各像素通道值進行打包發(fā)送給DM642，減少了DM642運行改進的雙線性插值算法的運算量，整個數(shù)據(jù)傳輸處理的準確度和實時性得到了改進，系統(tǒng)開發(fā)的周期也變短，該系統(tǒng)已經(jīng)成功運用到煤礦生產(chǎn)綜采視頻監(jiān)控系統(tǒng)中．此外，該系統(tǒng)較容易進行更新和擴展，性價比很高，具有廣泛的應用前景．

[1]TMS320DM642 Video/Imaging Fixed-Point Digital Signal Processor（Literature Number：SPRS200J）[R]．Texas Instruments，2005．

[2]黃文增，孫錦杏，蔡政翰，等．高品質(zhì)和快速彩色影像內(nèi)插算法之設計[J]．臺北科技大學學報，2007，40（2）：13-25．

[3]Vega M，Molina R，Katsaggelos A K．Bayesian Reconstruction of Color Images Acquired with a Single CCD[M]．LNCS：Springer Berlin/ Heidlberg，2005，343-350．

[4]ZhouY，WeiP A．Real-timeImageCorrelatingSpeedometerBasedonFPGAParallelProcessing[J]．OpticalTechnique，2006，32（1）：108-110．

[5]張雄偉，陳亮，徐光輝．DSP芯片的原理與開發(fā)應用[M]．北京：電子工業(yè)出版社，2004．

[6]徐欣，于紅旗，盧啟中，等．基于FPGA的嵌入式系統(tǒng)設計[M]．北京：電子工業(yè)出版社，2004．

[7]Dierichx B，Meynants G．Missing Pixel Correction Algorithm for Image Sensors．SPIE，1998，34（10）：200-300．

[8]楊莉珺，劉鐵根．基于CMOS圖像傳感器的嵌入式圖像采集與格式轉(zhuǎn)化[J]．電子產(chǎn)品世界，2008，6：96-98．

[9]陳春寧，王延杰．基于TMS320DM642 BAYER格式圖像色彩復原[D]．長春：中國科學院研究生院，2007．

[10]張變蓮．一種基于邊緣信息的貝爾模板彩色插值方法[J]．科學技術與工程，2009，9（11）：1671-1819．

[11]MT9V024 1/3-Wide-VGA Digital Image Sensor Table of Contents[R]．Mickon．2009．

[12]卞紅雨，紀祥春．TMS320C6000系列DSP的CPU與外設[M]．北京：清華大學出版社，2007．

[責任編輯 代俊秋]

A Bayer image restoration system based on double chips DM642

LI Xiaolei1,2，ZHANG Mingming2，WANG Lei2，CHEN Yumin3

(1.SchoolofElectronicEngineering,HebeiUniversityofTechnology,Tianjin300401,China；2.DepartmentofElectricalEngineering, Langfang Polytechnic Institute,Hebei 065000,China;3.School of Electrical Engineering,Hebei University of Technology,Tianjin 300130,China)

This paper presents a Bayer image restoration system with the architecture of dual-processor pipelines:digital signalprocessor(DSP)and fieldprogrammable gate array(FPGA),which canbe appliedto high-speedimageacquisition and data processing.Firstly,the DM642 executed core processing algorithm and returned it to the FPGA for data preprocessing to recover the lost pixels.Then,an image in a certain format was packaged and transferred to the DM642 for the bilinear interpolation operation.The results showthat the systemcan process a Bayer image of752×480pixels within 15 ms,and can solve traditional problems such as edge blurring and lumps in images.

DM642;FPGA;CMOS Image Sensor;Bi-linear Interpolation

TP338.6

A

1007-2373(2015)04-0018-04

10.14081/j.cnki.hgdxb.2015.04.004

2015-03-10

河北省高等學校科學技術研究項目（ZD2014026）

李曉磊（1983-），男（漢族），助教．

數(shù)字出版日期：2015-08-06

數(shù)字出版網(wǎng)址：http://www.cnki.net/kcms/detail/13.1208.T.20150906.1535.006.html