鞏稼民, 陳 博, 曾祥忠

(1.西安郵電大學(xué) 電子工程學(xué)院， 陜西 西安 710121； 2.西安中川光電科技有限公司， 陜西 西安 710075)

基于Camera Link數(shù)字相機(jī)的實(shí)時(shí)小型化系統(tǒng)

鞏稼民1, 陳 博1, 曾祥忠2

(1.西安郵電大學(xué) 電子工程學(xué)院， 陜西 西安 710121； 2.西安中川光電科技有限公司， 陜西 西安 710075)

設(shè)計(jì)一套基于Camera Link數(shù)字相機(jī)的實(shí)時(shí)小型化系統(tǒng)。根據(jù)Camera Link協(xié)議以及Bayer變換算法，采用Cyclone III 系列FPGA EP3C40F484芯片，通過采集輸入的Camera Link信號，異步FIFO與單片SDRAM方式進(jìn)行數(shù)據(jù)緩存，利用ADV7123芯片實(shí)現(xiàn)8位數(shù)模轉(zhuǎn)換，輸出1024×768 ×60Hz的VGA信號。實(shí)驗(yàn)結(jié)果表明，該系統(tǒng)可以不通過攜帶Camera Link圖像采集卡的計(jì)算機(jī),完成對Camera Link 信號的轉(zhuǎn)換并直接顯示圖像,并實(shí)現(xiàn)彩色與黑白模式切換。

實(shí)時(shí)小型化；Camera Link；FPGA；SDRAM 控制器；Bayer

Camera Link數(shù)字相機(jī)逐漸成為機(jī)器視覺方面的熱點(diǎn)，相比于千兆網(wǎng)、USB2.0以及IEEE 1394接口，Camera Link具有高傳輸速度、高分辨率、強(qiáng)穩(wěn)定性、通信協(xié)議靈活簡單等特點(diǎn)，可應(yīng)用于軍事偵查、光學(xué)遙感和飛船預(yù)警等領(lǐng)域[1-2]。而基于Camera Link數(shù)字相機(jī)的實(shí)時(shí)顯示系統(tǒng)主要是通過載有Camera Link圖像采集卡的計(jì)算機(jī)進(jìn)行間接顯示。目前Camera Link圖像采集卡是基于PCI總線或者PCI Express總線進(jìn)行數(shù)據(jù)的控制與傳輸[3-5]，雖然系統(tǒng)的高速實(shí)時(shí)性得到滿足,但體積較為龐大，使用攜帶不方便，對于空間要求嚴(yán)格的地點(diǎn)并不適合，其靈活性較低，具有一定的局限性[6-7]。

為了實(shí)現(xiàn)一種基于Camera Link數(shù)字相機(jī)高速實(shí)時(shí)小型化系統(tǒng)，就需要基于Camera Link信號采集原理、Bayer算法以及FPGA編程技術(shù)，在不通過計(jì)算機(jī)的情況下完成對Camera Link數(shù)據(jù)及控制信號進(jìn)行圖像采集、圖像緩存、信號轉(zhuǎn)換并顯示等一系列數(shù)據(jù)處理。圖像緩存模塊可以通過雙SDRAM[8]或者雙SRAM[9]乒乓操作進(jìn)行高速大容量數(shù)據(jù)的處理，本系統(tǒng)則采用單片SDRAM加異步FIFO的方法實(shí)現(xiàn)，另外在圖像的顯示方面增加了彩色/黑白模式的變換。

本文采用STC-CLC83A型號彩色Camera Link數(shù)字相機(jī)，根據(jù)DS90CR288解碼芯片采集Camera Link信號，基于EP3C40F484芯片完成控制器的設(shè)計(jì)，將輸入的有效像素1 024×768×30 fps的Camera Link信號緩存到單片SDRAM，并通過數(shù)模轉(zhuǎn)換芯片ADV7123進(jìn)行轉(zhuǎn)換，輸出1 024×768×60 Hz的標(biāo)準(zhǔn)VGA信號，外置撥碼開關(guān)進(jìn)行輸出圖像模式選擇。

1 Camera Link協(xié)議與Bayer算法

1.1 Camera Link協(xié)議

Camera Link協(xié)議是基于低壓差分信號(Low Voltage Differential Signaling，LVDS)數(shù)據(jù)傳輸信號之上的，LVDS信號在傳輸過程中產(chǎn)生一對電壓值大小不同信號，在接收時(shí)對這對差異信號進(jìn)行相應(yīng)的信號解碼成TTL信號，從而得到原始數(shù)據(jù)信息。

STC-CLC83A數(shù)字相機(jī)采用Camera Link配置下的Base型結(jié)構(gòu)，因此選用單片DS90CR288解碼芯片作為Camera Link信號接收器。從MDR26接口發(fā)送包含圖像信息的4路LVDS串行數(shù)據(jù)流和1路作為高速數(shù)據(jù)同步的LVDS時(shí)鐘流。5路LVDS信號在標(biāo)準(zhǔn)Camera Link電纜中傳輸并在DS90CR288接收到信號時(shí)將其串并轉(zhuǎn)換，解碼恢復(fù)成28位的并行數(shù)據(jù)進(jìn)行后續(xù)圖像處理[10]，如圖1所示。

圖1 Camera Link傳輸協(xié)議

1.2 Bayer算法

還原彩色圖像通常是在CCD傳感器的表面按一定順序排列的鍍含有紅綠藍(lán)三色的馬克膜，對接收的數(shù)據(jù)進(jìn)行一定的算法來獲取彩色圖像。Bayer CFA模板是目前廣泛采用的彩色圖像還原模板，它交替使用一組紅綠濾鏡和一組綠藍(lán)濾鏡，其中綠色像素占據(jù)總像素的50%，紅色像素占據(jù)25%，藍(lán)色像素占據(jù)25%，如圖2所示。

經(jīng)過Bayer CFA模板采集的圖像數(shù)據(jù)因?yàn)榫G色像素分量占了全部像素的一半，所以不經(jīng)過算法處理，圖像在整體的顯示效果上會呈現(xiàn)綠色。在算法上使用占用邏輯資源最少的2×2塊的Bayer模板。

圖2 Bayer CFA模板

在2×2塊的Bayer模板基本單元如圖3所示。內(nèi)對缺失的R、B分量完全使用相同顏色的分量，而對缺失的G分量使用均值方法，通過顏色分量輔助實(shí)現(xiàn)色彩還原。程序基本設(shè)計(jì)思路為在2×2單位塊內(nèi)的4個(gè)像素單元具有相同的R值和B值，第1列和第2列的兩個(gè)像元的G值為兩像素的平均值[11-13]。

圖3 2×2塊的拜爾模板基本單元

2 實(shí)時(shí)小型化設(shè)計(jì)

系統(tǒng)的總體設(shè)計(jì)由信號采集、圖像緩存、Bayer變換以及VGA信號模塊4個(gè)部分組成，如圖4所示。

圖4 總體設(shè)計(jì)框圖

2.1 信號采集模塊

相機(jī)通過MDR26輸出的5路LVDS串行差分信號經(jīng)DS90CR288A芯片恢復(fù)相機(jī)圖像信號,由芯片解碼輸出1路時(shí)鐘信號和28路數(shù)據(jù)信號，其數(shù)據(jù)信號包括24bit圖像有效數(shù)據(jù)信號和包含幀有效信號FVAL、行有效信號LVAL、數(shù)據(jù)有效信號DVAL、預(yù)留信號SPARE的4路控制信號。當(dāng)控制器檢測到行/場同步信號同時(shí)有效的情況下，以相機(jī)的輸入頻率作為信號采集模塊的像素時(shí)鐘,進(jìn)行接收圖像數(shù)據(jù)的采集工作。

2.2 實(shí)時(shí)Bayer轉(zhuǎn)換

相機(jī)的輸出數(shù)據(jù)按2×2 Bayer模板設(shè)4個(gè)變量，分別為mDATA_0，mDATA_1，mDATAd_0和mDATAd_1。4個(gè)變量組成了一個(gè)空間模板，mDATAd_0位于模板左上方，如表1所示。

表1 2×2 Bayer空間模板

模板中4個(gè)變量必然包含GRBG 4個(gè)色彩分量，根據(jù)2×2的Bayer變換模板的色彩變換原理，在模板中任意像素取鄰域的紅色像素值、藍(lán)色像素值和兩個(gè)綠色像素的平均值。在程序設(shè)計(jì)中，不同的位置采取不同的取值方法，其中mCCD_G的值在程序處理時(shí)再進(jìn)行均值，部分程序設(shè)計(jì)為

if ({iY_Cont[0],iX_Cont[0]} == 2'b00)

begin

mCCD_R <= mDATAd_0;

mCCD_G <= mDATA0+mDATAd_1;

mCCD_B <= mDATA_1;

end

else if…..

為了實(shí)現(xiàn)彩色Camera Link數(shù)字相機(jī)靈活的優(yōu)勢特點(diǎn)，并符合特定場所的要求，設(shè)計(jì)了通過撥碼開關(guān)調(diào)節(jié)CM信號實(shí)現(xiàn)黑白及彩色信號切換，部分程序?yàn)?/p>

采用SPSS 25.0統(tǒng)計(jì)學(xué)軟件對該次研究數(shù)據(jù)進(jìn)行統(tǒng)計(jì)處理，其中計(jì)量資料為血糖水平控制情況，用（±s）表示，進(jìn)行t檢驗(yàn)，治療效果為計(jì)數(shù)資料，用[n（%）]表示，進(jìn)行χ2檢驗(yàn)。P<0.05為差異有統(tǒng)計(jì)學(xué)意義。

assign oRed = CM?rRed : iDATA ;

assign oGreen = CM?rGreen[10:1] : iDATA ;

assign oBlue = CM?rBlue : iDATA ;

2.3 高速SDRAM緩存控制

采用單片MT48LC8M32B2(8M×32)型號、容量為256Mb、工作電壓為3.3V的SDRAM芯片，系統(tǒng)時(shí)鐘同步運(yùn)行的接口方式。其包括32bit Data Bus, 4banks (BA0～BA1)，每Bank的64Mb的存儲架構(gòu)是4096行×512列×32bit，每個(gè)Bank存儲單元通過行和列尋址，最終完成存儲單元的尋址工作。其SDRAM芯片引腳有DQ0～DQ31(數(shù)據(jù)輸入輸出引腳)、A0～A11(地址輸入引腳)、CLK、CKE、CS(芯片選擇)、RAS(行地址選擇)、CAS(列地址選擇)、WE(寫使能)、BA0～BA1(Bank地址輸入信號引腳)、DQM、VSS、VDD等引腳。設(shè)計(jì)程序通過初始化、預(yù)充電、行激活、讀/寫操作、自動刷新等操作控制SDRAM工作。在模式寄存器操作命令下進(jìn)行主要工作參數(shù)設(shè)置，其中包括Burst Length、Burst Type、CAS Latency以及OP Code。

因?yàn)镃amera Link數(shù)字相機(jī)輸入的圖像數(shù)據(jù)量大，速率快,所以采用異步FIFO實(shí)現(xiàn)乒乓緩存的機(jī)制進(jìn)行數(shù)據(jù)緩存，如圖5所示。

圖5 SDRAM模塊設(shè)計(jì)

為避免Camera Link信號(30fps)與VGA標(biāo)準(zhǔn)(60Hz)在幀頻上的干擾，首先將相機(jī)采集的圖像數(shù)據(jù)緩存到FIFO1中，當(dāng)FIFO1寫滿數(shù)據(jù)后，SDRAM開始存儲FIFO1的數(shù)據(jù),在FIFO1讀操作的同時(shí)FIFO2進(jìn)行相機(jī)數(shù)據(jù)的寫操作，當(dāng)FIFO1讀空時(shí)等待FIFO2的寫滿信號，當(dāng)FIFO2的寫滿信號有效時(shí)進(jìn)行FIFO1的寫操作。在寫FIFO2的同時(shí)對FIFO1進(jìn)行讀操作，當(dāng)讀操作讀空時(shí)等待FIFO2的寫滿信號，當(dāng)寫滿信號有效時(shí)再對FIFO1進(jìn)行寫操作，同時(shí)對FIFO2進(jìn)行讀操作。讀寫切換可以由FIFO的寫滿和讀空信號來控制，將圖像緩存到單片的SDRAM中,便于后續(xù)的圖像顯示處理。而在讀取圖像有效時(shí)同樣利用異步FIFO的乒乓操作，進(jìn)行緩存RGB信號提取并結(jié)合VGA模塊產(chǎn)生的行/場同步信號輸出信號。

接收的Camera Link相機(jī)時(shí)鐘信號為60MHz，而標(biāo)準(zhǔn)XGA信號的時(shí)鐘頻率為65MHz，利用50MHz晶振倍頻，將SDRAM的工作時(shí)鐘控制到166MHz，將有效圖像信號在SDRAM中進(jìn)行緩存，最大限度地保證在寫入以及讀取圖像信號時(shí)保證數(shù)據(jù)無失真。

2.4 VGA模塊輸出

選用ADV7123芯片作為視頻D/A轉(zhuǎn)換器，由于相機(jī)采用8位數(shù)據(jù)流，所以只用到ADV7123高8位端口。經(jīng)過ADV7123轉(zhuǎn)換后的3路模擬數(shù)據(jù)結(jié)合行、場同步信號，傳輸給VGA接口顯示器進(jìn)行顯示[14-16]。

根據(jù)VESA 1024×768×60Hz的時(shí)序標(biāo)準(zhǔn)，其行頻要求為48.363kHz，場頻要求為60Hz，像素時(shí)鐘為65MHz，有效行像素周期數(shù)為1024，有效場像素周期數(shù)為768，而FPGA核心板的晶振為50 MHz的時(shí)鐘信號，所以對其進(jìn)行PLL鎖相環(huán)產(chǎn)生像素時(shí)鐘。

行周期數(shù)= 65MHz÷48.363kHz = 1344，

幀周期數(shù)= 48.363kHz÷60Hz=806，

行消隱周期數(shù)=1344-1024=320，

場消隱周期數(shù)=806 -768=38。

在顯示信號消隱期間不進(jìn)行SDRAM中緩存圖像信息的讀取，只有在輸出1024×768有效像素時(shí)讀取信號。

構(gòu)建hsync行像素計(jì)數(shù)器,當(dāng)hsync=1344時(shí)清零，而當(dāng)行脈沖計(jì)數(shù)≥h_blank(=320)時(shí)，行同步信號輸出高電平1有效，其余在h_blank消隱期內(nèi)輸出低電平0，從而以行計(jì)數(shù)器hsync信號為單位構(gòu)建場像素計(jì)數(shù)器vsync。當(dāng)場計(jì)數(shù)值≥v_blank(= 38)時(shí)輸出有效信號高電平1,在v_blank消隱期內(nèi)的輸出低電平0，當(dāng)vsync (=806) 場同步信號時(shí)，場計(jì)數(shù)器清零以此作為場同步信號vsync。

3 系統(tǒng)測試及結(jié)果

在防靜電實(shí)驗(yàn)臺上，將STC-CLC83A數(shù)字相機(jī)和顯示器連接于系統(tǒng)(如圖6)，輸入5V+電壓，進(jìn)行測試。

圖6 系統(tǒng)實(shí)現(xiàn)效果

在顯示器上顯示1024×768×60Hz 實(shí)時(shí)圖像，并對目標(biāo)區(qū)域進(jìn)行彩色/黑白圖像信號的相互切換，如圖7所示。

(a) 黑白 (b) 彩色

圖7 圖像切換效果

測試結(jié)果表明，該系統(tǒng)已經(jīng)實(shí)現(xiàn)了基于Camera Link數(shù)字相機(jī)的小型化要求，支持Camera Link的高速穩(wěn)定信號的傳輸，滿足特定場所需求，替代Camera Link圖像采集卡進(jìn)行圖像直接顯示。

4 結(jié)束語

該小型化實(shí)時(shí)顯示系統(tǒng)針對于特定場所對空間以及實(shí)時(shí)性的要求，實(shí)現(xiàn)了摒棄在計(jì)算機(jī)工作環(huán)境下的Camera Link數(shù)字相機(jī)的直接顯示。通過Camera Link圖像高速采集在FPGA系統(tǒng)中進(jìn)行SDRAM數(shù)據(jù)緩存模塊和VGA信號產(chǎn)生與輸出，采用撥碼開關(guān)實(shí)現(xiàn)彩色與黑白信號的切換控制，不僅保證Camera Link實(shí)時(shí)系統(tǒng)的高速穩(wěn)定的特點(diǎn)，而且縮小體積，提高了系統(tǒng)的靈活性。

[1] 沈鴿，王美嬌，嵇曉強(qiáng).基于Camera Link 的視頻圖像采集與傳輸系統(tǒng)[J]. 嵌入式與SOC,2011(8):99-100.

[2] 陳炎斌，金剛.基于Camera Link標(biāo)準(zhǔn)的DSP_FPGA高速實(shí)時(shí)數(shù)字圖像處理系統(tǒng)設(shè)計(jì)[J]. 現(xiàn)代科學(xué)儀器，2010, 12(6):61-63.

[3] 王雪松.基于PCI9054的Camera Link圖像采集卡設(shè)計(jì)[J].儀器儀表用戶,2009(16):64-67.

[4] 鐘文峰. 基于 Camera Link 圖像采集卡的設(shè)計(jì)與實(shí)現(xiàn)[D]. 成都：電子科技大學(xué), 2011：9-12.

[5] 黃影. 基于 PCIe 總線的 Camera Link 圖像采集卡設(shè)計(jì)[D]. 大連：大連理工大學(xué), 2013：9-12.

[6] Zhao Wenge, He Huiming. FPGA-based video image processing system research [C]//Chengdu:Computer Science and Information Technology,2010：680-682.

[7] Benkrid K, Crookes D, Smith J, et al. High Level Programming for FPGA Based Image and Video Processing using Hardware Skeletons[C]//Rohnert Park:FCCM01, 2001：219-226.

[8] 孫春鳳, 袁峰，丁振良.基于FPGA 的多通道高速CMOS 圖像采集系統(tǒng)[J]. 計(jì)算機(jī)工程與應(yīng)用,2008, 44(21):46-49.

[9] 董亞則,王順.高速數(shù)字圖像采集顯示系統(tǒng)的設(shè)計(jì)與研究[J].吉林大學(xué)學(xué)報(bào),2011,29(6):543-547.

[10] 于建軍，吳志勇. Camera Link在視頻控制系統(tǒng)中的應(yīng)用[J]. 光機(jī)電信息,2011,28(5):42-45.

[11] 王淵博.基于FPGA的Bayer格式實(shí)時(shí)彩色恢復(fù)系統(tǒng)研究[D].北京：中國科學(xué)院大學(xué)，2013:15-28.

[12] 孫輝，柏旭光，孫麗娜,等.Bayer圖像色彩還原線性插值方法[J]. 液晶與顯示，2013,28(3):418-424.

[13] 莫迪涵, 杜慧敏, 沈緒榜. 基于線性插值法圖像縮放的設(shè)計(jì)與 FPGA 實(shí)現(xiàn)[J]. 西安郵電大學(xué)學(xué)報(bào), 2013,18(3): 52-55.

[14] 王鳴浩，陳濤，吳小霞.基于Camera Link接口的高幀頻數(shù)字圖像采集顯示系統(tǒng)[J].微電子學(xué)與計(jì)算機(jī),2011, 28(3):149-152.

[15] 劉慧，朱勇.基于FPGA 的VGA 彩色圖片的顯示[J]. 科技向?qū)В?011(20):84-85.

[16] 楊小勇，葛彥麟，毛瑞娟. 基于FPGA+A/D的數(shù)據(jù)采集設(shè)計(jì)及驗(yàn)證[J]. 西安郵電學(xué)院學(xué)報(bào), 2011,16(1): 98-102.

[責(zé)任編輯:祝劍]

《西安郵電大學(xué)學(xué)報(bào)》版權(quán)聲明

為適應(yīng)我國信息化建設(shè)的需要，擴(kuò)大刊物影響，拓寬信息交流渠道，本刊已加入“中國知網(wǎng)CNKI系列期刊數(shù)據(jù)庫”、“中國核心期刊(遴選)數(shù)據(jù)庫”(萬方數(shù)據(jù)——數(shù)字化期刊群)、“中國期刊網(wǎng)”等數(shù)據(jù)庫。本刊已許可以上數(shù)據(jù)庫以數(shù)字化方式復(fù)制、匯編、發(fā)行、信息網(wǎng)絡(luò)傳播本刊所載文章的全文信息。稿件一經(jīng)刊登，將在本刊稿酬中一次性支付著作權(quán)使用報(bào)酬(包括印刷版、光盤版和網(wǎng)絡(luò)版等各種使用方式的報(bào)酬)。作者向本刊提交文章的行為即視為同意我刊上述聲明。

西安郵電大學(xué)學(xué)報(bào)編輯部

A real-time miniaturization system based on Camera Link CCD camera

GONG Jiamin1, CHEN Bo1, ZENG Xiangzhong2

(1．School of Electronics Engineering, Xi’an University of Posts and Telecommunications, Xi’an 710121,China；2．Xi’an Mid-River Photoelectric technology Co.,Ltd, Xi’an 710075,China)

A design of the real-time miniaturization system is designed in this paper. In this system, Cyclone III (series FPGA EP3C40F484) is used to design a real-time display system and asynchronous FIFO and SDRAM are adopted to frame buffer and then transform Camera Link signal input to a 1024×768×60Hz format output. At the meantime, ADV7123 chip is used to transform the signal into an 8 digits format model and the output signals are displayed on a monitor through VGA port. Experiment result shows that this system can transfer and display images through Camera Link without the help of images capture cards. Thus, it allows the images to be switched from black and white to colour.

real-time miniaturization system, Camera Link, FPGA, SDRAM, Bayer

2015-01-16

西安郵電大學(xué)研究生創(chuàng)新基金資助項(xiàng)目(ZL2013-22)

鞏稼民(1962-)，男，博士，教授，博導(dǎo)，從事光電技術(shù)研究。E-mail：gjm@xupt.edu.cn 陳博(1989-)，男，碩士研究生，研究方向?yàn)楣怆妶D像處理。E-mail：tooth_of_dark@sina.com

10.13682/j.issn.2095-6533.2015.03.018

TN27

A

2095-6533(2015)03-0100-05