許逸飛　樊超

摘要：為了獲得高精度的圖像，同時在滿足微型化的要求下，本文使用CMOS圖像傳感器與FPGA構(gòu)建了相機系統(tǒng)，本文在分析CMOS圖像傳感器MT9J003原理的基礎(chǔ)上設(shè)計和實現(xiàn)一種基于FPGA的全高清CMOS相機，利用FPGA作為相機系統(tǒng)控制及系統(tǒng)時序生成的核心部件，最終輸出HDMI全高清彩色視頻。

關(guān)鍵詞：圖像傳感器；CMOS相機；全高清；FPGA

中圖分類號：TP18 文獻(xiàn)標(biāo)識碼：A 文章編號：1009-3044（2016）03-0270-02

隨著CMOS成像技術(shù)的不斷發(fā)展， CMOS圖像傳感器工藝的不斷進(jìn)步，當(dāng)前CMOS相機不斷進(jìn)步，CMOS圖像傳感器在功耗、成本以及集成度方面體現(xiàn)的優(yōu)勢越來越明顯，CMOS圖像傳感器不斷向主流和高端方向挺進(jìn)[1]。CMOS圖像傳感器由于采用標(biāo)準(zhǔn)CMOS制造工藝，集成了A/D轉(zhuǎn)換器以及底層驅(qū)動電路，使得CMOS圖像傳感器非常有利于FPAG對其像元進(jìn)行操作，本文在分析Aptina公司CMOS圖像傳感器MT9J003原理的基礎(chǔ)上設(shè)計和實現(xiàn)一種基于FPGA的全高清CMOS相機，相機通過HDMI接口輸出全高清視頻，分辨率可達(dá)到1920X1080（60Hz）。

1 系統(tǒng)結(jié)構(gòu)

CMOS相機的系統(tǒng)結(jié)構(gòu)如圖所示，前端CMOS成像電路主要是圖像傳感器MT9J003的外圍電路，保證MT9J003可以正常工作；系統(tǒng)控制及處理電路主要是對MT9J003的HiSPi[2]的數(shù)據(jù)進(jìn)行串并轉(zhuǎn)換同時實現(xiàn)MT9J003的功能配置以滿足不同的應(yīng)用需求；后端顯示電路主要是根據(jù)相應(yīng)的視頻接口輸出相應(yīng)制式的視頻格式；供電電路用于將輸入系統(tǒng)的28V直流電轉(zhuǎn)換成系統(tǒng)中其他電路所需的電壓，以保證系統(tǒng)正常工作。按照系統(tǒng)的整體功能，CMOS相機可以分為以下幾個部分：前端CMOS成像電路、系統(tǒng)控制及處理電路、后端視頻顯示電路、供電電路。

為了使相機輸出全高清視頻，MT9J003需工作在1080P模式下并且能通過HiSPi接口輸出視頻數(shù)據(jù)；為了使系統(tǒng)微型化，集成度更高，采用CMOS傳感器中集成的A/D轉(zhuǎn)換器，A/D的精度可達(dá)12bit，CMOS傳感器將A/D轉(zhuǎn)換器集成在每一個像素單元里，每一個像素單元輸出的是數(shù)字信號，這樣工作速度才能更快，功耗更低；對于1080p 60Hz的視頻，每個像素點用12bit表示，其一副圖像的大小為：1920X1080X12=24883200bit，1秒的數(shù)據(jù)量就是1424Mbps，因此系統(tǒng)處理的視頻信號數(shù)據(jù)量非常大，所以需要采用FPGA等高速器件來進(jìn)行系統(tǒng)控制及視頻處理。

2 系統(tǒng)設(shè)計

根據(jù)上述電路功能的劃分，CMOS相機的具體實現(xiàn)框圖如下：

CMOS相機共包括以下功能電路：

1）圖像傳感器電路，主要是圖像傳感器的外圍電路；

2）串并轉(zhuǎn)換電路，主要是將圖像傳感器輸出的串行HiSPi數(shù)據(jù)轉(zhuǎn)換成并行數(shù)據(jù)，采用Lattice公司的FPGA實現(xiàn)；

3）系統(tǒng)控制電路，可以通過E2PROM配置圖像傳感器工作在需要的模式；

4）視頻處理電路，主要是將圖像傳感器輸出的并行數(shù)據(jù)進(jìn)行線性化、濾波、白平衡、Gamma校正、Bayer格式解析、色彩空間轉(zhuǎn)換以及視頻時序重組以滿足后端視頻輸出電路的要求，采用DDRII作為視頻緩存電路；

5）視頻輸出電路，主要由HDMI編碼器組成以滿足系統(tǒng)的視頻輸出接口要求；

6）復(fù)位、時鐘及供電電路。

2.1 CMOS傳感器電路

MT9J003是一款循序掃描以輸出固定幀頻數(shù)據(jù)流的數(shù)字圖像傳感器，它采用片上鎖相環(huán)產(chǎn)生內(nèi)部時序，輸入時鐘為6～48MHz，片上ADC分辨率為12bit[3]。傳感器的核心是1000萬像素的像素單元陣列，在時鐘和控制電路的作用下，逐行對像素陣列進(jìn)行讀取數(shù)據(jù)和復(fù)位，而像元則在復(fù)位和讀取數(shù)據(jù)的間隙感光成像。讀取的數(shù)據(jù)經(jīng)過模擬信號鏈進(jìn)行排序，進(jìn)而通過分辨率為12位的ADC，陣列中每個像素的值對應(yīng)一個12位的數(shù)據(jù)輸出，ADC輸出的數(shù)據(jù)進(jìn)而經(jīng)過一系列的數(shù)字化處理后輸出。MT9J003的圖像數(shù)據(jù)是以循序掃描的方式讀出的，有效圖像數(shù)據(jù)被水平消隱和垂直消隱所包圍，其中水平消隱和垂直消隱的數(shù)量可以由編程控制。MT9J003 的數(shù)據(jù)輸出是由PIXCLK進(jìn)行同步的，當(dāng)LV為高電平時，一個像素的值在一個PIXCLK周期內(nèi)通過12位的DOUT輸出，像素時鐘頻率可以由傳感器的主輸入時鐘和內(nèi)部PLL配置決定。

2.2 串并轉(zhuǎn)換

MT9J003要輸出系統(tǒng)所要求的高清視頻分辨率，需通過CMOS圖像傳感器的高速串行HiSPi接口。HiSPi接口是由Aptina公司開發(fā)的一種開放存取、可擴展的高速串行像素接口。為了使系統(tǒng)能輸出正確的視頻，必須將HiSPi接口的串行數(shù)據(jù)轉(zhuǎn)換成并行數(shù)據(jù)，然后才能在FPGA里進(jìn)行相關(guān)的視頻處理操作。HiSPi的解串工作用Lattice公司的FPGA完成。

串并轉(zhuǎn)換之后的信號包括時鐘信號、數(shù)據(jù)信號、場同步信號及行同步信號。

2.3 視頻處理電路

視頻處理電路主要是對傳感器輸出的視頻信號進(jìn)行處理以滿足系統(tǒng)對視頻質(zhì)量及視頻接口的要求，該部分電路由Lattice公司的FPGA ECP3-70實現(xiàn)，該型FPGA具有豐富的圖像處理IP庫，通過使用外掛DDRII存儲資源實現(xiàn)線性化、濾波、Bayer序列解析、校正、降噪、白平衡、色彩空間轉(zhuǎn)換以及VESA時序生成等功能[4]，具體實現(xiàn)如下圖所示：

經(jīng)過FPGA處理之后的視頻已經(jīng)是符合VESA制式的數(shù)字RGB信號，同時包括行同步信號、列同步信號以及數(shù)據(jù)有效信號，這一組數(shù)字信號送入到相應(yīng)的HDMI編碼器ADV7513即可輸出1080p的HDMI視頻。

3 結(jié)束語

本文介紹了一種CMOS圖像傳感器與FPGA構(gòu)建的相機系統(tǒng)，該系統(tǒng)采用的高性能圖像傳感器配合FPGA實現(xiàn)的圖像處理算法，最終能成功輸出高質(zhì)量的HDMI全高清視頻，該系統(tǒng)由于采用了性能強大的FPGA，使得系統(tǒng)功能非常容易擴展[5]，可以廣泛應(yīng)用在多功能顯示系統(tǒng)、視景增強等領(lǐng)域。

參考文獻(xiàn)：

[1] 劉新明.基于CMOS圖像傳感器的相機系統(tǒng)設(shè)計[D].中國科學(xué)院研究生院西安光學(xué)精密機械研究所.2009.

[2] High-Speed Serial Pixel （HiSPi） Interface Specification Data Sheet[Z]. www.aptina.com，2011.

[3] CMOS Digital Image Sensor MT9J003 Data Sheet[Z].www.aptina.com，2009.

[4] 張濤，王成龍，趙新宇.一種CMOS相機色彩還原算法[J].液晶與顯示.2014，29（5）.

[5] 劉美瑩，王虎等.FPGA的大面陣CMOS相機系統(tǒng)的設(shè)計[J].紅外與激光工程.2013，（Z2）.