蔡興旺，韓嶺，梁發(fā)云

(南昌大學(xué)機電工程學(xué)院，江西 南昌 330031)

高端顯示技術(shù)要求真實地還原三維世界，達(dá)到臨場感、浸入感和真實感的視覺屬性[1-2]。人類使用雙目獲取視覺信息從而感受3D效果，因此，獲取具有視差的左右眼圖像是形成3D視頻的重要前提。對于視差圖像的獲取，伍能舉[3]、劉助奎[4]首先拍攝單一角度的2D視頻，然后通過繪制虛擬視點或者2D視頻轉(zhuǎn)3D視頻軟件轉(zhuǎn)換出具有視差的圖像，但以此類方式生成的視差圖像與真實三維場景的深度信息存在偏差。文獻(xiàn)[5-6]設(shè)計了兩視點和多視點3D視頻采集系統(tǒng)，但是這種拍攝設(shè)備只能獲取單一方向的3D圖像，不便于多個方向3D視頻圖像的同步獲取。對于左右眼視差圖像的處理，張春雨等[7]研究了以軟件方式處理數(shù)據(jù)的方法。本文根據(jù)雙眼視覺機制構(gòu)建雙向3D圖像傳感器，可以實時采集具有左右眼視差的圖像信息。構(gòu)建便攜化的雙向3D圖像傳感器，可以滿足汽車前后方向同步監(jiān)控等場合的需求。并使用FPGA芯片構(gòu)建數(shù)字化、微型化圖像處理系統(tǒng)，利用FPGA高速并行處理數(shù)據(jù)的能力提高系統(tǒng)運算效率。雙向3D圖像傳感器可應(yīng)用于需要同步獲取兩個方向3D圖像的場合，四目同幀等系統(tǒng)邏輯算法可為航拍多方向3D圖像采集、監(jiān)控等系統(tǒng)的設(shè)計提供參考和支持。

1 3D仿生原理

人的左、右眼存在大約65 mm的水平間距，雙眼觀看同一物體時在視網(wǎng)膜上形成具有視差的左右立體對圖像，經(jīng)過大腦融合使人們產(chǎn)生3D視覺。根據(jù)視差3D原理，3D圖像傳感器可以采用兩個相同型號的CMOS圖像傳感器及其鏡頭組模擬人的雙眼，相隔一定間距安裝在同一水平線上，能夠獲取具有左右視差的立體對圖像。3D圖像或視頻由左眼圖像和右眼圖像構(gòu)成[8],從仿生學(xué)角度來說，人眼的機能可以保證同步獲取圖像并經(jīng)視覺神經(jīng)傳送至視覺中樞形成三維圖景。3D圖像傳感的采集示意圖如圖1所示。

圖1 3D圖像傳感器的采集示意圖Fig.1 Schematic diagram of 3D image sensor acquisition

2 雙向3D圖像傳感器的系統(tǒng)構(gòu)成

在3D圖像傳感器的基礎(chǔ)上進(jìn)一步構(gòu)建雙向3D圖像傳感器，其硬件系統(tǒng)主要包括：FPGA、兩組雙攝像頭模組、緩沖存儲器SDRAM以及視頻輸出接口。在兩個方向分別配置雙攝像頭模組，F(xiàn)PGA作為主控芯片，使用微電子方式實現(xiàn)兩個方向3D圖像的同步獲取，通過數(shù)字邏輯方法完成四路視頻流的合幀處理并輸出，系統(tǒng)構(gòu)成如圖2所示。

圖2 系統(tǒng)結(jié)構(gòu)框圖Fig.2 System structure block diagram

根據(jù)系統(tǒng)結(jié)構(gòu)的規(guī)劃，初步研制出雙向3D圖像傳感器樣機用于邏輯算法的調(diào)試和實驗。選擇具有豐富邏輯資源和足夠I/O引腳的FPGA開發(fā)板，完成雙向3D圖像傳感器的構(gòu)建[9]。由于該開發(fā)板的接插引腳排列在L形側(cè)邊，所以，首先將兩組雙攝像頭模組呈L形配置，拍攝夾角為90°的兩個方向，如圖3所示。也可以使用軟排線連接其中一組雙攝像頭模組，從而改變該組雙攝像頭模組的位置和拍攝方向，使兩組攝像頭拍攝方向呈前后排列，用于同步采集前后方向的視差圖像。

圖3 雙向3D圖像傳感器Fig.3 Bidirectional 3D image sensor

3 系統(tǒng)邏輯算法

基于FPGA設(shè)計系統(tǒng)邏輯算法，雙向3D圖像傳感器通過FPGA芯片控制3D圖像輸入到輸出過程。系統(tǒng)上電后自檢無誤，圖像傳感器配置模塊同步啟動，配置寄存器組參數(shù)確定每個CMOS型圖像傳感器的工作模式，如分辨率、幀率、圖像數(shù)據(jù)格式等[10]。配置結(jié)束后觸發(fā)圖像傳感器工作，按照幀同步、行同步和像素脈沖的時序輸出視頻圖像數(shù)據(jù)。圖像數(shù)據(jù)采集模塊捕捉3個同步信號，并根據(jù)脈沖時序把圖像數(shù)據(jù)傳輸至下級模塊。

由于圖像傳感器與輸出顯示設(shè)備所用時鐘不同且?guī)l不匹配，因此設(shè)計輪序緩存算法解決跨時鐘域問題。設(shè)計4個寫FIFO和4個讀FIFO，與SDRAM緩存器構(gòu)成“4個寫FIFO+SDRAM+4個讀FIFO”的三緩沖池緩沖結(jié)構(gòu)。4個圖像傳感器采集的圖像數(shù)據(jù)首先存入寫FIFO緩存，再按次序輸出到SDRAM中，下級四目同幀控制模塊需要數(shù)據(jù)時，按照時序要求從讀FIFO中輸出數(shù)據(jù)，以此完成系統(tǒng)的跨時鐘域處理[11]。

考慮到雙向3D圖像傳感器工作狀態(tài)的實時檢測，設(shè)置視頻顯示的接口用于連接外部監(jiān)視器或顯示屏，從而保證系統(tǒng)采集的視頻數(shù)據(jù)能夠準(zhǔn)確呈現(xiàn)。雙目3D圖像傳感器采用四目同幀的合幀視頻，在視頻幀中均分為四目圖像區(qū)[12]。L1、R1區(qū)分別顯示同一方向兩個攝像頭采集的左右眼視差圖像，L2、R2區(qū)分別顯示另一方向兩個攝像頭采集的左右眼視差圖像。攝像頭視頻幀的分辨率可根據(jù)實際情況設(shè)定，在此以3 840×2 160的分辨率為例規(guī)劃四目同幀視頻輸出格式。

圖4 四目同幀左右格式Fig.4 Format of four items in the same frame

將圖像數(shù)據(jù)寫入SDRAM時需要進(jìn)行精確的地址控制，這是影響四目同幀格式正確輸出的關(guān)鍵。因此，根據(jù)圖像輸出像素位置準(zhǔn)確計算突發(fā)寫入SDRAM的起始地址。B表示SDRAM一次突發(fā)寫入的數(shù)據(jù)個數(shù)，EL表示L1、L2區(qū)一行結(jié)束的像素計數(shù)，SL表示L1、L2區(qū)一行開始的像素計數(shù)。C表示一個區(qū)的一行像素數(shù)據(jù)需要寫入的完整突發(fā)計數(shù)，Y表示不足一次完整突發(fā)的余量。由于L1、R1、L2、R2各區(qū)分辨率相同，因此完整突發(fā)次數(shù)C以及突發(fā)余量Y相等?？捎嬎愠觯?/p>

C=(EL-SL)/B

(1)

Y=(EL-SL)%B

(2)

根據(jù)每個區(qū)的完整突發(fā)次數(shù)C以及突發(fā)余量Y，進(jìn)一步計算突發(fā)寫入SDRAM的起始地址，保證四路視頻的精確拼接。VL1、HL1分別表示當(dāng)前幀已經(jīng)寫入SDRAM的數(shù)據(jù)對應(yīng)四目同幀拼顯示中的行、列計數(shù)，AL1為L1區(qū)正在寫入的行已經(jīng)完成的完整寫突發(fā)數(shù)，WL1為L1區(qū)的寫突發(fā)起始地址。由此計算出：

WL1=B×(HL1+(2C+2)×(AL1+VL1))

(3)

WR1=B×((C+1+HR1)+(2C+2)×(AR1+VR1))

(4)

WL2=B×((C+1+HL2)+(3C+3)×(AL2+VL2))

(5)

WR2=B×((C+1+HR2)+(4C+4)×(AR2+VR2))

(6)

計算出L1、R1、L2、R2各區(qū)每次突發(fā)寫入SDRAM的寫起始地址，通過對SDRAM的地址進(jìn)行控制，以此實現(xiàn)雙向3D圖像傳感器四目同幀格式的精確拼接。根據(jù)SDRAM地址依次讀出，即可輸出四目同幀的視頻格式。

4 調(diào)試與實驗

根據(jù)3D視頻處理的要求，使用硬件描述語言編寫圖像傳感器同步配置模塊、圖像數(shù)據(jù)采集模塊、輪序緩存控制模塊、四目同幀控制模塊、監(jiān)控顯示控制模塊。使用Quartus Ⅱ進(jìn)行編譯，以JTAG方式下載至FPGA，通過調(diào)試之后，可以在監(jiān)控顯示器上觀察到四目同幀的視頻圖像。

使用SignalTap Ⅱ工具獲取寄存器配置時序如圖5所示。4個圖像傳感器配置總線的時鐘信號和數(shù)據(jù)信號時序完全同步，表明4個圖像傳感器配置同步，保證了圖像數(shù)據(jù)的同步采集。

圖5 同步配置時序圖Fig.5 Timing chart of synchronous configuration

寄存器配置完成后開始采集圖像，通過SignalTap Ⅱ獲取4個圖像傳感器輸出的行同步和場同步脈沖時序，如圖6所示，可見4個圖像傳感器的視頻輸出完全同步。

把雙向3D圖像傳感器放置在四周遮擋的實驗箱內(nèi)，并在兩組3D圖像傳感器前方分別放置飛機模型和布偶。使用大尺寸電視機作為輸出顯示設(shè)備，雙向3D圖像傳感器通過VGA接口輸出2個方向的視差圖像，系統(tǒng)上電后穩(wěn)定運行，四目同幀視頻輸出如圖7所示。

(b)場信號時序圖6 行場同步Fig.6 Horizontal and vertical synchronous signals

圖7 四目同幀3D視頻Fig.7 Four eyes 3D video at the same frame

通過電視機屏幕可以觀看到3D視頻圖像，屏幕上半部分顯示區(qū)的兩個窗口顯示一組3D圖像傳感器采集的左右眼圖像，下方兩個窗口分別顯示另一方向3D圖像傳感器采集的左右眼圖像。

5 結(jié)束語

本文提出了微型化雙向3D圖像傳感器的系統(tǒng)構(gòu)成方法，研制了雙向3D圖像傳感器樣機，研究了輪序緩存和四目同幀硬件邏輯算法，規(guī)劃了3D視頻幀的結(jié)構(gòu)。該雙向3D圖像傳感器能夠同步采集兩個方向的3D圖像，并輸出3D合幀視頻，能夠解決當(dāng)前3D拍攝設(shè)備的不足之處。實驗表明，硬件設(shè)計方法合理且數(shù)字邏輯算法正確，可為全向3D圖像傳感器的研制提供參考，可促進(jìn)3D視頻處理集成電路(IC)的產(chǎn)業(yè)化。