劉來成，周文暉，樓 斌，鄭 寧

(杭州電子科技大學(xué)計(jì)算機(jī)應(yīng)用技術(shù)研究所，浙江杭州310018)

0 引言

三維立體顯示有著廣泛的應(yīng)用前景。是未來發(fā)展的一種趨勢［1］。立體顯示技術(shù)通常分為戴眼鏡或裸眼兩類，雖然裸眼立體顯示技術(shù)具有不受觀看設(shè)備的限制，但目前裸眼立體顯示技術(shù)存在觀看距離受限，以及更易產(chǎn)生視覺疲勞等不足。因此當(dāng)前主流立體顯示技術(shù)通常是采用分時(shí)和分色技術(shù)［2］。采用FPGA實(shí)現(xiàn)分時(shí)/分色立體顯示具有占用空間小，設(shè)計(jì)靈活;可以脫機(jī)運(yùn)行，相比于PC機(jī)更方便簡潔，易于移植;相比于DSP、ARM等有并行運(yùn)算、速度快的優(yōu)勢。通過相關(guān)參數(shù)的修改，系統(tǒng)能適用于不同分辨率的顯示器，具有很好的適用性。近期Istavan Andorko和ZHANG Guangwei等人分別提出了基于FPGA的分時(shí)立體顯示系統(tǒng)［3，4］。但這些系統(tǒng)功能較為單一，只實(shí)現(xiàn)分時(shí)顯示。本系統(tǒng)針對當(dāng)前基于FPGA立體顯示系統(tǒng)的不足，提出一種基于FPGA的集分色和分時(shí)技術(shù)于一體的多模式立體顯示系統(tǒng)。

1 立體顯示的工作原理

人眼有分辨三維物體空間位置的能力，從而對現(xiàn)實(shí)世界的事物有形象的感知和判斷。形成深度感的主要因素是兩眼存在視差，觀察物體時(shí)兩眼存在一定間距，左右眼中成像略有差異，通過大腦的分析綜合，左右圖融合為單幅圖像而產(chǎn)生立體感［5］。立體顯示技術(shù)大致分為:分色、分時(shí)、分光以及光柵式顯示等。它們具有的共同點(diǎn):左右眼分別看到左右視圖［6］。

分色技術(shù)的原理是左圖紅分量經(jīng)過紅鏡片進(jìn)入左眼，右圖藍(lán)綠分量經(jīng)過藍(lán)色鏡片進(jìn)入右眼［7］。如圖1所示，分別將左圖紅分量和右圖藍(lán)綠提取，合成一張紅藍(lán)圖片，戴上紅藍(lán)眼鏡觀看時(shí)，左眼看到紅色的左圖，右眼看到藍(lán)綠的右圖，雙眼看到的不同圖像經(jīng)過融合在大腦中呈現(xiàn)出立體效果。分時(shí)立體顯示是將兩路圖像序列快速交替的顯示，通過液晶開關(guān)眼鏡，當(dāng)顯示器顯示左(右)圖像時(shí)左(右)鏡片透光而右(左)鏡片不透光，原理如圖2所示。

紅藍(lán)眼鏡價(jià)格便宜，片源多，普通顯示器就能支持，但立體感及色彩較差。分時(shí)立體的質(zhì)量好，色彩保真度高，缺點(diǎn)是片源少，液晶開關(guān)眼鏡也較貴，對顯示器要求也高。實(shí)驗(yàn)表明，幀頻為85Hz時(shí)，視頻的閃爍已經(jīng)很輕，達(dá)到100Hz時(shí)，可保證立體圖像清晰無閃爍［6］。

圖1 分色立體顯示原理示意圖

圖2 分時(shí)立體顯示原理示意圖

2 多模式立體顯示系統(tǒng)結(jié)構(gòu)

該系統(tǒng)使用自制雙目子卡采集視頻，子卡使用兩片Micro生產(chǎn)的MT9M111 CMOS感光芯片。通過I2C對芯片配置，獲得兩路幀率為15fps、RGB565格式，1 280×1 024分辨率的視頻。RGB565彩色模式一個(gè)象素占兩個(gè)字節(jié)，在FPGA中拼接成一幅完整信息的圖片。左右兩幅視頻乒乓緩存到SDRAM中，分別將左圖的紅和右圖的藍(lán)綠分量提取出來合成實(shí)現(xiàn)分色顯示。將左右兩幅圖像序列交替顯示實(shí)現(xiàn)分時(shí)顯示。系統(tǒng)的硬件結(jié)構(gòu)框圖如圖3所示。

圖3 系統(tǒng)的硬件框圖

FPGA芯片為Altera低成本、高密度Cyclone?II系列的EP2C70。邏輯單元(LE)68 416個(gè)，250個(gè)M4K嵌入存儲(chǔ)器區(qū)塊，嵌入RAM 1.1Mb，每個(gè)區(qū)塊有4 096位存儲(chǔ)器，150個(gè)嵌入乘法器，有4個(gè)用于系統(tǒng)時(shí)鐘管理的PLL。SDRAM的數(shù)據(jù)總線寬度為16bits，最高支持166MHz的讀寫頻率。輸出端D/A芯片為3通道10 bits高速數(shù)模轉(zhuǎn)換芯片ADV7123，最高支持分辨率1 600×1 200，100Hz刷新頻率。

3 立體顯示系統(tǒng)的FPGA硬件設(shè)計(jì)

3.14端口SDRAM控制器

該系統(tǒng)使用兩片32MB SDRAM分別作為兩路視頻數(shù)據(jù)的乒乓?guī)?，并通過4端口SDRAM控制器使用。4端口SDRAM控制器包括兩個(gè)寫入端FIFO和兩個(gè)讀出端FIFO，如圖4所示(虛線框)，本設(shè)計(jì)中所使用的FIFO的大小為512×16bit。4個(gè)異步FIFO主要用于實(shí)現(xiàn)不同時(shí)鐘域數(shù)據(jù)同步的功能。寫入端有FIFO A和FIFO B，進(jìn)入FIFO的時(shí)鐘為27MHz，從FIFO中讀入到SDRAM的時(shí)鐘為166MHz;在控制器的讀出端有FIFO C和FIFO D，它們寫入FIFO的時(shí)鐘為166MHz，從FIFO中讀出時(shí)鐘為VGA控制模塊的時(shí)鐘108MHz。

圖4 4端口SDRAM控制器

該系統(tǒng)中，將SDRAM分配兩個(gè)獨(dú)立的1 280×1 024×2字節(jié)的地址空間，并分別結(jié)合兩個(gè)寫FIFO和兩個(gè)讀FIFO，實(shí)現(xiàn)兩幀數(shù)據(jù)的乒乓緩存與讀取。

寫入數(shù)據(jù)時(shí)，相鄰兩幀乒乓寫入到FIFO A和FIFO B中，根據(jù)選擇信號(hào)Sel_write進(jìn)行判斷相應(yīng)的FIFO是否滿256字寫入SDRAM中。在讀出端，根據(jù)選擇信號(hào)Sel_read判斷FIFO A和FIFO B乒乓讀取，判斷到讀滿256字后切換到另外的FIFO，實(shí)現(xiàn)乒乓操作。并將讀到FIFO中的數(shù)據(jù)送到下一級VGA Controller進(jìn)行處理。

3.2 分色、分時(shí)立體顯示系統(tǒng)

在分時(shí)顯示方案中，使用雙路圖像序列交替控制模塊，實(shí)現(xiàn)雙路讀取的切換以及單路中A、B兩個(gè)幀地址空間的切換。

同步信號(hào)發(fā)射器，通過開發(fā)板上的USB口供電，接受FPGA處理后的視頻信號(hào)作為輸入;連接CRT顯示器上顯示，通過輸出端口連接到主動(dòng)式快門3D分時(shí)立體眼鏡上。同步信號(hào)發(fā)射器上有一個(gè)左/右眼互換鍵，可以將立體眼鏡的左/右眼影像對調(diào)互換，每按鍵一次即左/右眼對調(diào)一次，用來同步立體眼鏡與顯示器上的信號(hào)。

雙路切換:通過判斷幀信號(hào)的上升沿實(shí)現(xiàn)rFont信號(hào)的反轉(zhuǎn)，使用rFcont信號(hào)來控制切換左右路的讀取操作。具體為，rFcont為0時(shí)，讀取左路一幀數(shù)據(jù)，即向左路發(fā)送讀有效信號(hào);反之，為1時(shí)，讀取右路一幀數(shù)據(jù)。從而實(shí)現(xiàn)左右圖的分時(shí)讀取操作，時(shí)序如圖5所示。

分色顯示方案中左圖紅分量和右圖藍(lán)綠分量合成為一幅圖像。通過VGA控制模塊發(fā)出的讀有效信號(hào)，實(shí)現(xiàn)左右兩路幀緩存的同步讀取，將左路R分量低位補(bǔ)0，拼接為8bit數(shù)據(jù)賦給VGA控制模塊的R通道;同時(shí)，將右路G、B分量分別補(bǔ)零拼接為8bit數(shù)據(jù)，分別賦給VGA控制模塊的G通道和B通道。最終顯示一幀包含左圖的R分量和右圖的G、B分量的立體圖像，如圖6所示Signal Tap II采集的波形。

圖6 紅藍(lán)拼接模塊

3.3 兩種模式之間的切換

分時(shí)、分色兩種模式之間可以通過模式寄存器來切換，如圖7所示。切換信號(hào)到來時(shí)，不一定發(fā)生在下一幀圖片剛開始的時(shí)候，此時(shí)切換就會(huì)造成畫面混亂。通過檢測幀開始來解決。切換信號(hào)到來后，檢測到下一幀信號(hào)開始就轉(zhuǎn)到另一種模式。如果顯示器的刷新頻率不足85Hz，采用紅藍(lán)立體顯示模式觀看效果較好，否則就用液晶開關(guān)眼鏡觀看分時(shí)立體視頻。

圖7 分時(shí)與分色兩種模式切換的時(shí)序圖

4 實(shí)驗(yàn)結(jié)果及分析

為達(dá)到更佳顯示效果，雙目光心的距離(基線)不宜過大，一般選取人雙眼的間距65mm。分色顯示:顯示器分辨率為1 280×1 024，戴上紅藍(lán)眼鏡能得到明顯立體效果。分時(shí)顯示時(shí)調(diào)整分辨率為1 280×1 024，刷新頻率為74Hz時(shí)，屏幕有稍微的閃爍;調(diào)整分辨率為640×480，刷新頻率為84Hz時(shí)，屏幕閃爍明顯減輕。對比文獻(xiàn)3中提出的系統(tǒng)，使用的是Xilinx生產(chǎn)的Virtex 4 FPGA，該系統(tǒng)使用的Cyclone II系列的FPGA，占用資源少，性價(jià)比更高。

FPGA的型號(hào)為EP2C70F896C6，資源使用情況如表1所示:該芯片中有68 416個(gè)LE資源，其中4%在這個(gè)工程中使用，3%用于實(shí)現(xiàn)組合邏輯，3%用于實(shí)現(xiàn)寄存器，即時(shí)序邏輯;組合邏輯與時(shí)序邏輯的使用比例是1:1。引腳總數(shù)為622個(gè)，使用了232個(gè)，占了37%。該器件的片內(nèi)存儲(chǔ)器總大小是1 152 000bits，在該工程中使用了858 112bits，使用率是74%。

表1 FPGA的使用資源

5 結(jié)束語

該文就當(dāng)前立體顯示中最被廣泛使用的分時(shí)和分色技術(shù)，基于FPGA平臺(tái)進(jìn)行了設(shè)計(jì)與實(shí)現(xiàn)。設(shè)計(jì)中將分時(shí)和分色兩種方案集成在一個(gè)系統(tǒng)中，減少了重復(fù)工作，并實(shí)現(xiàn)了通過模式寄存器高效切換。另外，該系統(tǒng)還具備雙目場景的同步抓取，實(shí)現(xiàn)了簡單的立體相機(jī)功能。通過實(shí)際的演示觀看，能達(dá)到很好的實(shí)時(shí)立體效果。系統(tǒng)可作為立體顯示的原型樣機(jī)，同時(shí)FPGA芯片豐富的資源給后續(xù)算法、功能的加入提供了空間。

［1］ 李小方，王瓊?cè)A.自由立體顯示器觀看視疲勞［J］.液晶與顯示，2008，23(4):464－467.

［2］ 王瓊?cè)A，王愛華.三維立體顯示綜述［J］.計(jì)算機(jī)應(yīng)用，2010，30(3):579－581.

［3］ Istvan Andorko，Peter Corcoran，Petronel Bigioi.Hardware implementation of a real-time 3D video acquisition system［C］.Basov:National University of Ireland，2010:920－925.

［4］ Zhang Guangwei，An Zhiyong.FPGA-based hardware to achieve the stereoscopic display［C］.Beijing:Changchun University of science and technology，2008:1 732－1 735.

［5］ 張宇輝，呂國強(qiáng)，胡躍輝，等.立體顯示的雙目模型算法及實(shí)現(xiàn)［J］.計(jì)算機(jī)工程與應(yīng)用，2006，42(5):65－67.

［6］ 康立民.立體照片的拍攝及合成［J］.北京機(jī)械工業(yè)學(xué)院學(xué)報(bào)，1996，11(2):30－42.

［7］ 李娟，關(guān)祥宏.基于微機(jī)的三維真立體顯示技術(shù)評述［J］.鐵路勘察，2005，31(2):24－27.