郭俊達(dá),金偉其,頓 雄,裘 溯,李 力
(北京理工大學(xué) 光電學(xué)院 光電成像技術(shù)與系統(tǒng)教育部重點(diǎn)實(shí)驗(yàn)室,北京 100081)
在軍用和公安警用等夜視裝備中,頭盔夜視鏡、夜視觀察儀和車輛夜視輔助駕駛儀是最常見的夜視裝備,主要包括微光夜視或紅外熱成像兩種模式。人類視覺雖然在集中注視觀察的視場(chǎng)只有大約25°,但實(shí)際具有120°的感知視場(chǎng)。通常夜視頭盔成像視場(chǎng)都不超過40°,夜視偵察/觀察儀視場(chǎng)則更小[1]。傳統(tǒng)的光電成像系統(tǒng)的分辨率(包括探測(cè)器、顯示器和光學(xué)系統(tǒng)等)難以適應(yīng)在大視場(chǎng)條件下對(duì)目標(biāo)景物探測(cè)和識(shí)別的要求,即無法同時(shí)滿足大視場(chǎng)和高分辨率的要求,因此發(fā)展大視場(chǎng)高分辨的夜視觀察儀成為國(guó)內(nèi)外研究的重要方向之一。
近年來,大面陣固體成像器件[2-3]及諸如高清晰、4K等顯示器件發(fā)展迅速,為大視場(chǎng)高分辨成像提供了可能。但是在一些關(guān)鍵崗位值守對(duì)周邊態(tài)勢(shì)的感知、裝甲車輛/防爆車/運(yùn)鈔車等內(nèi)部對(duì)外界態(tài)勢(shì)警戒等應(yīng)用中,小視場(chǎng)觀察猶如“管中窺豹”,迫切需要在適當(dāng)數(shù)據(jù)量限制條件下獲得一定垂直視場(chǎng)下的全景或周視高分辨成像,但在體積、重量和功耗等的限制下,現(xiàn)有技術(shù)往往難以有效適應(yīng)應(yīng)用的需求。目前采用面陣探測(cè)器掃描[4-7]、多攝像機(jī)排列的全景拼接成像[8-11]以及魚眼透鏡成像[12-13]等均已獲得成功的應(yīng)用,但全景成像的顯示仍然受到顯示器分辨率的限制,難以兼顧水平方向的全景顯示和垂直方向的分辨率無損顯示。
有機(jī)發(fā)光OLED微顯示器作為夜視儀器中常見的顯示器件,具有諸多優(yōu)異特性,常見像素規(guī)模為SVGA(800×600)和SXGA(1 280×1 024)。鑒于微光夜視與熱成像大多為黑白圖像,本文擬研究一種基于變形目鏡+OLED微顯示器、水平顯示像素?cái)U(kuò)大3倍的全景圖像顯示方法,以實(shí)現(xiàn)高分辨的全景灰度圖像顯示,為實(shí)際夜視成像應(yīng)用提供一種可行的全景顯示技術(shù)。
圖1 彩色OLED微顯示器及其RGB像素濾光片結(jié)構(gòu)圖 Fig.1 Framework of color OLED micro-display and RGB pixel filter array
目前國(guó)內(nèi)奧雷德公司OLED微顯示器主要有SVGA (800×600)和SXGA(1 280×1 024)兩種模式,尺寸有0.5、0.61和0.97英寸3種規(guī)格[14],通過不同信號(hào)驅(qū)動(dòng)板可實(shí)現(xiàn)標(biāo)準(zhǔn)模擬/數(shù)字視頻圖像顯示。 圖1給出彩色OLED微顯示器及其RGB像素彩色濾光片陣列的結(jié)構(gòu)示意圖,單個(gè)顯示像素是由水平排列的3個(gè)高寬比約3∶1的子像素,并分別覆蓋RGB三基色彩色濾光片陣列構(gòu)成,像素寬度W與高度H基本相當(dāng),故子像素呈長(zhǎng)方形結(jié)構(gòu)。對(duì)于彩色圖像的顯示,由于人眼視覺可分辨尺寸大于子像素尺寸,故視覺感覺為RGB三色信號(hào)合成顏色(即空間混色),可實(shí)現(xiàn)彩色圖像的有效顯示。對(duì)于單色圖像的顯示,既可采用彩色OLED微顯示器按照R=B=G的驅(qū)動(dòng)模式顯示,也可通過不帶彩色濾光片陣列的微顯示器實(shí)現(xiàn)。
鑒于彩色OLED微顯示器采用了RGB子像素水平排序的結(jié)構(gòu),為其轉(zhuǎn)化為高分辨黑白OLED微顯示器奠定了技術(shù)基礎(chǔ)。我們將SVGA(800×600) {或SXGA(1 280×1 024)}像素的彩色OLED微顯示器的彩色濾光片去除,并以每一個(gè)RGB子像素作為一個(gè)顯示像素,這樣可將常規(guī)OLED微顯示器的像素?cái)?shù)橫向擴(kuò)大3倍,在不增大顯示器尺寸的條件下,獲得2 400×600(或3 840×1 024)像素的黑白OLED微顯示器。但這樣會(huì)使顯示的全景圖像縱橫比壓縮為原來的1/3,需要通過水平和垂直方向的放大率相差3倍的變形目鏡,將OLED微顯示器上壓縮顯示的全景圖像恢復(fù)成正常的全景圖像。
圖2 全景顯示原理示意圖 Fig.2 Schematic diagram of panoramic display
這里以SVGA微顯示器為例,說明實(shí)現(xiàn)全景顯示的原理。如圖2所示,處理過程大致可分成兩個(gè)步驟:
(1)利用圖像處理模塊完成全景圖像縱橫比的壓縮操作,將2 400×600分辨率的全景原圖(縱橫比為4:1)在800(×3)×600分辨率的OLED微顯示器(縱橫比為4∶3)上壓縮顯示;
(2)利用變形目鏡完成全景圖像縱橫比的解壓縮操作,將OLED微顯示器上的壓縮圖像(縱橫比為4:3)放大且水平3倍拉伸,得到的解壓縮圖像(縱橫比為4∶1)顯示。
為了驗(yàn)證上述全景圖像的顯示方法,本文設(shè)計(jì)了一套基于3個(gè)攝像機(jī)并列的全景攝像機(jī)、圖像處理模塊、SVGA微顯示器以及基于大目鏡+變形成像透鏡組的變形目鏡組成的全景顯示實(shí)驗(yàn)系統(tǒng)(如圖3)。
圖3 系統(tǒng)總體結(jié)構(gòu)框圖 Fig.3 Block diagram of system overall structure
3.1.1 全景圖像獲取以及OLED微顯示器模塊
全景圖像的獲取模塊采用安裝在圓弧支架水平布局且同步控制的3個(gè)低照度工業(yè)攝像機(jī)組成,各攝像機(jī)成像視場(chǎng)φh×φv(與探測(cè)器光敏面尺寸和物鏡焦距有關(guān)),攝像機(jī)光軸沿圓弧支架徑向向外且相鄰攝像機(jī)光軸的夾角Ω與攝像機(jī)水平視場(chǎng)φh-δ一致(δ為重疊視場(chǎng)),由此實(shí)現(xiàn)(3φh-2δ)×φv視場(chǎng)范圍內(nèi)全景圖像的同時(shí)獲取。例如選取攝像機(jī)視場(chǎng)角φh為66°×49.5°,重疊視場(chǎng)δ為9°,相鄰攝像機(jī)光軸夾角Ω為57°,得到半周視180°水平視場(chǎng)角的全景圖像。
圖4 SVGA模式OLED微顯示器 Fig.4 SVGA mode OLED micro-display
如圖4,OLED微顯示器模塊選用奧雷德公司特定不帶像素彩色濾光片陣列(CFA)的常規(guī)彩色OLED微顯示器及其驅(qū)動(dòng)電路板,OLED微顯示器分辨率800(×3)×600,有效顯示區(qū)域10.13 mm×7.61 mm,用于實(shí)現(xiàn)全景圖像的壓縮顯示。由于顯示器像素尺寸為12.6 μm×12.6 μm,在拓展水平子像素并忽略子像素間隔條件下,全景顯示器的像素分辨力約為119.05 lp/mm×39.68 lp/mm。
3.1.2 圖像處理模塊
由于圖3所示3個(gè)攝像機(jī)采集的圖像之間往往存在相鄰視場(chǎng)的重疊,需要進(jìn)行視頻圖像拼接融合才能得到全景圖像。本文方案設(shè)計(jì)了兩種全景圖像的顯示模式:
(1)基于全景拼接攝像機(jī)的全景圖像顯示(需要進(jìn)行全景圖像的拼接等預(yù)處理);
(2)對(duì)靜態(tài)全景圖像的顯示(用于分辨力測(cè)試和全景圖像效果的分析)。
本文主要完成靜態(tài)全景圖像的顯示功能。
圖5 硬件原理圖 Fig.5 Schematic diagram of hardware
圖像處理模塊采用以FPGA+FLASH+DDR3為核心的FPGA開發(fā)板,完成圖像存儲(chǔ)、緩存、圖像預(yù)處理與傳輸任務(wù)。模塊的硬件原理圖如圖5所示,F(xiàn)PGA為Xilinx公司Spartan-6系列XC6SLX45,F(xiàn)LASH為Winbond公司W(wǎng)25Q128FV,DDR3為Micron公司MT41J128M16LA-187E,處理系統(tǒng)能夠完成對(duì)全景圖像數(shù)據(jù)的處理和緩存需求。
圖像處理模塊將存儲(chǔ)于FLASH中全景圖像數(shù)據(jù)轉(zhuǎn)存到讀寫速度更快的DDR3,圖像信號(hào)編碼以每3個(gè)水平像素的圖像信號(hào)按照RGB信號(hào)模式重新進(jìn)行組合分配,作為OLED微顯示器獨(dú)立顯示像素的驅(qū)動(dòng)信號(hào)。
在編碼分配過程中,800(×3)×600分辨率OLED微顯示器上的壓縮圖像對(duì)應(yīng)2 400×600分辨率全景灰度圖像的像素灰度值關(guān)系為:
(1)
式中,i、j為OLED微顯示器顯示圖像的像素坐標(biāo),R、G、B分別為OLED微顯示器上各像素拆分出來的3個(gè)子像素的灰度值,image為全景原圖各像素的灰度值。
OLED微顯示器的驅(qū)動(dòng)板接收到驅(qū)動(dòng)信號(hào),可獲得全景圖像水平壓縮3倍的圖像顯示。
3.1.3 變形目鏡
由于在OLED微顯示器上壓縮顯示的全景圖像縱橫比縮小為正常的1/3,為了使圖像恢復(fù)正常顯示,需要開展變形目鏡光學(xué)系統(tǒng)的設(shè)計(jì)。雖然可設(shè)計(jì)小型化的變形目鏡,但鑒于本文主要是驗(yàn)證全景圖像顯示模式,因此采用了基于現(xiàn)有光學(xué)部件和元件的設(shè)計(jì)模式。
大目鏡是一些特種車輛光電成像裝置常用的一種目鏡類型,其較大的出瞳口徑和距離為在車內(nèi)運(yùn)動(dòng)環(huán)境下的觀察提供了條件。因此,本文采用了某種現(xiàn)有大目鏡+變形成像透鏡組構(gòu)成混合變形目鏡的設(shè)計(jì)方案。如圖6,大目鏡的主要參數(shù)為倍率約5.6×,出瞳直徑約75 mm,分辨力大于30 lp/mm,為Φ25 mm像管屏幕圖像提供顯示;變形成像透鏡組的水平放大率是垂直方向的3倍,用于使OLED微顯示器上壓縮的全景圖像恢復(fù)正常的圖像縱橫比。
圖6 變形目鏡整體結(jié)構(gòu)示意圖 Fig.6 Schematic diagram of anamorphic eyepiece overall structure
由此,變形目鏡設(shè)計(jì)的核心就成為了變形成像透鏡組的設(shè)計(jì)。為了實(shí)現(xiàn)變形比為3的成像,變形成像透鏡組需要滿足條件:
(1)透鏡組水平和垂直方向的放大倍率比為3;
(2)同一個(gè)物點(diǎn)發(fā)出的光線經(jīng)過透鏡組后,其在水平和垂直兩個(gè)方向必須匯聚于同一個(gè)像點(diǎn),即共軛距離相同。
根據(jù)幾何光學(xué)的物像共軛理論,對(duì)于物空間的一物點(diǎn)M,任何一個(gè)光學(xué)系統(tǒng)或光學(xué)元件在像空間必有且只有一個(gè)像點(diǎn)N與之共軛,反之亦然[15]。因此,可通過移動(dòng)透鏡位置,使當(dāng)前的物距和像距交換,且共軛距離保持不變。這樣,對(duì)于同一個(gè)透鏡就存在兩個(gè)透鏡位置(如圖7的位置1和位置2),其放大倍率剛好相反,但共軛距離相同。由于柱面透鏡只在一個(gè)方向有匯聚作用,另一方向相當(dāng)于厚度不同均勻介質(zhì)板,沒有匯聚作用[16],剛好可以滿足這樣的需求。因此,可利用兩塊完全相同的柱面透鏡垂直(柱線方向相互垂直)放置于位置1和位置2,這樣既能提供水平和垂直方向不同的放大倍率,又能保證光學(xué)系統(tǒng)在兩個(gè)方向上的物像共軛距離相同。
圖7 物像共軛關(guān)系 Fig.7 Object-image conjugate relation
按照前述思想,設(shè)計(jì)的變形成像透鏡組光學(xué)結(jié)構(gòu)如圖8所示。設(shè)計(jì)中的透鏡全部選用了商業(yè)產(chǎn)品目錄中的現(xiàn)有產(chǎn)品。為了解決系統(tǒng)的像差校正問題,在設(shè)計(jì)中柱面透鏡選用柱面消色差透鏡,并在對(duì)稱位置增加了兩個(gè)相同的消色差球面透鏡,以降低整個(gè)系統(tǒng)各個(gè)透鏡的光焦度需求,減小各透鏡的單色像差以及系統(tǒng)的單色像差。
圖8 變形成像透鏡組 Fig.8 Anamorphic imaging lens group
圖8中,假設(shè)柱面透鏡A1在水平方向的放大倍率為α,根據(jù)物像共軛原理,另一個(gè)柱面透鏡A2在垂直方向的放大倍率為1/α。同時(shí),若其中球面透鏡B1的放大倍率為β,則另一個(gè)球面透鏡B2的放大倍率為1/β。于是,變形目鏡的放大倍率λ為:
(2)
滿足變形成像透鏡組3倍的變倍比只需:
(3)
最終設(shè)計(jì)的變形成像透鏡組參數(shù)詳見表1,光學(xué)總長(zhǎng)249.3 mm,視場(chǎng)10.13×7.61 mm,與OLED微顯示器有效顯示區(qū)尺寸一致,工作波段(400~700) nm。如圖9,選用THORLABS公司消色差柱面透鏡ACY254 -050-A (Φ1英寸,f=50 mm)和消色差雙膠合透鏡AC254-125-A-ML(Φ1英寸,f=125 mm)。ZEMAX軟件仿真的變形成像透鏡組視場(chǎng)中心、半視場(chǎng)和全視場(chǎng)的子午(T)和弧矢(S)MTF曲線如圖10所示??梢钥闯觯河捎谕哥R組水平和垂直方向的放大率不同,使得中心視場(chǎng)、水平/垂直軸外視場(chǎng)及軸外點(diǎn)的子午/弧矢方向等對(duì)應(yīng)的傳遞函數(shù)也不相同:
圖9 選用透鏡實(shí)物圖 Fig.9 Object diagram of selected lens
光學(xué)面曲率半徑/mm厚度/mm玻璃材料半口徑/mmOBJInfinity22.226.34158.513.39N-SF1011.66223.988.00N-BK711.663-30.5678.5711.66477.634.00N-BK77.275-55.922.83N-SF57.106-160.825.657.00STO(7)Infinity5.656.508160.822.83N-SF56.97955.924.00N-BK77.0710-77.6378.577.2311Infinity8.00N-BK711.6612Infinity3.39N-SF1011.6613Infinity22.229.15IMAInfinity-9.11
圖10 變形成像透鏡組的MTF曲線 Fig.10 MTF curves of anamorphic imaging lens group
(1)中心視場(chǎng):水平/垂直分辨力分別約47和27 lp/mm;
(2)半視場(chǎng):垂直方向的子午/弧矢MTF均優(yōu)于軸上點(diǎn),子午/弧矢分辨力達(dá)到30和60 lp/mm以上;水平方向的MTF均優(yōu)于軸上點(diǎn),子午和弧矢方向的分辨力均達(dá)到60 lp/mm以上;
(3)全視場(chǎng):垂直方向的子午/弧矢MTF均優(yōu)于軸上點(diǎn),子午/弧矢分辨力達(dá)到37和60 lp/mm以上;水平方向的MTF在低頻時(shí)較差,但極限分辨力均達(dá)到60 lp/mm以上。
總體上,采用現(xiàn)有光學(xué)部件搭建的系統(tǒng)像差優(yōu)化尚不足,水平分辨力未達(dá)到理想條件下的3倍。通過專門設(shè)計(jì)的變形目鏡系統(tǒng),采用更大的放大倍率和像質(zhì)優(yōu)化,可進(jìn)一步提高成像質(zhì)量。
按照目前的設(shè)計(jì),全景變形目鏡放大率為(9.66×)×(3.22×)。若以目前實(shí)用像增強(qiáng)器分辨力大于50 lp/mm為例,大目鏡分辨力應(yīng)不低于50 lp/mm,經(jīng)過倍率轉(zhuǎn)換后在顯示器面的分辨力f1m不低于86.60 lp/mm(H)和28.86 lp/mm(V)。于是,大目鏡+變形成像透鏡組(分辨力f2m)的組合分辨力fm為:
(1/fm)2=(1/fm)2+(1/f2m)2.
(4)
由于全景顯示器像素分辨力約為119.05 lp/mm×39.68 lp/mm,雙像素分辨力約為59.52 lp/mm×19.84 lp/mm。利用上述分辨力分析和式(4),不難得知基于現(xiàn)有大目鏡+變形成像透鏡的組合變形目鏡難以達(dá)到全景顯示器像素的分辨力,但應(yīng)能區(qū)分雙像素線條,即水平方向能實(shí)現(xiàn)亞像素(雙子像素)的顯示。
3.1.4 驗(yàn)證系統(tǒng)搭建
依據(jù)上述設(shè)計(jì)搭建了全景顯示驗(yàn)證系統(tǒng),如圖11所示,其中,組合變形目鏡模塊采用共軸籠式機(jī)械結(jié)構(gòu)進(jìn)行裝配,以使系統(tǒng)易于調(diào)節(jié)和保持結(jié)構(gòu)的穩(wěn)定性。
圖11 實(shí)驗(yàn)系統(tǒng)整體實(shí)物圖 Fig.11 Object diagram of experimental system
3.2.1 變形目鏡成像效果測(cè)試
將繪制的正方形網(wǎng)格打印至銅版紙上作為測(cè)試網(wǎng)格靶標(biāo),置于驗(yàn)證系統(tǒng)OLED微顯示器顯示屏位置。如圖12所示,可以看出物方正方形網(wǎng)格通過變形目鏡后變成了長(zhǎng)方形網(wǎng)格圖像;進(jìn)一步在大目鏡像方用數(shù)碼相機(jī)拍攝網(wǎng)格圖像,通過對(duì)采集到的網(wǎng)格圖像測(cè)量水平和垂直兩個(gè)邊長(zhǎng)計(jì)算變形比基本為3:1,符合變形目鏡設(shè)計(jì)的預(yù)期成像效果。
圖12 正方形網(wǎng)格及其成像效果 Fig.12 Square grid and imaging effect
3.2.2 變形目鏡光學(xué)分辨力測(cè)試
利用MATLAB制作了一幅2 400×600像素的簡(jiǎn)易分辨力測(cè)試靶圖像(如圖13),考察變形目鏡在OLED微顯示器有效顯示區(qū)不同區(qū)域的分辨力。每個(gè)考察區(qū)域的分辨力測(cè)試組群均包含5組水平和垂直排列黑白條紋,黑白條紋寬度從5個(gè)像素至1個(gè)像素依次遞減,對(duì)應(yīng)組別號(hào)分別表示為1、2、3、4和5(即組別號(hào)越高,分辨力越高)。
圖13 變形目鏡的分辨力測(cè)試靶原圖 Fig.13 Resolution test target of anamorphic eyepiece
利用圖像處理模塊驅(qū)動(dòng)分辨率測(cè)試靶并顯示于OLED微顯示器上,從變形目鏡上拍攝的測(cè)試靶效果如圖14所示。采用主觀測(cè)試評(píng)價(jià)方法,通過5個(gè)觀察者從變形目鏡觀察的分辨力結(jié)果如表2所示。可以看出:全靶面均難以分辨單像素的靶標(biāo)條紋(水平方向?yàn)樽酉袼?,垂直方向?yàn)閱蜗袼?,但大部分區(qū)域均能區(qū)分雙子像素靶標(biāo)條紋(水平方向?qū)υ笙袼叵喈?dāng)于亞像素),少部分區(qū)域只能區(qū)分到3像素靶標(biāo),這與前面?zhèn)鬟f函數(shù)分析的結(jié)論是一致的。
圖14 分辨力測(cè)試靶觀察效果圖 Fig.14 Observation of resolution test target
觀察者編號(hào)各考察區(qū)域所能分辨的黑白條紋最高組別區(qū)域1區(qū)域2區(qū)域3區(qū)域4區(qū)域5區(qū)域6區(qū)域7區(qū)域8區(qū)域9區(qū)域10區(qū)域11區(qū)域1214/44/44/44/44/44/43/33/33/34/44/44/423/44/44/44/44/44/44/44/34/44/44/44/433/44/44/44/44/44/43/43/34/43/44/44/444/44/44/44/44/44/44/43/34/44/44/44/453/44/44/44/44/44/44/43/34/43/44/44/4
圖15 測(cè)試原圖 Fig.15 Original test image
3.2.3 全景圖像的顯示效果
采用圖15所示2 400×600像素的256級(jí)灰度全景圖像作為測(cè)試圖,觀察由OLED微顯示器壓縮變形顯示的全景效果圖如圖16(a)所示,經(jīng)過變形目鏡光學(xué)解壓縮后最終得到的全景效果圖如圖16(b)所示。可以看出:全景圖像顯示實(shí)驗(yàn)系統(tǒng)有效完成了對(duì)全景圖像的壓縮顯示以及光學(xué)解壓縮處理,變形目鏡的分辨力可達(dá)到OLED微顯示器的亞像素級(jí)別,能夠分辨兩個(gè)像素尺寸,且人眼觀察效果良好。
圖16 OLED微顯示器和變形目鏡分別呈現(xiàn)的圖像 Fig.16 OLED micro-display image and anamorphic eyepiece optical image
隨著全景成像技術(shù)的興起和不斷發(fā)展,在全景圖像的顯示方面卻依然存在著諸多限制。本文提出了一種基于變形目鏡實(shí)現(xiàn)單一OLED微顯示器的全景圖像顯示方法,并研制了一套基于OLED微顯示器+變形目鏡的全景圖像顯示實(shí)驗(yàn)系統(tǒng),系統(tǒng)以FPGA開發(fā)板作為圖像處理模塊,將OLED微顯示器的子像素作為顯示像素進(jìn)行驅(qū)動(dòng)信號(hào)重編碼,實(shí)現(xiàn)全景灰度圖像在水平方向3倍壓縮顯示;利用變形目鏡將OLED微顯示器上顯示的壓縮圖像進(jìn)行水平3倍于垂直的變形放大顯示,提供人眼正常觀察的全景圖像。通過實(shí)驗(yàn)系統(tǒng)的實(shí)際測(cè)試,實(shí)現(xiàn)了預(yù)期全景圖像的顯示效果,雖然變形目鏡沒有達(dá)到全景顯示器的單像素分辨力顯示,但大部分顯示區(qū)域均實(shí)現(xiàn)雙像素靶標(biāo)(水平方向相當(dāng)于亞像素顯示)顯示,最終驗(yàn)證了本文全景顯示方法的可行性。若采用更高分辨率的SXGA(1 280×1 024)OLED微顯示器,可望獲得更高分辨力的全景顯示或?qū)⑵聊环殖缮舷聝蓧K顯示區(qū)域,并增加攝像機(jī)數(shù)量可望實(shí)現(xiàn)周視場(chǎng)景高分辨圖像的同步有效顯示。本文的方法所提供的寬視場(chǎng)灰度全景顯示思路在夜間偵察、駕駛、監(jiān)控等領(lǐng)域具有廣泛的應(yīng)用前景。