崔淵,陳祝洋,高倩,姬豐欣
(江蘇理工學院 電氣信息工程學院,常州 213001)
隨著新型顯示技術與液晶材料及驅動方式的不斷發(fā)展與進步,立體顯示器(3D顯示)在民用消費市場中迅速得到了發(fā)展,因此對于立體顯示的研究也日漸廣泛和深入[1-3].現代立體顯示設備的原理,是將存在有不同深度信息的兩幅三維圖像畫面,通過特定的區(qū)分眼鏡分別傳輸到觀察者的左、右眼,然后在觀察者的大腦中通過視覺融合形成三維效果[4].但是這兩幅具有不同深度信息的圖像,因為顯示器顯示圖像或者眼鏡的問題,沒有完全分開就傳輸到觀察者的左、右眼,就會造成左眼和右眼圖像之間的相互干擾,這導致了所謂的串擾[5-6].目前,對于抑制3D顯示中串擾現象,常采用提高液晶面板的刷新率[7],還有就是采用特殊的背光調制技術,如掃描背光或者閃爍背光等方法[8-9].但是目前這些方法都會引起其他問題,例如采用背光掃描技術,會導致顯示畫面亮度的明顯下降.還有一些基于圖像處理的串擾消除方法[10],這些方法沒有上述方法引起的問題,通過從觀看通道減去非觀看通道漏光的方法消除串擾,但是卻忽略了雙眼通道的相互作用,導致串擾消除效果不理想.本文通過研究串擾的形成機理以及數據測量分析方法,提出了一種新的基于查找表算法的立體顯示串擾消除方法,該方法從數據測量的分析結果和實際觀看立體圖像的視覺效果,兩個方面均證明串擾消除效果明顯.
串擾現象指的是多個信號在同一系統(tǒng)內傳輸時,一個信號對另外一個信號的耦合所產生的噪聲,導致兩個信號互相影響,造成信號傳輸的錯誤.在立體顯示設備中,對應左右眼的兩幅具有深度信息的畫面,原本應該各自對應進入左眼或者右眼,但是在實際傳輸中,有一部分信號(光線)進入了不正確的視覺通道,則圖像會呈現出雙邊緣的一種現象[11-12],所以以串擾來評價3D顯示性能優(yōu)劣具有高度的合理性和重要性.除此之外,人眼對串擾強弱的感知與顯示圖像的內容也有密切的關系.如圖1所示,描述了立體顯示串擾形成的機理.
圖1 觀察者所見三維串擾示意圖Fig.1 Crosstalk diagram of stereoscopic display seen by the observer
其中Lw、Lb分別為左眼為白和黑時候對應的亮度;Rw、Rb分別為右眼為白和黑時候對應的亮度;α和β分別表示圖像的亮度進入左眼和右眼的比例.當存在左右眼圖像串擾的時候,圖1所表示的三種情況下,受試者實際觀看到圖像的亮度可以用式(1)至(3)來表示(以左眼為例).
LwRb=Bbβ2+Awα1,
(1)
LbRw=Bwβ2+Abα1,
(2)
LbRb=Bbβ2+Abα1.
(3)
根據三維顯示串擾的計算方法,以左眼為例,將測量得到的從右眼圖像中泄露過來的亮度與左眼應該看到的原有正確圖像的亮度進行比較,從而計算得到.因此定義串擾(CT)的計算公式為:
(4)
本文在進行3D串擾客觀測量實驗中,測量左右眼串擾過程的示意圖和測試實物照片如圖2所示.
(a)3D串擾測試過程示意圖 (b)3D串擾測試系統(tǒng)實物照片圖2 3D串擾測試系統(tǒng)Fig.2 3D crosstalk test system
在測量量化和計算串擾之前,首先要規(guī)定理想情況下3D顯示圖像無串擾的狀態(tài).3D顯示圖像無串擾[13]的情況可以描述為:當測量得到的3D顯示器左右眼圖像通道的亮度值,與顯示器左右眼圖像播放時輸出的亮度值相等的話,此時認為3D圖像串擾為零.定義了串擾為零的狀態(tài)后,需要將左右眼圖像亮度測量值與每個通道的實際圖像輸出的亮度值結合起來,再進行實際串擾值的計算和判斷.根據韋伯定律,在串擾的計算方法上采用通過測量顯示器上不同的灰階圖像之間跳變(Gray Level to Gray Level)得到的圖像亮度值,而進行計算得到[14].以3D顯示左眼通道的串擾值測量為例,計算公式如下:
(5)
式(5)中L(i,k)表示顯示器在播放左眼圖像的灰度為i,而右眼圖像的灰度為k時,左眼通道的亮度.而L(i,i)表示,此時觀測者雙眼看到內容一致,顯示器呈現的雙眼的灰階值一致,液晶的響應曲線是恒定的而沒有跳躍.L=|L(i,k)-L(i,i)|表示存在串擾和零串擾之間的圖像測量得到的亮度差異,另一個Lave則表示為兩者的灰階圖像亮度測量得到的平均值.通過依次測量左右眼通道不同的灰階圖像對應的亮度值,并且使用式(5)所示的方法,可以通過計算得到3D顯示器不同灰階圖像顯示時,其串擾的分布情況.圖3給出了采用快門眼鏡式立體顯示器串擾分布圖.灰階采樣間隔取32(在表格對角線上的左右眼灰階圖像相同),所以其串擾值為零.
圖3 快門眼鏡式立體顯示器串擾分布圖(左眼通道)Fig.3 Crosstalk distribution of shutter glasses stereoscopic display (left eye channel)
結合式(5),在圖2的3D串擾測量系統(tǒng)中已經集成了自動測量雙眼的圖像亮度值、Gamma曲線以及串擾值的功能.整個測量系統(tǒng)工作方式如下:首先通過控制圖像源板產生用于串擾測量的標準灰階圖案,對于左右分布(時分式)或者上下垂直分布(偏光式)的3D顯示圖像,在合成立體圖像之前都需對原始圖像進行處理,在列方向或者行方向上壓縮到50%,然后再將左右眼顯示的圖像進行對應方向的拼接;而交叉分布較為特殊,其適用于原始的左眼和右眼.圖像在奇數和偶數行上采樣,然后通過叉指圖進行拼接.上述三種形成3D圖像的原理都將左右圖像內容合并為一幀,所以會造成圖像分辨率的損失(50%),如圖4所示.
圖4 三種3D圖像顯示方式(雙目視差式)Fig.4 Three 3D image display modes (binocular parallax)
快門眼鏡式立體顯示器使用的兩幅具有深度信息的圖像是采用左右格式的圖像.由于在實際串擾值的測量中,需要使左、右眼圖像在不同灰階之間的跳變,因此通過圖像源系統(tǒng)上位機的控制,實現滿足測量要求的初始灰階值圖像和目標灰階值圖像,并且立體顯示器輸出的測量圖片均為純色圖案.舉例,假如左眼通道顯示圖片的灰度是GLl,右眼圖片的灰度是GLr.上位機將控制顯示器的圖像源板,輸出符合測量要求的從(GLl,GLr)=(0,0)開始,并以指定的灰階步長變化,以測量得到右眼通道逐步對應增加的圖像亮度,直到(0,255).然后左眼灰度級會改變一步,灰色右眼的小數位設置為0,然后重新開始以前的更改方法.當(GLl,GLr)=(255,255)時,遍歷雙通道的所有灰度組合,測量結束.根據液晶顯示器的顯示原理,每一個單獨的測量通道的圖像亮度響應曲線,都是通過圖2中系統(tǒng)測量探頭獲得.其中,兩個帶有模擬人眼視覺圖層的光敏二極管設備可以同時工作,以最大程度模擬人員觀看到的現場情況.
該串擾消除的算法是基于從觀看者的左右眼實際感知圖像亮度的角度出發(fā),在3D顯示器上依次呈現左右眼相同灰階的圖像,并將通過圖像開通通道測量得到的圖像亮度值規(guī)定為輸出的理想亮度值,同時結合亮度計測量得到3D顯示器背光輸出的特性曲線,經過結合得到觀看者實際左眼和右眼不同圖像灰階值的查找表,并使用該灰階查找表在液晶顯示器顯示3D圖像時消除串擾[15-16].圖5為該過驅動串擾消除方法的原理示意圖,其中分別經過左眼和右眼的測量通道后得到亮度的二維矩陣,再經過優(yōu)化處理后得到實際顯示R、G、B所需的過驅動灰階查找表.經過試驗證明該查找表不僅僅可以用在時分式(快門眼鏡式)立體顯示器上,同樣也可以運用在偏光式立體顯示器上以顯著降低串擾.
圖5基于觀看角度的過驅動串擾消除方法原理示意圖Fig.5 Schematic diagram of over drive crosstalk elimination method based on viewing angle
建立基于觀看角度的過驅動查找表來降低串擾的核心在于,將重新計算得到的灰階組合(GLlo,GLro)來代替原有顯示立體圖像的灰階(GLl,GLr),通過補償因為較慢的液晶相應曲線所導致的畫面亮度的不均勻,最后可以使左右眼睛觀察通道顯示圖像的亮度值與沒有串擾時的比較理想的狀態(tài)一致.當左右眼圖像呈現灰階一致的圖像時,無串擾,因此針對左眼而言,當顯示沒有串擾的圖像時應該采用重新設計的查找表中(GLl,GLl)對應的灰階亮度.同理右眼圖像無串擾時,應該對應新查找表中(GLr,GLr)的灰階亮度.如圖6所示,橫、縱軸分別對應左、右眼圖像的灰階.圖中標注的坐標點對應此時的左、右眼圖像灰階下各自測量的亮度值.例如,當坐標點(48,32)時,其兩眼的理想亮度值應該是坐標為(48,48)的12.41 cd/m2和坐標為(32,32)時的5.84 cd/m2,但由于存在串擾,兩眼測得的實際亮度值為:9.11 cd/m2和8.24 cd/m2.那么此時運用該新的查找表算法,將新的坐標點(82,12)上灰階代替原來的灰階組合,使得實測左、右眼圖像亮度分別為12.12 cd/m2和5.57 cd/m2,左、右眼通道中亮度的分布更加靠近理想無串擾的狀態(tài),進而大幅降低串擾的影響,優(yōu)化了立體圖像的顯示效果.
圖6 優(yōu)化灰階組合示例Fig.6 Example of optimized gray scale combination
為了對新查找表中坐標(GLlo,GLro)的亮度與原目標輸出亮度的接近范圍進行量化,重新定義左、通道右眼圖像亮度誤差的公式如下:
ΔLum=|Luml(GLl0,GLr0)-Luml(GLl,GLl)|+
|Lumr(GLl0,GLr0)-Lumr(GLr,GLr)|,
(6)
其中Luml(GL1,GL2)表示左眼通道在(GL1,GL2)灰階坐標時測量得到的亮度值,而對應Lumr(GL1,GL2)則表示右眼通道在(GL1,GL2) 灰階坐標時測量得到的亮度值.假如計算得到的Lum值較大,說明兩者的亮度差異較大,串擾就很明顯,反之串擾就非常小.在研究中發(fā)現,其實Lum的計算公式可以有多種,例如可以仿照歐幾里得空間(Euclidean Space)得到如下公式:
(7)
圖7為抑制串擾的查找表算法工作示意圖,當全部圖像灰階組合的(GLlo,GLro)表格值均采用新的查找表灰階組合值替代后,則可以計算得到完整的串擾抑制查找表.
圖7 抑制串擾的查找表算法工作示意圖Fig.7 Schematic diagram of look up table algorithm for crosstalk suppression
如圖8(a)、(b)分別為某品牌立體顯示器在不同的灰階顯示組合時,應用該串擾消除算法查找表前后,對左眼觀察到的灰階圖像的實測亮度分析結果.通過對比可以看出,在沒有應用串擾消除算法查找表工作時,通過左眼測量得到的亮度特性曲線,由于右眼的漏光等原因隨右眼圖像顯示灰階的不同,而隨之產生了較大的差異;而當查找表工作后,各灰階下的Gamma曲線趨向匯聚收束,這也表明左或右眼觀察物體的通道互相不受影響,從而3D圖像的串擾也被大幅降低,畫質更加清晰并且觀看的立體感更強.
(a) 無查找表 (b) 有查找表圖8 消除串擾的查找表運用前后對亮度值及gamma曲線的影響Fig.8 The influence of crosstalk elimination look-up table on brightness and gamma curve
(a)原始串擾 (b)矯正后的串擾圖9 歸一化后的串擾值Fig.9 Normalized crosstalk data
同時,比較了串擾消除算法使用前后的效果,期間考慮了所有左右眼不同組合的灰階圖像,從圖9中串擾矯正后的結果可以看出,在較為接近的中間灰階組合圖像的串擾幾乎被全部消除了,但是在兩側邊緣的灰階部分,也就是高灰階和低灰階部分,串擾的消除效果不明顯.通過計算,采用該減低3D圖像串擾的查找表算法后,所有不同灰階組合的平均串擾消除率可以達到大約70%,而當灰階圖像組合處于中間部分時,串擾的消除甚至高達90%以上.另外,本文提出的該算法,還充分利用了導致串擾產生的通道漏光,從而提高了3D顯示圖像的亮度達13%,同時使用該方法測量實際觀看立體圖像的視覺效果如圖10和圖11所示.
圖10 未采用3D串擾消除算法透過眼鏡的圖像效果Fig.10 Image quality through glasses without using 3D crosstalk elimination algorithm
圖11 采用3D串擾消除算法后透過眼鏡的圖像效果Fig.11 Image quality through glasses after using 3D crosstalk elimination algorithm
從上述的實際圖像觀察效果中也可以看出,采用這種新型的3D串擾消除算法對改善3D下的圖像質量,消除串擾是有明顯作用的.不過,目前這套算法的應用也只是處在一個初級階段,因為其針對的3D處理對象包括實驗效果的驗證都是靜態(tài)的3D圖片,還沒有在針對3D視頻的特性,進行修正和串擾的實際驗證,這還需要后期進行大量的算法優(yōu)化和更新.
本文對立體顯示器串擾的定義和客觀測量評價方法進行了研究,提出了一種基于查找表算法的立體顯示串擾消除方法.分析結果表明,對于所有不同灰階組合的平均串擾消除率可以達到大約70%,而當灰階圖像組合處于中間部分時,串擾的消除甚至高達90%以上.與此同時,不但將立體圖像亮度提高了13%,并且在主觀實驗中觀察到了明顯串擾改善效果.此外,該算法的應用目前也是主要針對靜態(tài)的3D圖片,而對于3D視頻串擾的改善還需要后期進行大量的研究工作.