金羽鋒,肖裔新,符采靈
(1.北京大學 微電子學與固體電子學,廣東 深圳 518055;2.TCL華星光電技術有限公司,廣東 深圳 518132)
隨著液晶顯示器生產(chǎn)世代的提升,其產(chǎn)能有了相當大的提高,隨之而來的是顯示器尺寸越來越大。隨著尺寸的增大,液晶面板在生產(chǎn)制造過程中出現(xiàn)Mura的幾率大幅增加。Mura指的是顯示器生產(chǎn)中出現(xiàn)的亮度不均勻現(xiàn)象,它會帶來顯示器品質(zhì)的下降。Mura的成因多種多樣,如生產(chǎn)工藝的不穩(wěn)定帶來液晶盒厚度不均,生產(chǎn)環(huán)境中的灰塵,背光源不均勻等都會導致Mura的形成[1]。Mura的改善,可以提升液晶面板工藝的穩(wěn)定性,也可以通過圖像處理技術對Mura進行補償。本文的研究方向為通過圖像處理技術進行Mura缺陷的補償。
Mura補償技術的圖像處理可以分成3個步驟:第一步由相機采集面板的亮度后,進行圖像的預處理,從而獲取像素級的亮度矩陣;第二步采用多個灰階的亮度矩陣預測出灰階與亮度的關系曲線,通過輸入灰階的調(diào)整使所有像素的亮度達成一致,此時即獲得Mura的補償數(shù)據(jù);第三步針對Mura的補償數(shù)據(jù)進行格式調(diào)整,燒錄至Flash中,由面板的時序控制芯片讀取補償值進行實時圖像數(shù)據(jù)補償。
本文研究的重點為上述第一步的圖像預處理算法。此算法涉及到圖像降噪、相機平面場校正、鏡頭畸變校正以及VA-LCD視角校正。根據(jù)過去的研究,圖像降噪可采用多次曝光平均或平滑濾波器處理。平面場校正可依賴標準光源建立校正模型。在鏡頭畸變校正方面,梁亮等人[2-5]提出了基于網(wǎng)格圖像的幾何畸變修正法,針對鏡頭的非線性畸變提出了一種雙線性插值模型,其模型參數(shù)可直接推導計算,但其存在網(wǎng)格圖像交點的精度不足問題。Huang等人[6-8]提出一種采用圓形圖案進行快速校正的方法,此種圖案對于參考校正點的提取更加精準,可實現(xiàn)對多種畸變程度進行實時匹配,但其參數(shù)需要迭代收斂才可獲取。在VA-LCD視角校正方面,在面板尺寸越來越大的情況下,視角問題帶來的采集亮度不精準問題越來越明顯,此問題需要根據(jù)設備的搭建環(huán)境以及面板的特性進行具體分析。本文針對面板Mura補償在現(xiàn)代工業(yè)的實際應用,采用圓形點陣圖作為標定圖案,根據(jù)標定點坐標的局部穩(wěn)定性特征快速估計圓心點坐標,并結合可快速求解的雙線性關系模型,實現(xiàn)圖像的實時自適應校正,大幅降低計算復雜度。同時大量測量了面板的視角-亮度特性數(shù)據(jù),采用4次多項式建立穩(wěn)定模型,從而進行全局視角校正,提升面板的9點均一性規(guī)格,實現(xiàn)VA-LCD的局部Mura的消除以及9點均一性的提升。
整體圖像預處理流程如圖1所示。
圖1 圖像預處理的流程步驟Fig.1 Process steps of image preprocessing
Step1:CCD相機存在固定模式噪聲(Time-invariant)和時變噪聲(Time-variant),使相機的某一幀存在特定的空間模式,同時不同幀之間也存在差異。本文采用多次曝光求和的方式獲取圖像,消除相機的時變噪聲,如公式(1)所示:
(1)
其中Ci為相機采集的二維圖像,Cave為消除時變噪聲后的二維圖像。同時進行小范圍的空間均值濾波,消除相機的固定模式噪聲,如公式(2)所示:
(2)
其中K(m,n)為均值濾波核函數(shù),Cdenoise為消除固定模式噪聲后的二維圖像。
Step2:由于相機與鏡頭組合后,對于不同角度進入的同等亮度光源存在一定程度的衰減。由于此亮度衰減主要由相機和鏡頭產(chǎn)生,在實際生產(chǎn)中,相機及鏡頭為固定設備,因此可以預先建立一個模型進行亮度校正。為了獲得準確的校正模型,通常需要一個穩(wěn)定的標準光源,其精度同樣影響模型的準確度。郭漢洲等人[9]提出一種用于CCD相機標定的LED點光源,針對CCD的標定可以快速自適應,同時精度也較高。本文采用了某光學設備供應商的常規(guī)標準平面光源進行拍攝,根據(jù)與中心點亮度的比例建立平面場校正的模型,需要注意的是不同亮度的校正模型存在偏差,因此需要根據(jù)實際拍攝的亮度進行模型建立,具體計算如公式(3)所示:
(3)
其中Cstandard為相機拍攝標準光源獲得的二維圖像,Rff(i,j)為用于校正的系數(shù)矩陣。通過將降噪后的圖像與此系數(shù)矩陣進行點乘計算,即可完成相機所有CCD的逐點校正,具體計算如公式(4)所示:
Cff(i,j)=Cdenoise(i,j)·Rff(i,j),
(4)
經(jīng)過上述計算后即獲得平面場校正后的二維圖像Cff。
Step3:通常的畸變校正包括3種:鏡頭徑向畸變、切向畸變和薄棱鏡畸變。在工業(yè)應用中,相機對面板的拍攝具有定焦距、同平面的特點,可對畸變校正模型進行簡化,但簡化后的模型參數(shù)由于工業(yè)生產(chǎn)中的片間誤差而不具有通用性,因此畸變參數(shù)需要實時獲取。本文采用特定圓形點陣圖案進行標定,采用簡易的雙線性關系建立模型,能夠高效地實現(xiàn)圖像的校正。
ML=f(Cff,c1,c2,c3,c4,c5,c6,c7,c8),
(5)
其中c1,c2,c3,c4,c5,c6,c7,c8為畸變校正參數(shù)。
Step4:由于VA-LCD顯示器正視角的亮度和側(cè)視角的亮度不同,但顯示器的規(guī)格標準則是采用正視角對屏幕各個區(qū)域進行量測后計算均一性,因此相機采集面板亮度時,中心和邊緣存在角度差,從而導致后續(xù)的步驟(補償值計算)出現(xiàn)偏差,需要建立視角-亮度的模型,然后對像素級的亮度矩陣進一步校正。
Mview=MLRpanel_view,
(6)
其中Rpanel_view為通過視角-亮度模型獲得的矩陣,Mview為視角校正后的二維圖像。
相機標定法的常用圖案是棋盤格,其特征點為網(wǎng)格交點,常用Harris等角點檢測算法[10]進行識別。此方法需要搜尋和遍歷圖像,計算速度不佳。另一種常用圖案是圓形點陣圖,其特征點為圓心點,此方法早期采用半手工輔助標定方式,之后Yu等人[11-14]提出了基于圓形點陣圖的自動標定方法,對點陣圖進行了特定排列,但該方法為了適應各種角度的校正,計算仍有一定復雜性。本文針對Mura消除的應用,采用常規(guī)的矩陣排列點陣圖作為標定圖案,圓點數(shù)量為m×n,如圖2所示。
圖2 圓形點陣標定圖Fig.2 Circle pattern for camera calibration
由于相機與顯示器的位置相對固定,且為同一平面,因此依據(jù)標定圖中任意的4個圓形點,采用雙線性關系建立模型。
(7)
其中:x1、y1、x2、y2、x3、y3、x4、y4,為理想圓心點,u1、v1、u2、v2、u3、v3、u4、v4為相機采集到的圓心點。
本文的圓心點獲取方法采用質(zhì)心公式,對圖像以圓形點為中心粗略分割,形成局部矩形單元。由于相機存在暗態(tài)噪聲,需要針對此區(qū)域進行降噪,結合圓形白點的高對比特性,選用自適應閾值降噪方法:
Tdark_level=TE-region+Tstd-region,
(8)
(9)
其中:TE-region為區(qū)域均值,Tstd-region為區(qū)域方差。然后針對此區(qū)域通過質(zhì)心公式計算出圓心(u,v),如此即可獲得所有m×n個(u,v)。
隨后根據(jù)公式(7),通過8個等式求解出8個未知數(shù)c1、c2、c3、c4、c5、c6、c7、c8,然后將此畸變參數(shù)應用于相機拍攝的灰階畫面進行像素亮度提??;
(10)
其中:xLoc、yLoc為畸變前坐標,uLoc、uLoc為畸變后的坐標;通常計算得到的uLoc、uLoc為非整數(shù),無法直接尋址獲得亮度值,因此需要周邊亮度值插值獲取。
本文的畸變校正方法相比于其他方法,在運算模型上大幅簡化,同時準確性滿足工業(yè)需求。
LCD顯示器的亮度控制主要通過改變液晶的偏轉(zhuǎn)角度來達成。而當液晶成垂直偏轉(zhuǎn)時,人眼觀測顯示器的位置則與液晶偏轉(zhuǎn)角度產(chǎn)生了一定聯(lián)系,因此顯示器呈現(xiàn)的亮度與人眼觀看時的角度存在一定的聯(lián)系。IPS-LCD顯示器由于液晶偏轉(zhuǎn)方向與顯示平面平行,因此受到人觀測角度的影響較弱;但VA-LCD由于其偏轉(zhuǎn)方向與顯示平面垂直,此時人的觀測位置不同會帶來液晶偏轉(zhuǎn)角度的相對變化,因此在本文的技術應用中需要特別分析。工業(yè)應用中由于可靠性及成本的考量,通常采用單相機方案,此時相機采集面板亮度時,針對面板的不同區(qū)域就會產(chǎn)生不同觀測角度,如圖3所示。
圖3 相機與顯示器不同位置的視角關系Fig.3 View-angle relationship between camera and display
根據(jù)顯示器的亮度均一性標準,針對面板不同位置皆以(θ=0)為量測條件,因此需要對相機采集數(shù)據(jù)進行視角校正。此校正依據(jù)及方法與面板特性強相關,本文采用一款VA-LCD產(chǎn)品的數(shù)據(jù)進行實驗。其視角與亮度的特性如圖4所示:在中低灰階時,隨著視角增大,亮度小幅增大;在中高灰階時,隨著視角增大,亮度大幅減小。
圖4 VA-LCD不同灰階下亮度與視角的關系Fig.4 Relationship between brightness and view-angle of VA-LCD under different greyscale
根據(jù)同產(chǎn)品大量數(shù)據(jù)分析,在相同灰階下視角-亮度曲線非常穩(wěn)定,只有小幅度波動,因此可以對其建立穩(wěn)定模型,但不同灰階的視角特性不同,需要根據(jù)實際工程應用的需求單獨建模。在模型建立中如果直接采用實際量測數(shù)據(jù),由于誤差的存在以及數(shù)據(jù)本身的離散型,會存在一定的隱患。因此為了提升算法的穩(wěn)定性,本文采集大量數(shù)據(jù)進行了分析,最終采用4次多項式進行曲線的擬合。由于此模型沒有實時性需求,可通過Matlab工具箱的曲線擬合工具完成:
Lraw=a1θ4+a2θ3+a3θ2+a4θ1+a5,
(11)
其中:θ為光源與相機的法向夾角,a1、a2、a3、a4、a5為多項式擬合獲得系數(shù);對Lraw亮度以θ=0時為基準進行歸一化,即可求得相對于θ=0的亮度系數(shù):
LRatio=b1θ4+b2θ3+b3θ2+b4θ1+b5,
(12)
其中:θ為光源與相機的法向夾角,b1、b2、b3、b4、b5為多項式擬合獲得系數(shù)。視角為θ的某一像素點的校正公式為:
LCalibration=Lθ/Rpanel_view,
(13)
其中Lθ特指待校正點的亮度值。本文在相機定位中,將顯示器中心與相機中心對齊,此時以顯示器中心像素為原點,即可計算出其他像素點坐標的θ角度,然后根據(jù)上述校正公式,即可完成視角校正。
表1為某一大尺寸LCD面板在64灰階及96灰階下,不同視角的亮度特點。
表1 不同灰階下,不同視角的亮度擬合示例Tab.1 Brightness fitting examples of different viewing angles under different gray scales
本文的視角校正方法,相比于其他文獻的方法,在大尺寸的全局均一性上有獨特的優(yōu)勢。
本文的算法效果實驗,以最終Mura消除效果評價,完整的Mura消除流程如圖5所示。
圖5 Mura消除步驟Fig.5 Mura compensation scheme
結合本文的圖像預處理算法及步驟二和步驟三的操作流程,本文算法的不同階段的輸出圖像如圖6所示。
圖6 算法效果Fig.6 Results of algorithm
面板Mura程度的評定包含主觀指標和客觀指標。主觀指標由經(jīng)過專業(yè)培訓的人員對Mura進行視覺量化,采用JND(Just noticeable difference)作為量化值。JND越小代表Mura越不可見,此評價手段對局部小范圍亮度不均比的評價十分準確,但對面板全局比較平滑的亮度變化不敏感。針對圖6中的效果進行主觀評判后,結果如表2所示。
表2 JND評價結果Tab.2 Result of JND
從表2中可以看到,Mura消除后,JND達到1.8,即人眼幾乎無法察覺,達到了產(chǎn)品的最高等規(guī)格要求。
客觀指標是通過對面板9個不同的位置進行亮度測量,按照規(guī)定的公式計算均一性。此評價手段對局部亮度不均的評價存在較大的偏差,主要由于其固定的測量位置所致,但其可以準確評估全局亮度的均勻性。圖7所示為本文采用的9點位置標準,測量設備為柯尼卡美能達的色彩分析儀CA310。
圖7 面板9點均一性測量點Fig.7 Panel 9 point uniformity measurement point
規(guī)定的均一性計算公式如下:
(14)
針對圖6中的效果進行客觀評價,結果如表3所示。
表3 面內(nèi)9點亮度及均一性結果Tab.3 Results of panel 9 point uniformity
從表3可以看到,通過對視角亮度進行校正后,面板整體的均勻性從53.4%提升至82.9%,大大提升了面板的品質(zhì)等級。
本文根據(jù)現(xiàn)代工業(yè)在VA-LCD生產(chǎn)中的條件及要求,提出了一種快速自適應標定的圖像預處理算法。介紹了圖像預處理的整體流程及相關原理,提出了特定場景下的相機標定圖案及其計算模型,同時針對VA-LCD存在的視角影響,提出了視角校正的方法模型。最后結合補償值計算及芯片實時補償,在實際產(chǎn)品中進行了應用,從主觀和客觀兩種評價方式對最終結果進行了評定:其中JND從2.7提升至1.8,9點均一性從53.4%提升至82.9%,算法模型大幅降低了復雜度,且在自適應校正上具有良好的魯棒性。滿足產(chǎn)品最高等規(guī)格要求,算法復雜性的降低對工廠效率提升有著重要意義。