摘要:針對閃爍測試方法前期的理論進行了研究,機理研究表明,閃爍涉及照明學、生物學、電子電器學、醫(yī)學各個領域,難以達到統(tǒng)一。隨著自動駕駛等級的提高,以機器感知來代替人體感知成為一種趨勢,如何將機器感知的閃爍與人眼感知的閃爍達到一致,是未來測試方向的重點,對駕駛安全有著實際的意義。
關鍵詞:閃爍;顯示屏;攝像頭;CMS
中圖分類號:U461 收稿日期:2024-08-15
DOI:10.19999/j.cnki.1004-0226.2024.11.004
1 前言
隨著汽車智能化、網(wǎng)聯(lián)化的發(fā)展,汽車成為一種多傳感器、多攝像頭、多模式下的人工智能管家,通過傳感器識別信號轉換形成的圖像質量對于汽車觀看和汽車計算機視覺應用至關重要。目前市場的趨勢是以攝像頭搭載的多交互模式,因此攝像頭對于車輛感知和環(huán)境感知特別重要,但是迄今為止,汽車行業(yè)還沒有一致的方法來測量圖像質量。尤其是智能座艙目前處于產(chǎn)品發(fā)展的初期,相關產(chǎn)品的測試方法和標準暫時沒有達成完全統(tǒng)一,且相對空白,由此開展相關領域的研究已經(jīng)迫在眉睫。
本文主要針對閃爍測試方法前期的理論進行研究。首先從閃爍的定義來闡述:閃爍是在數(shù)字成像過程中觀察到的偽影。閃爍本質上是一個時間、空間采樣問題。LED閃爍可能會導致交通信號、速度標志或安全信息識別錯誤,還可能導致整體圖像亮度振蕩,涉及到極大的安全問題。如何有效表征閃爍,提高圖像識別質量,用以提升汽車的功能安全,是個比較有意義的課題。
2 閃爍概述
閃爍定義為“由亮度或光譜分布隨時間波動的光刺激引起的視覺感覺不穩(wěn)定的印象”(前提是眼睛既沒有產(chǎn)生掃視,被照亮的物體也沒有在運動)[1]。在數(shù)字顯示技術中,閃爍現(xiàn)象可能由多種因素引起,包括但不限于屏幕刷新率不足、信號傳輸問題或圖像處理算法的缺陷。
在顯示系統(tǒng)中,圖像信號從源設備傳輸?shù)斤@示設備,經(jīng)過一系列的處理和轉換,最終呈現(xiàn)在屏幕上。在這個過程中,任何環(huán)節(jié)的故障或不足都可能導致閃爍現(xiàn)象。隨著顯示技術的不斷發(fā)展,閃爍現(xiàn)象已成為影響用戶體驗的關鍵因素之一。
屏幕顯示圖像的基本原理是通過控制像素的亮度和顏色來呈現(xiàn)圖像。當像素的亮度在短時間內發(fā)生快速變化時,人眼就可能感知到閃爍現(xiàn)象。這通常與屏幕的刷新率(即每秒更新圖像的次數(shù))有關。
3 研究現(xiàn)狀
本文將CMS電子后視鏡整套系統(tǒng)作為一個簡單分析標準的主體,CMS整個系統(tǒng)組件包括攝像頭、顯示屏、控制器和線束,其中攝像頭和顯示屏是直接影響圖像閃爍效果的重要組件。
3.1 顯示屏閃爍
顯示屏中的TFT-LCD為每一個像素制作了一個半導體開關,可以實現(xiàn)精確控制每個像素點的顯示灰階,擁有比TN更加快的響應速度以及更為豐富的色彩,畫面的刷新頻率也更快。在TFT-LCD中,主要通過給像素電極施加不同的電70dae6ed890c6ee2558856d20cf40f4565fb154f789d43c37c62874e85a98cfa壓與Common電極形成一個電場來控制液晶分子的偏轉,從而達到遮光與透光的目的。其根本原因是Cgs(gate對source的耦合電容)耦合導致漏電,正電壓亮度和負電壓亮度不同,對策是調節(jié)Vcom來補償,因制程原因導致無法做到整面的金屬線刻蝕一致,Cgs整面其實是不均勻的,各個pixel(像素)亮度不均,因此Vcom的調節(jié)以中心點為主,實際標準會卡控中心點dB值。圖1表達了顯示屏閃爍形成的機理。
從生物學角度看閃爍,熒光粉被激發(fā)后會由亮到暗,稱為余暉(Afterglow),當余暉的時間太短與下一次被激發(fā)時間不匹配時(余暉時間<人眼反應時間),就會觀察到屏幕閃爍(太長會造成影像殘留問題)。
人眼視覺暫留(Visual Staying Phenomenon),是指當人眼所看到的影像消失后,人眼仍繼續(xù)保留其影像的圖像。一般來說,要使人眼產(chǎn)生連續(xù)動作畫面的時間為16~24 Hz,但由于人眼對光線亮暗的感覺更敏感,因而實際上在30 Hz的更新畫面下人眼還是可以觀察到畫面亮度差異(閃爍),因此要獲得更佳的畫面品質,其畫面更新頻率越高越好。
顯示屏行業(yè)內通常用JEITA標準的Flicker值dB來表征。JEITA法利用FMA法的計算方式,閃爍度不依賴于頻率,它的值是根據(jù)亮度的AC構成和DC構成來計算的,但人眼對閃爍的感知與頻率有很大關系,人眼對低頻較為敏感,頻率在20 Hz時人眼對閃爍的感知能力開始逐漸降低,當頻率超過60 Hz時,人眼幾乎感知不到閃爍了。JEITA法是通過傅里葉變換,將亮度值隨時間的變化轉化為隨頻率的變化,通過精確測量每個頻率對應的能量值,乘以該頻率下的敏感系數(shù),得到不同頻率下的閃爍值。閃爍值定義為各頻率構成與頻率為0的能量值的比值,然后取10的對數(shù),再乘以10,單位為dB[2]。圖2示出了顯示屏閃爍JEITA法測試圖形。
3.2 攝像頭的閃爍
目前,攝像頭采用的是CMOS(Complementary Metal-oxide Semiconductor,互補型金屬氧化物半導體)圖像傳感器,傳感器Sensor在室內日光燈下會產(chǎn)生Flicker現(xiàn)象,其根本原因是由于Sensor在光照條件下,不同像素點上的光能量不同所產(chǎn)生的,所接受的光能量不同也就是圖像的亮度不同,其對策是將曝光時間設置成1/100 s的整倍數(shù)。圖3示出了CMOS像素結構及信號轉換圖。
CMOS圖像傳感器的閃爍現(xiàn)象通常是由電源的頻率干擾引起的。?
在電力供應中,?交流電的頻率通常為50 Hz或60 Hz,?這會導致燈具以100 Hz或120 Hz的頻率波動,?使得在同一個周期內各個點的亮度不一致。?當CMOS傳感器進行全局曝光時,?即使曝光時間相同,?由于外界亮度在周期性變化,?也會導致幀與幀的圖像亮度不一致,?從而造成視覺上的閃爍現(xiàn)象。?此外,?如果CMOS傳感器采用局部曝光方式,?同一圖像的不同行是分開曝光的,?這會導致明暗相間的橫條紋出現(xiàn)。?
為了解決CMOS圖像傳感器閃爍的問題,?可以采取以下幾種方法:?
a.同步圖像采集:?通過同步圖像采集來解決閃爍問題,?即讓圖像傳感器的采集時機與電源頻率同步。?這可以通過使用外部觸發(fā)信號或同步信號源將圖像采集與電源同步實現(xiàn)。?通過這種方法,?圖像傳感器將在電源波形的特定相位進行采集,?從而減少閃爍現(xiàn)象。?
b.修改曝光和增益設置:?如果閃爍是由于Sensor控制曝光的寄存器值突然改變引起的,?可以通過在ISP設置曝光增益時檢查當前設置值是否與前一次的曝光設置值一致來減少I2C通信,?從而降低閃爍的可能性。?
c.調整I2C時鐘頻率:?如果閃爍問題是由于I2C時鐘頻率過高導致的Sensor在接受I2C數(shù)據(jù)時出現(xiàn)錯誤,?可以通過降低SOC I2C頻率來減少出錯的可能,?進而解決閃爍問題。?
綜上所述,?CMOS圖像傳感器的閃爍現(xiàn)象主要是由于電源頻率干擾引起的,?通過同步圖像采集、?調整曝光和增益設置以及降低I2C時鐘頻率等方法可以有效解決這一問題。
國內攝像頭現(xiàn)行QC/T 1128—2019標準針對閃爍一項無標準表征方式。國外針對汽車用攝像頭研究發(fā)展如下:
IEEE 1789—2015工作組成立于2008年12月。在此之前,沒有討論過發(fā)光二極管(LED)照明中閃爍的影響。LED燈正在開發(fā)新技術,這些技術引入了高水平的閃爍。有時,在特殊情況下,一些燈會失效并引起閃爍,這可能會在一小部分患有光敏性癲癇的人群中引起癲癇發(fā)作。成立工作組便于將一個多元化的專家團體聚集在一起討論閃爍的影響:來自醫(yī)學界、照明界、光生物學家、電氣工程師等成員。如果沒有團體討論閃爍問題,LED照明的開發(fā)人員就不可能完全了解可能與其設計相關的任何健康影響。文檔詳細解釋了LED照明中閃爍,并提供推薦的做法,以幫助減輕光閃爍可能產(chǎn)生的不利生物影響。3~70 Hz這個頻率范圍特別值得關注,因為它可能導致易患光敏性癲癇的人癲癇發(fā)作。對于大多數(shù)人來說,頻率低于60 Hz的閃爍是可見的。臨界閃爍融合頻率(CFF)通常發(fā)生在60~100 Hz的范圍內不可見的閃爍,以高于CFF的發(fā)生率發(fā)生,即使個體通常不能報告對閃爍的有意識感知,也可能具有生理影響。
a.由于在3~70 Hz頻率范圍內的閃爍而導致癲癇發(fā)作的潛在風險。
b.在低于165 Hz頻率下,由于不可見的閃爍,可能對人類的生物影響。
c.“可見”閃爍和“不可見”閃爍之間的區(qū)別以及與人類生物效應的任何關系。
國外IEEE P2020中閃爍被定義為圖像或者視頻流中像素數(shù)字值的閃爍或調制,即使從該點反射或發(fā)出的光對人類觀察者來說似乎是恒定的。該文檔的重點是相機捕獲的圖像或圖像序列中的閃爍,而不是對光源本身的調制。從根本上講,閃爍是一個時間采樣問題,LED 燈可能以不同的占空比每秒脈沖數(shù)百次,以調整其表觀亮度。在這些頻率下,光線對人類觀察者來說似乎是恒定的,因為人眼有效地充當了時間低通濾波器。然而,對光源進行成像的相機可能會在與這些波動相同的時間尺度上暴露其傳感器,使其更容易記錄光源本身的變化。在明亮的照明條件下尤其如此,例如全日光或迎面而來的車輛的前照燈。
P2020針對汽車用攝像頭提出一類概念:LED Flicker[3],針對圖像顯示中光源的閃爍,主要包括兩種應用,一種是針對在相機視場內直接成像的閃爍光源的閃爍或調制,示例包括閃爍的前照燈、交通燈或道路標志;一種是針對由閃爍光源照亮的圖像區(qū)域的閃爍或調制,例如,PWM驅動燈照亮的路面可能會閃爍或調制。
圖4顯示了一個說明性的例子。在第N幀中,相機的曝光時間與PWM驅動的LED交通信號燈的脈沖時間重合。因此,在第N幀中,相機會捕捉到紅色交通信號燈。然而,在第N+1幀中,相機的曝光時間和LED脈沖不重合。在這種情況下,紅色信號燈將不會被捕捉到。在多個視頻幀的過程中,交通信號燈將會出現(xiàn)閃爍,而這恰恰取決于相機在連續(xù)幀中的曝光時間是否與LED光脈沖重合。
3.3 CMS(電子后視鏡)閃爍
電子后視鏡作為一個典型的車載顯示器件,是攝像頭、顯示器、控制單元組成的一套系統(tǒng),直接面向駕駛員,對人機交互評價意義深遠,其閃爍的機理更值得探討,以下是其標準的發(fā)展軌跡:
1936年,Crawford[4]發(fā)表論文研究靜態(tài)和可變條件下瞳孔大小對外界光刺激的依賴性,這項調查是對外部光刺激變化導致的視覺靈敏度隨時間變化中研究的一部分。整個眼睛靈敏度的局部變化是由于瞳孔大小的變化而產(chǎn)生的,這個瞳孔大小因素可以方便地單獨考慮,然后與眼睛視網(wǎng)膜內在靈敏度的變化相結合,這是用固定瞳孔大?。ㄈ斯ね祝y量的。對瞳孔大小因素的研究自然分為兩部分:首先必須知道受試者視野中任何靜態(tài)條件的瞳孔大小是多少,即任何主要條件刺激的瞳孔大小;然后確定外部光刺激變化后瞳孔大小隨時間的變化。這里研究的案例是從高刺激到零刺激的變化,還考慮了變化對初始刺激水平的依賴性。瞳孔大小受一般視野的亮度、大小和眩光源的影響,包括它們的強度和相對于注視方向的位置。實驗環(huán)境選取的是暗室,選用的是白色均勻照明的屏幕,亮度依次遞減。
1987年,F(xiàn)arrell[5]在預測視頻顯示終端的閃爍閾值一文中描述了一種分析方法,用于預測視頻顯示終端是否會在屏幕熒光持久性、刷新頻率和其他環(huán)境因素(如環(huán)境光水平、觀看者與顯示器之間的距離等)下出現(xiàn)閃爍。從該方法中可以預測最大屏幕亮度和最小刷新頻率,這將為理論標準觀察者生成無閃爍顯示。這些預測在各種刷新頻率、屏幕亮度、屏幕熒光粉和個人用戶中進行了測試。
該方法可用于顯示器的設計階段,以選擇將導致無閃爍顯示器的顯示參數(shù)。該方法是基于人們對時間變化的光的敏感程度的模型,所提出的屏幕閃爍預測方法基于時變屏幕亮度的傅里葉分解。由于VDT的基本時間頻率等于刷新頻率,因此簡化了時變屏幕亮度的傅里葉分析。如果知道描述時間調制屏幕亮度的傅里葉級數(shù)中基頻的絕對振幅,那么就可以預測屏幕是否會出現(xiàn)閃爍。預測屏幕閃爍的實驗方法是計算23~39歲之間20個觀測者的絕對振幅問題時,使用閃爍閾值分布來估計90%用戶群體時間變化的基頻的閃爍閾值。將預測屏幕閃爍的方法歸結為計算瞬時變化的屏幕亮度基本頻率絕對幅值。
在選擇閃爍度量的顯示條件和觀察者時,必須牢記兩個重要事實:首先,閃爍值隨年齡的變化而變化,年輕人對閃爍更敏感;其次,閃爍閾值隨顯示器尺寸的不同而變化,顯示器越大,則人們對閃爍越敏感。
國際標準化組織肯定了Farrell[6]的研究,在此基礎上詳細地闡述了測量閃爍的方法和計算公式,描述了兩種用于預測VDT是否會對一定比例的用戶出現(xiàn)閃爍現(xiàn)象的分析方法。一種是理論計算方法,一種是經(jīng)驗總結,后期會統(tǒng)一一種方法。
GB 15084—2022[7]中有關閃爍的測試技術標準和測試方法理論來源于ISO 16505,目前用實際人眼觀察能量Eobs表征判定要求,要求120 Hz頻率以內的各種頻率下的觀察能量Eobs,然后將其與人眼能察覺到的閃爍能量(預測的閃爍能量閾值Epred)相比較,需滿足Eobs<Epred。
4 結語
從各個部分的閃爍標準研究來看:
a.顯示屏的閃爍是基于Cgs耦合導致漏電,本身工藝制成不均導致的。
b.攝像頭的閃爍是基于相機捕獲的圖像或圖像序列中的閃爍,是一個時間采樣問題,與相機和外界的頻率匹配相關,受到電源的頻率干擾及受外界光照環(huán)境影響。
c.CMS的閃爍是基于人們對時間變化的光的敏感程度建立的模型,與屏幕熒光持久性、刷新頻率和其他環(huán)境因素(如環(huán)境光水平、觀看者與顯示器之間的距離等)相關。
結合以上標準和論文研究可以發(fā)現(xiàn),閃爍的機理涵蓋照明學、生物學、電子電器學、醫(yī)學各個領域的研究,比較難達到統(tǒng)一。隨著自動駕駛等級的提高,以機器感知來代替人體感知成為一種趨勢,如何將機器感知的閃爍與人眼感知的達到一致,是未來的測試方向的重點,對駕駛安全有著實際的意義。
參考文獻:
[1]IEEE Std 1789?—2015[S].美國:美國電氣電NgxKg6OU9OFAirukNoVjIkTxe5mad5RNG1IAKxnVik4=子工程師學會,2015.
[2]色彩分析儀.Flicker的兩種測量方式[EB/OL].(2023-0803)[2024-07-17].https://baijiahao.baidu.com/s?id=1773186183314087217.
[3]IEEE_P2020_FLICKER[S].美國:美國電氣電子工程師學會,2020.
[4]Crawford B H. The Dependence of pupil size upon external light stimulus under static and variable conditions[J].Proceedings of the Royal Society B:Biological Sciences,1936,121:376-395.
[5]Farrell J E,Benson B,Carl R.Predicting flicker thresholds for video display terminals[J].Proceedings of the SID,1987,28(4):449-453.
[6]ISO 9241—3:1992/Amd.l:2000[S].瑞士:國際標準化組織,1992.
[7]國家標準化管理委員會.GB 15084—2022.機動車輛間接視野裝置 性能和安裝要求[S].北京:中國標準出版社,2022.
作者簡介:
畢曉婷,女,1990年生,工程師,研究方向為智能座艙光電領域。