王小釗,宋 寶
(華中科技大學(xué)國家數(shù)控系統(tǒng)工程技術(shù)研究中心,湖北武漢 430072)
自動曝光是指攝像機自動進行光圈、曝光時間、信號增益的調(diào)節(jié),從而獲取視頻圖像最優(yōu)亮度的過程[1]。攝像機拍攝時,往往要求恰到好處的曝光。曝光過高或者過低會引起視頻圖像偏亮或者偏暗。
自動曝光包括光強測定、調(diào)節(jié)算法部分。光強測定是獲取攝像機所攝景物光照強度的過程[1],對高清網(wǎng)絡(luò)攝像機而言,主要通過分析圖像數(shù)據(jù)完成環(huán)境光強的測定。調(diào)節(jié)算法部分主要是通過場景亮度與理想亮度計算出曝光時間、信號增益的輸出[1]。常用的有直接設(shè)置法[2]、逐次逼近法[3]、神經(jīng)網(wǎng)絡(luò)[4]、基于圖像樣本自學(xué)習(xí)的自動曝光算法[5]。
本文主要是研究基于TMS320DM368的網(wǎng)絡(luò)攝像機的自動曝光控制算法。TMS320DM368是基于達芬奇(Da-Vinci)技術(shù)的系列產(chǎn)品,達芬奇技術(shù)是一種專門針對數(shù)字視頻應(yīng)用(如網(wǎng)絡(luò)攝像機)的解決方案[6]。
本文設(shè)計的自動曝光系統(tǒng)包含:鏡頭、CMOS圖像傳感器以及TMS320DM368控制器。含有圖像信號的光線經(jīng)鏡頭照射在CMOS感光元件上,經(jīng)過一定時間的曝光,轉(zhuǎn)換成電信號,經(jīng)模擬增益器放大,然后A/D轉(zhuǎn)換后輸出到處理器TMS320DM368的H3A硬件模塊中。H3A處理的數(shù)據(jù)經(jīng)過亮度評價函數(shù)獲取場景光強,進而完成光強測定,將評價亮度與理想亮度輸入控制器計算出曝光時間、信號增益。自動曝光系統(tǒng)如圖1所示。
圖1 網(wǎng)絡(luò)攝像機自動曝光系統(tǒng)
因為圖像數(shù)據(jù)量大,計算一般需要借助硬件協(xié)處理器來完成,TMS320DM368中H3A模塊式專門用于自動曝光(AE)、自動白平衡(AWB)、自動聚焦(AF)的硬件協(xié)處理器[7]。對自動曝光而言圖像數(shù)據(jù)在H3A中完成對數(shù)據(jù)的分塊采集、飽和檢查、像素累加工作,對自動曝光來說,在H3A中完成的主要工作為分塊采集和像素的累加。
光強測定時亮度評價函數(shù)設(shè)計與H3A模塊輸出數(shù)據(jù)密切相關(guān)、調(diào)節(jié)算法的設(shè)計與自動曝光的性能密切相關(guān),亮度評價函數(shù)的設(shè)計與調(diào)節(jié)算法的設(shè)計為自動曝光算法的關(guān)鍵技術(shù)。
H3A中完成對數(shù)據(jù)的分塊采集、像素累加工作,H3A將圖像數(shù)據(jù)分為16×12塊來采集,AE/AWB像素累加器分別對每塊像素的RGB值分別累加得到一個16×12×3的矩陣A16×12×3。其中,矩陣中Aij1為第ij模塊的R(紅色)分量累加值,矩陣中Aij2為第ij模塊的G(綠色)分量累加值,矩陣中Aij3為第ij模塊的B(藍色)分量累加值,矩陣A16×12×3即為 H3A 模塊的輸出。
用戶對不同區(qū)域亮度關(guān)心程度不同,為了更貼近用戶感受,因此對圖像亮度進行加權(quán)平均,按照人們對不同區(qū)域關(guān)心程度設(shè)置權(quán)重矩陣W16×12,W16×12權(quán)重按照圖2設(shè)置。
圖2 亮度計算權(quán)重設(shè)置
估計場景亮度將H3A轉(zhuǎn)換為亮度,在按照權(quán)重加權(quán)平均
式中:Yp為估算場景亮度;矩陣A為H3A輸出數(shù)據(jù);W為權(quán)重矩陣。
調(diào)節(jié)算法是根據(jù)景亮度與理想亮度計算出曝光時間、信號增益的輸出,考慮到TMS320DM368計算能力與穩(wěn)定性要求,選取PID控制算法。
由自動曝光系統(tǒng)可得圖像亮度Yp與鏡頭通光量F、曝光時間T、增益系數(shù)A的函數(shù)關(guān)系為
式中:K為比例系數(shù),由自動曝光系統(tǒng)可知曝光時間T與增益系數(shù)G均為系統(tǒng)可控量。通光量F與光圈大小以及場景光照有關(guān)系。考慮到成本因素網(wǎng)絡(luò)攝像機一般采用定光圈鏡頭,通光量F僅跟場景光照有關(guān)。
假設(shè)可控量為V,V與曝光時間T與增益系數(shù)G為
將圖像亮度函數(shù)簡化為
為保證系統(tǒng)線性
則控制系統(tǒng)設(shè)計為:ln(Y)為作為輸出,PID控制器的輸出量為U=lnV,將lnF作為系統(tǒng)的干擾構(gòu)建控制系統(tǒng)如圖3所示。
圖3 自動曝光系統(tǒng)圖
由式(5)可得G(S)=1,系統(tǒng)中輸入量為lnYE,YE為自動曝光系統(tǒng)希望達到的希望亮度,按照中間亮度法故取YE=128。同時為了防止自動曝光系統(tǒng)頻繁調(diào)節(jié),影響人眼體驗取YL=118,YH=138,當評價亮度YL<Y<YH,時曝光系統(tǒng)將不進行曝光調(diào)節(jié)。
因為曝光時間、增益系數(shù)限制較多,函數(shù)關(guān)系較為復(fù)雜,故采用查表法查出曝光時間T與增益系數(shù)G。
本文采用OV9712圖像傳感器,其COMS圖像傳感器,增益系數(shù)調(diào)節(jié)范圍為1~31[8]。根據(jù)COMS圖像傳感器特性,為保證在燈光下沒有條紋與閃爍現(xiàn)象的產(chǎn)生,視頻采樣幀率fv,曝光時間T,與交流電頻率f,需要滿足式(6)、(7),根據(jù)PID控制器設(shè)計時取輸出U=lnV,并由式(3)可以得出,PID控制器輸出為U時,曝光時間與增益系數(shù)需滿足要求為
式中:m,n為自然數(shù),f=50 Hz,一般情況下取n=4,即fv=25 Hz,但是當在低照情況(小于10 lx)下,由式(8)得T<40 ms,所得圖像噪點很多,可取n=8將采樣率降低為12.5 Hz曝光時間加長至80 ms。強光情況(大于2 000 lx,普通燈光照度大約為500 lx)時,此時若曝光時間為10 ms會產(chǎn)生過曝光。強光多為室外情況,因此可以不必滿足式(6)、式(7)將曝光時間設(shè)置為小于10 ms。故可以先確定曝光時間表,計算曝光增益系數(shù)表,如圖4所示。
將本文設(shè)計的自動曝光算法在基于TMS320DM368的網(wǎng)絡(luò)攝像機上實現(xiàn),并對該網(wǎng)絡(luò)攝像機曝光性能測試。
攝像機安裝福光130萬,1/3 in(1 in=2.54 cm),0409手動光圈,手動變焦高清攝像機鏡頭進行測試。拍攝時光強為9 mm。
圖4 曝光時間—增益系數(shù)表
測試結(jié)果為:圖5照度為1 lx(低照)時攝像機獲得圖像、圖6為照度為10 000 lx(強光)下攝像機獲得圖像、圖7為照度由10 lx變到10 000 lx以及由10 000 lx變到10 lx的兩種情況下的圖像評價亮度變化曲線。
圖5 照度為1 lx下的圖像
圖6 照度為10 000 lx下圖像
圖7 照度變化時亮度變化曲線
由以上實驗結(jié)結(jié)果圖5和圖6可得該曝光算法擁有比較大的適應(yīng)范圍,可以適應(yīng)照度由1 lx變道10 000 lx下的光照情況。由圖7亮度曲線可得該曝光算法擁有比較好的動態(tài)特性,當照度由10 lx變?yōu)?0 000 lx情況下,在第40次采樣(約為1.75 s)圖像亮度即達到要求并保持穩(wěn)定,當10 000 lx到10 lx情況下也是接近40次采樣即可達到穩(wěn)定狀態(tài)。
本文設(shè)計了用于基于TMS320DM368的網(wǎng)絡(luò)攝像機的自動曝光控制算法,算法充分利用了TMS320DM368提供的硬件模塊,其可以適應(yīng)由1 lx到10 000 lx下的光照狀況,擁有較好的動態(tài)性能,由低照到強光其反應(yīng)時間約為1.75 s,
而且其算法簡單,穩(wěn)定,滿足網(wǎng)絡(luò)攝像機的使用需求。
:
[1]鄭德裕.EK200全自動單反相機硬件實現(xiàn)技術(shù)研究[D].南京:南京理工大學(xué),2006.
[2]TETSUYA K,HIROAKI S,NARIHIRO M.A new automatic exposure system for digital still cameras[J].IEEE Trans.Consumer Electronics,1998,44(1):86-87.
[3]CHO M,LEE S,BYUNG D.The fast auto exposure algorithm based on the numerical analysis[C]//Proc.SPIE Conference on Sensors,Cameras,and Applications for Digital Photography.San Jose,California:SPIE Press,1999:403-404.
[4]梁佳毅,洪志良.適用于大動態(tài)范圍場景的自動曝光控制算法[J].光電工程,2008,35(5):89-91.
[5]KEHTARMAVAZ N,OH H,SHIDATE I,et al.A new approach to auto white balancing and auto exposure for digital still cameras[C]//Proc.SPIE 4669,Sensors and Camera Systems for Scientific,Industrial,and Digital Photography Applications III. [S.l.]:SPIE Press,2002:389-390.
[6]Texas Instrument.TMS320DM365 digital medio system-on-chip(DMSoC)[EB/OL].[2013-04-02].http://focus.ti.com/docs/prod/folder/print/tms320dm368.html.
[7]Texas Instrument.TMS320DM365 digital medio system-on-chip(DMSoC)Video processing frontEnd(VPFE)user’s guide[EB/OL].[2013-04-02]. http://focus.ti.com/docs/prod/folder/print/tms320dm368.html.
[8]OmniVision.OV9712 datasheet[EB/OL].[2013-04-02].http://wenku.baidu.com/view/dea39b6b561252d380eb6e4e.html.