嚴龍軍,熊文卓
(1.中國科學院長春光學精密機械與物理研究所,吉林 長春 130033;2.中國科學院研究生院,北京 100039)
基于TMS320DM642的攝像機自動調(diào)焦系統(tǒng)的實現(xiàn)
嚴龍軍1,2,熊文卓1
(1.中國科學院長春光學精密機械與物理研究所,吉林 長春 130033;2.中國科學院研究生院,北京 100039)
調(diào)焦系統(tǒng)在各種光學測量及偵察設(shè)備中起著十分重要的作用。本文介紹了光學系統(tǒng)自動調(diào)焦的方法和圖像法調(diào)焦的相關(guān)評價函數(shù),利用TMS320DM642數(shù)字信號處理芯片為平臺設(shè)計了圖像法自動調(diào)焦系統(tǒng)。采用TI公司針對其開發(fā)的DSP芯片設(shè)計了實時多任務(wù)系統(tǒng)DSP/BIOS,完成了軟件設(shè)計。該實時操作系統(tǒng)為實現(xiàn)調(diào)焦過程中任務(wù)的調(diào)度和實時調(diào)焦提供了保障。文中還提出了在實現(xiàn)調(diào)焦系統(tǒng)過程中需要注意的一些問題及解決方案。本文所設(shè)計的系統(tǒng)能在4~5步(大約2s內(nèi))找到像面,滿足實際應(yīng)用的需要。
數(shù)字信號處理;攝像機;自動調(diào)焦系統(tǒng)
成像質(zhì)量的好壞直接關(guān)系到光學測量及偵察設(shè)備的測量結(jié)果。攝像機在對目標進行拍攝過程中,由于溫度、大氣壓力和攝像距離的變化,會造成離焦現(xiàn)象。在條件允許時可以通過光學玻璃的匹配和機械結(jié)構(gòu)的材料選擇來補償離焦量,但在大變倍比變焦距鏡頭中,受材料、加工工藝、重量體積的限制,很難用以上方法完全補償,為此在鏡頭中常加入微調(diào)裝置,帶動調(diào)焦鏡組沿軸向運動,來保證光學鏡頭總的離焦量在焦深之內(nèi),以滿足攝像機成像質(zhì)量的要求。
調(diào)焦可以通過手動和自動兩種方法實現(xiàn)。對光學鏡頭進行手動調(diào)焦,其調(diào)節(jié)過程長,調(diào)焦精度受人員主觀因素的影響較大。在觀察目標時經(jīng)常手動調(diào)焦,也容易分散觀察者的注意力,影響對目標的捕獲與觀察。因此,由機器自動完成調(diào)焦工作,讓使用者更專心于目標和景物的搜索和觀察,是近年來攝像機發(fā)展的趨勢。
隨著計算機硬件和數(shù)字圖像技術(shù)的飛速發(fā)展,圖像的實時處理已成為可能,越來越多的調(diào)焦系統(tǒng)采用了基于圖像處理的自動調(diào)焦。這種自動調(diào)焦具有以下兩大優(yōu)點:(1)調(diào)焦更加智能化,聚焦判據(jù)更加靈活多樣;(2)利用DSP芯片可以很方便地對執(zhí)行機構(gòu)的運動進行控制,從而避開復(fù)雜的調(diào)焦電路和機構(gòu)。針對空中對地觀察的需要,本文設(shè)計了以TMS320DM642數(shù)字信號處理芯片為平臺的圖像法自動調(diào)焦系統(tǒng),該系統(tǒng)能在4~5步(大約2s內(nèi))找到像面,滿足實際應(yīng)用的需要。
光學鏡頭的自動調(diào)焦一般通過以下3種方法實現(xiàn):(1)通過紅外光或超聲波對目標進行測距,根據(jù)所得距離驅(qū)動電機調(diào)節(jié)鏡頭至聚焦位置;(2)利用圖像處理方法獲得相應(yīng)信息去控制電機調(diào)節(jié)鏡頭至聚焦位置;(3)通過圖像處理估計點擴散函數(shù)(PSF),并根據(jù)估計得到的PSF通過軟件進行圖像恢復(fù)。目前大部分數(shù)字攝像機采用方法(2),這是因為方法(1)需要紅外光源或超聲波源及相應(yīng)的傳感器,這使得自動對焦系統(tǒng)體積大,而且成本高;方法(3)則只能在比較小的離焦范圍內(nèi)起作用。
一幅圖像是否對焦準確,反映在空間域上是圖像的邊緣及細節(jié)部分是否清晰,在頻率域上是圖像的高頻分量是否豐富。前者可以通過對圖像進行微分來獲取圖像的邊緣及細節(jié)信息,后者可以對圖像進行傅里葉變換(FFT)來獲取圖像的頻譜信息。圖像微分法能獲得圖像的邊緣及細節(jié)信息,而且算法簡單快速,但不能濾掉圖像中的噪聲。對圖像進行FFT,然后通過帶通濾波器,則能夠在獲取圖像高頻信息的同時濾掉更高頻的噪聲,但算法復(fù)雜耗時。本系統(tǒng)主要應(yīng)用于空中對地的實時觀察,希望調(diào)焦時間盡量短些,因此,不考慮采用耗時較多的頻域法。該自動調(diào)焦系統(tǒng)基本原理是利用圖像處理方法獲得圖像的微分幅值,并尋找相應(yīng)幅值的最大值位置,而該幅值的最大值位置對應(yīng)圖像的最佳聚焦位置。
調(diào)焦評價函數(shù)在這里是指通過圖像處理獲取圖像清晰度信息的數(shù)學表達式,其大致可以歸結(jié)為灰度梯度函數(shù)、頻域函數(shù)、信息學函數(shù)和統(tǒng)計學函數(shù)等幾類。從調(diào)焦的復(fù)雜度和穩(wěn)定性來說,灰度梯度函數(shù)比其它幾類函數(shù)具有更好的實用性。以下是8種常用的灰度梯度函數(shù)。
(1)絕對方差函數(shù):
(2)Brenner函數(shù):又稱為梯度濾波器法,它對相鄰近的像元灰度進行平方求和:
式中k為像素之間的間隔,一般取k=1。
(3)Roberts梯度和函數(shù):
Roberts梯度和函數(shù)實際上以某一點為中心上的連續(xù)梯度的近似,處理邊緣特性時比絕對方差函數(shù)和Brenner函數(shù)要好。
(4)梯度向量模方函數(shù):
(5)梯度向量平方函數(shù):
(6)Variance函數(shù):
它利用圖像灰度的方差作為調(diào)焦評價函數(shù),其表達式為:
式中u為評價區(qū)域內(nèi)的像素灰度平均值。
(7)Tenengrad函數(shù):
它利用Sobel算子來估計圖像在水平方向和垂直方向的梯度,為使圖像邊緣的梯度放大,對梯度進行平方運算,其表達式為:
(8)Laplacian函數(shù):
它利用Laplacian算子計算圖像的二階微分,其微分平方和作為最后評價結(jié)果,其表達式為:
為驗證自動調(diào)焦系統(tǒng)的性能,找出滿足使用要求的自動調(diào)焦算法和控制規(guī)律,搭建了自動調(diào)焦試驗平臺(如圖1)。它由CCD攝像頭、視頻解碼電路、數(shù)字信號處理器(DSP)處理電路、電機驅(qū)動電路、步進電機、調(diào)焦機構(gòu)組成。在DSP的控制下由視頻解碼電路把全電視信號解碼成數(shù)字信號,并通過DSP的視頻口把解碼后的數(shù)據(jù)存放到DSP的顯示緩沖區(qū)中。DSP部分完成各部分的控制工作,并對視頻緩沖區(qū)進行處理,判斷具體的調(diào)焦方向和步距,然后通過步進電機的驅(qū)動電路控制步進電機轉(zhuǎn)到要求的位置,完成調(diào)焦動作。
圖1 自動調(diào)焦系統(tǒng)框圖Fig.1 Schematic diagram of automatic focusing system
本系統(tǒng)的DSP選用了TI公司的TMS320DM642。該芯片因其基于TI公司開發(fā)的第二代高性能、先進的甚長指令字(VLIW)結(jié)構(gòu),成為數(shù)字媒體處理的最佳芯片選擇。DM642在600MHz時鐘下運算速度可高達每秒4 800百萬條指令(MIPS),因此,可以提供節(jié)省時間的高速DSP編程。DM642有3個可配置的視頻口外設(shè)(VP0、VP1、VP2),這些視頻口提供對通用視頻編碼器及解碼器的無縫連接接口,可作為視頻采集口、視頻顯示口或者傳輸流(TSI)采集口。
TI公司為其開發(fā)的DSP芯片專門設(shè)計了一個尺寸可伸縮的實時內(nèi)核DSP/BIOS。DSP/BIOS是為那些需要實時線程調(diào)度與同步、主機與目標DSP間通信或?qū)崟r監(jiān)測的應(yīng)用而設(shè)計的。DSP/BIOS提供了搶占式多線程、硬件抽象、實時分析和配置工具。由于DSP/BIOS支持多任務(wù)的環(huán)境,為實現(xiàn)實時自動調(diào)焦提供了保證。在進行視頻圖像采集的間隙,可以通過任務(wù)切換實現(xiàn)電機的控制,而在電機的轉(zhuǎn)動過程中,讓該任務(wù)休眠,實現(xiàn)圖像的采集。通過圖像采集和電機控制這兩個任務(wù)的協(xié)調(diào)工作,實現(xiàn)了實時的自動調(diào)焦過程。
在成像系統(tǒng)的自動調(diào)焦過程中,隨著鏡頭位置的不斷變化、視軸晃動或者照度波動,所獲得的圖像的平均亮度會有所改變。由于大部分成像系統(tǒng)具有自動調(diào)光功能,即使鏡頭處于同一位置所獲得的兩幀圖像其亮度也有可能不同。亮度不同,即像素的灰度不同,會導(dǎo)致以灰度值為計算依據(jù)的調(diào)焦評價函數(shù)受到影響,使相對清晰的圖像由于亮度較低,其評價函數(shù)值反而低于亮度較高的不清晰圖像,由此調(diào)焦評價函數(shù)曲線出現(xiàn)局部峰值(即假峰)。因此,必須對圖像灰度進行歸一化。
圖2(a)為同一視場連續(xù)采集100frame的圖像,圖2(b)調(diào)焦評價函數(shù)值。從實驗結(jié)果可以看出上述原因?qū)е碌牟▌?,同時該波動對調(diào)焦過程的穩(wěn)定性會產(chǎn)生一定影響。為此在調(diào)焦過程中需要對計算調(diào)焦評價函數(shù)的位置進行連續(xù)采樣,將所得調(diào)焦評價函數(shù)取均值,這樣可大大減小所測數(shù)值的波動性,從而提高調(diào)焦函數(shù)輸出值的穩(wěn)定性。
圖2 采集的圖像及其評價函數(shù)值Fig.2 Image collection and corresponding values of evaluation function
自動調(diào)焦系統(tǒng)中,如何選取一個合適的調(diào)焦評價函數(shù)非常重要。理想的調(diào)焦評價函數(shù)應(yīng)該具有以下幾種特性:(1)無偏性,即只有在物平面與聚焦平面重合時,評價函數(shù)才達到極值;(2)單峰性,即評價函數(shù)在調(diào)焦范圍內(nèi)有且只有一個極值;(3)較高的信噪比,即在一定噪聲干擾下,能夠保證系統(tǒng)正確地檢測到離焦信號;(4)計算量小,這是快速自動調(diào)焦的一個先決條件;(5)靈敏度高,即能夠正確區(qū)分聚焦和輕微離焦,這是精確聚焦的內(nèi)在要求。
大量實驗表明,Variance函數(shù)具有較大的調(diào)焦范圍,而且近似為線性變化,但是靈敏度較低,適于大范圍粗調(diào)焦。梯度向量平方函數(shù)、Laplacian函數(shù)和Tenengrad函數(shù)調(diào)焦范圍小、靈敏度高、穩(wěn)定性好,適合于小范圍精確調(diào)焦。
圖3 帶前調(diào)焦的攝像機光學系統(tǒng)框圖Fig.3 Schematic diagram of optical system in camera with previous focusing
一般具有調(diào)焦功能的攝像機的光學系統(tǒng)在設(shè)計上采用如圖3所示的變倍加補償(機械凸輪或電子凸輪)的結(jié)構(gòu),在對遠處目標進行觀察時,補償組可以配合變倍組的曲線進行離焦補償,不需要前調(diào)焦。當需要對近距離目標進行觀察時,補償組不足以補償?shù)羲械碾x焦量,這時需要用電機帶動前調(diào)焦透鏡移動來進行補償,但這時離焦的范圍比較窄,這樣僅進行小范圍的調(diào)焦就能達到調(diào)焦的目的。從幾個小范圍調(diào)焦的函數(shù)來看,梯度向量平方函數(shù)在計算量和穩(wěn)定性上都比較具有優(yōu)勢,故本文選擇該函數(shù)作為調(diào)焦的評價函數(shù)。圖4為調(diào)焦過程中調(diào)焦評價函數(shù)變化趨勢的示意圖。
根據(jù)圖4可以看出,遠處目標的像面就落在限位位置一(Limit1)處,隨著目標離攝像機距離的由遠及近,像面向限位位置二(Limit 2)移動,于是很容易得到如圖5所示的自動調(diào)焦程序流程。圖5選用了經(jīng)典的爬坡算法,根據(jù)上圖進行編程,實現(xiàn)了基于圖像處理的實時自動調(diào)焦過程,圖6為調(diào)焦實驗結(jié)果。
圖4 調(diào)焦評價函數(shù)值變化趨勢示意圖Fig.4 Variation trend of focusing evaluation function
圖5 自動調(diào)焦流程圖Fig.5 Flow diagram of automatic focusing
圖6為同一視場在處于明和暗兩種環(huán)境條件下調(diào)焦的結(jié)果。結(jié)果表明,當步進電機帶動鏡頭移動到第4個位置的時候就找到了峰值點,而且調(diào)焦評價函數(shù)具有明顯的單峰性;采用帶有補償機構(gòu)的光學鏡頭,在小范圍離焦的情況下,可以快速找到調(diào)焦評價函數(shù)值的峰值點,使CCD靶面進入光學鏡頭的焦深之內(nèi)。
圖6 明、暗視場調(diào)焦結(jié)果Fig.6 Focasing results in bright and dark field
本文介紹了光學系統(tǒng)自動調(diào)焦的方法和圖像法調(diào)焦的相關(guān)評價函數(shù)。介紹了以TMS320DM642數(shù)字信號處理芯片為平臺的圖像法自動調(diào)焦系統(tǒng)的實現(xiàn)方法。在具體的程序編寫過程中,采用DSP/BIOS實時多任務(wù)系統(tǒng),為實現(xiàn)實時調(diào)焦提供了很大的方便。文中提出了在實現(xiàn)調(diào)焦系統(tǒng)過程中需要注意的一些問題及解決方案,為實現(xiàn)穩(wěn)定調(diào)焦提供了保證。本文所設(shè)計的自動調(diào)焦系統(tǒng)僅需4~5步(大約2s內(nèi))就能完成自動調(diào)焦功能,滿足實際應(yīng)用的需要。
[1]岡薩雷斯.數(shù)字圖像處理[M].2版.北京:電子工業(yè)出版社,2008.
GONZALEZ R C.Digital Image Processing[M].2nd ed.Beijing:Publishing House of Electronics Industry,2008.(in Chinese)
[2]鮑歌堂,趙輝,陶衛(wèi).圖像測量技術(shù)中幾種自動調(diào)焦算法的對比分析[J].上海交通大學學報,2005,39(1):121-124.
BAO G T,ZHAO H,TAOW.Algorithm′s study on automatic focusing for imagemeasurement technology[J].J.Shanghai Jiaotong University,2005,39(1):121-124.(in Chinese)
[3]胡濤,陳世哲,劉國棟.顯微視覺系統(tǒng)中自動調(diào)焦評價函數(shù)的選?。跩].半導(dǎo)體光電,2006,27(2):216-220.
HU T,CHEN SH ZH,LIU G D.Selection of auto-focus function inmicro visual system[J].Semiconductor Optoelectronics,2006,27(2):216-220.(in Chinese)
[4]劉煥雨,萬秋華.圖像法自動調(diào)焦原理及系統(tǒng)實現(xiàn)[J].微機電信息,2008,24(5-1):39-40.
LIU H Y,WAN Q H.Elements of automatic focusing based on image processingmethod and development of system[J].Micromechanical Electronics Information,2008,24(5-1):39-40.(in Chinese)
[5]李奇,馮華君,徐之海.面向自動對焦的圖像預(yù)處理技術(shù)[J].光電工程,2004,31(9):66-68.
LIQ,F(xiàn)ENG H J,XU ZH H.Image pre-processing techniques for auto-focusing[J].Opto-Electronic Eng.,2004,31(9):66-68.(in Chinese)
[6]任四剛,李見為,謝利利.基于灰度差分法的自動調(diào)焦技術(shù)[J].光電工程,2003,30(2):53-55.
REN SG,LI JW,XIE L L.Automatic focusing technique based on gray scale difference method[J].Opto-Electronic Eng.,2003,30(2):53-55.(in Chinese)
[7]王立強,林斌,徐向東,等.基于USB Video Camera的自動對焦系統(tǒng)[J].光電工程,2001,28(5):32-34.
WANG L Q,LIN B,XU X D,et al..An automatic focusing system based on USB video camera[J].Opto-Electronic Eng.,2001,28(5):32-34.(in Chinese)
[8]季昱,林俊超,余本喜.DSP嵌入式應(yīng)用系統(tǒng)開發(fā)典型實例[M].北京:中國電力出版社,2007.
JIY,LIN JCH,YU B X.Development of DSP Embedded Application System and Typical Example[M].Beijing:China E-lectric Power Press,2007.(in Chinese)
[9]王軍寧,何迪,馬娟,等.TIDSP/BIOS用戶手冊與驅(qū)動開發(fā)[M].北京:清華大學出版社,2007.
WANG JN,HE D,MA J,et al..TIDSP/BIOS User Guid and Driver Development[M].Beijing:Tsinghua University Press,2007.
[10]王智,張立平,李朝輝,等.傳輸型立體測繪相機的調(diào)焦機構(gòu)設(shè)計[J].光學精密工程,2009,5(17):1051-1056.
WANG ZH,ZHANG L P,LIZH H,et al..Design of focusingmechanism of space tridimensionalmapping camera[J].Opt.Precision Eng.,2009,5(17):1051-1056.
[11]安源,齊迎春.空間相機直線調(diào)焦機構(gòu)的設(shè)計[J].光學精密工程,2009,3(17):609-614.
AN Y,QIY CH.Design of straight-line focusingmechanism for space camera[J].Opt.Precision Eng.,2009,3(17):609-614.
Realization of auto-focusing system for video cameras based on TMS320DM 642 DSP
YAN Long-jun1,2,XIONGWen-zhuo1
(1.Changchun Institute of Optics,F(xiàn)ine Mechanics and Physics,Chinese Academy of Sciences,Changchun 130033,China;2.Graduate School of the Chinese Academy of Sciences,Beijing 100039,China)
Focusing systems play an important role in a variety of opticalmeasurements and detection instruments.In this paper,several kinds of auto-focusingmethodswere described and the relevant focusing evaluation functionswere introduced based on image processing methods.An auto-focusing system based on image processing was designed by using the TMS320DM642 digital signal processing chip as a platform,and its programming was implemented by a real-timemulti-tasking operating system DSP/BIOS developed by TI company.The real-timemulti-tasking operating system provides a guarantee for the realization of task scheduling and real-time focusing.Moreover,some problems and solutionswhich are needed to pay attention in the realization of auto-focusing system were demonstrated.The system designed in this paper can find the image plane in 4-5 steps(about2 s),which meets the requirements of practical applications.
digital signal processing;video camera;auto-focusing system
2010-02-12;
2010-03-16
1674-2915(2010)03-0268-06
V447.3;TH703
A
book=273,ebook=75
嚴龍軍(1982—),男,四川內(nèi)江人,碩士研究生,主要從事偵察攝像機自動調(diào)焦系統(tǒng)方面的研究。E-mail:xunmeng0707@126.com
熊文卓(1967—),男,吉林長春人,研究員,碩士生導(dǎo)師,主要從事光電位移傳感器和光電儀器方面的研究。E-mail:carlx@163.com