劉健,白東陽,王曉曼,景文博
(1.長春理工大學(xué) 電子信息工程學(xué)院,長春 130022;2.長春理工大學(xué) 光電工程學(xué)院,長春 130022)
攝遠(yuǎn)光學(xué)系統(tǒng)[1]具有長焦距,小視場等特點(diǎn),但是會導(dǎo)致體積變大。本文中的攝遠(yuǎn)光學(xué)系統(tǒng)基于卡塞格林系統(tǒng)設(shè)計(jì)的,滿足以上要求,并且可見光相機(jī)和近紅外相機(jī)共用一部分光學(xué)系統(tǒng),具有小體積,靈活性強(qiáng)等優(yōu)點(diǎn)。但是卡塞格林系統(tǒng)應(yīng)用在攝遠(yuǎn)光學(xué)系統(tǒng)中會引入較大的像差,使可見光圖像、近紅外圖像產(chǎn)生畸變,為了減小本攝遠(yuǎn)光學(xué)系統(tǒng)的測量誤差,首要是去除圖像畸變,從根本上去除攝遠(yuǎn)光學(xué)系統(tǒng)的像差。
隨著攝像機(jī)畸變校正技術(shù)的發(fā)展,在生產(chǎn)中張正友相機(jī)標(biāo)定法[2]被廣泛應(yīng)用于單個大視場短焦距攝像機(jī)畸變校正。在單視點(diǎn)折反射相機(jī)標(biāo)定領(lǐng)域,傳統(tǒng)方法有:理想情況下的直接線性變換(DLT)法;考慮了徑向崎變的Tsai兩步標(biāo)定法[3];考慮了切向畸變的 Weng 等人的迭代法;Martins[4]提出的雙平面模型法等;中國科學(xué)院的孟曉橋、胡占義[5-6]教授在相機(jī)自標(biāo)定方法中提出更具穩(wěn)定性的基于曲線擬合的圓形標(biāo)定法;吳毅紅教授提出的應(yīng)用更廣泛的平行圓平面標(biāo)定法等都對攝像機(jī)的標(biāo)定技術(shù)做出了巨大貢獻(xiàn)。
攝遠(yuǎn)光學(xué)系統(tǒng)存在的系統(tǒng)畸變,關(guān)鍵在于不共軸的兩個相機(jī),光譜范圍不同,實(shí)現(xiàn)攝遠(yuǎn)光學(xué)系統(tǒng)的校正是依據(jù)空間環(huán)境中物體的幾何信息與圖像信息之間的關(guān)系得到的成像模型,并且通過成像模型得到理想無畸變圖像,攝遠(yuǎn)光學(xué)系統(tǒng)校正要涉及畸變校正模型的構(gòu)建和攝像機(jī)校正方法的選擇?;冃UP鸵话憧梢苑譃閮纱箢悾壕€性模型和非線性模型,線性模型不考慮光學(xué)系統(tǒng)畸變,簡單快速,但精度低;非線性模型引入畸變參數(shù)從而使校正精度提高,但是對于本攝遠(yuǎn)光學(xué)系統(tǒng)適用性較低,計(jì)算繁瑣,速度慢??紤]到在應(yīng)用領(lǐng)域中基于卡塞格林系統(tǒng)設(shè)計(jì)的不共軸的兩種波長范圍攝遠(yuǎn)光學(xué)系統(tǒng)的高精度的測量要求,本文提出了一種異光譜卡氏非共軸攝遠(yuǎn)光學(xué)系統(tǒng)的校正方法。全面地考慮了攝遠(yuǎn)光學(xué)系統(tǒng)的各個參數(shù)。
在構(gòu)建攝遠(yuǎn)光學(xué)系統(tǒng)校正模型前,這里對該系統(tǒng)結(jié)構(gòu)做簡單說明。光學(xué)系統(tǒng)結(jié)構(gòu)簡圖如圖1,由卡塞格林[7]反射結(jié)構(gòu)、光學(xué)透鏡、直角分光棱鏡、濾光片及圖像傳感器組成??ㄈ窳址瓷浣Y(jié)構(gòu)滿足了光學(xué)結(jié)構(gòu)長焦距體積小的需求,直角分光棱鏡將入射光分成兩束,分別至可見光相機(jī)、近紅外相機(jī)成像,如圖1所示。鑒于光學(xué)系統(tǒng)[8]的設(shè)計(jì),從機(jī)械裝調(diào)或者成像器件的物理特性方面很難減小光學(xué)畸變,本文所述的光學(xué)系統(tǒng),能夠縮短成像時間,降低背景噪聲,提高光斑圖像信噪比,從而降低光學(xué)系統(tǒng)的測量誤差,提高光學(xué)系統(tǒng)的測量精度,但同時引入卡塞格林系統(tǒng)的像差。因此,本文通過構(gòu)建攝遠(yuǎn)光學(xué)系統(tǒng)校正模型,實(shí)現(xiàn)對本攝遠(yuǎn)光學(xué)系統(tǒng)的校正。本文攝遠(yuǎn)光學(xué)系統(tǒng)校正模型選用的是擴(kuò)展的針孔模型,即在小孔成像的過程中考慮畸變因素,模型建立的是完成世界坐標(biāo)系到圖像二維點(diǎn)的映射關(guān)系[9],所以,為了定量描述光學(xué)成像過程,分別建立世界坐標(biāo)系,入射光坐標(biāo)系(O-XCYCZC),可見光相機(jī)坐標(biāo)系(O-XC1YC1ZC1),近紅外相機(jī)坐標(biāo)系(O-XC2YC2ZC2),可見光圖像物理坐標(biāo)系1),近紅外圖像物理坐標(biāo)系(o2-x2y2),可見光圖像像素坐標(biāo)系(o1-u1v1),近紅外圖像像素坐標(biāo)系(o2-u2v2),如圖2所示。
圖1 異光譜卡氏非共軸攝遠(yuǎn)光學(xué)系統(tǒng)簡圖
圖2 坐標(biāo)系關(guān)系圖
世界坐標(biāo)系(O-XWYWZW);以入射光的光軸為Z軸,垂直于光軸的平面為XOY面,建立入射光坐標(biāo)系(O-XCYCZC),入射光坐標(biāo)系旨在說明兩相機(jī)存在共軸部分;世界坐標(biāo)系與入射光坐標(biāo)系之間關(guān)系如下:
式中,(R|T)為剛體變換矩陣,實(shí)現(xiàn)世界坐標(biāo)系到入射光坐標(biāo)系轉(zhuǎn)換。
以可見光相機(jī)的光軸為Z軸,垂直于可見光入射光軸為XOY面,建立可見光相機(jī)坐標(biāo)系(O-XC1YC1ZC1);進(jìn)而得到世界坐標(biāo)系與可見光相機(jī)坐標(biāo)系之間的關(guān)系:
式中,(R1|T1)為剛體變換矩陣,實(shí)現(xiàn)世界坐標(biāo)系到可見光相機(jī)坐標(biāo)系轉(zhuǎn)換。
以近紅外相機(jī)的光軸為Z軸,垂直于近紅外入射光軸為XOY面,建立近紅外相機(jī)坐標(biāo)系(O-XC2YC2ZC2);進(jìn)而得到世界坐標(biāo)系與近紅外相機(jī)坐標(biāo)系之間的關(guān)系:
式中,(R2|T2)為剛體變換矩陣,實(shí)現(xiàn)世界坐標(biāo)系到近紅外相機(jī)坐標(biāo)系轉(zhuǎn)換。
以圖像中心點(diǎn)為原點(diǎn),橫軸為x軸,縱軸為y軸建立圖像物理坐標(biāo)系;以二維圖像左上角為坐標(biāo)原點(diǎn),橫軸為u軸,縱軸為v軸,建立圖像像素坐標(biāo)系。
得到可見光圖像像素坐標(biāo)系與世界坐標(biāo)系之間關(guān)系用齊次方程表示為:
式中,fx1,fy1,u10,v10為相機(jī)內(nèi)參數(shù)[10],M11為可見光相機(jī)內(nèi)參矩陣,M12為可見光相機(jī)外參數(shù)矩陣;經(jīng)過類似的坐標(biāo)系變換可得近紅外圖像像素坐標(biāo)系與世界坐標(biāo)系之間的關(guān)系:
式中,M21為近紅外相機(jī)內(nèi)參矩陣,M22為近紅外相機(jī)外參數(shù)矩陣。
世界坐標(biāo)系與可見光相機(jī)坐標(biāo)系和近紅外相機(jī)坐標(biāo)系之間關(guān)系用外參數(shù)矩陣表示。兩相機(jī)坐標(biāo)系與圖像坐標(biāo)系用內(nèi)參數(shù)聯(lián)系。本文所涉及的光學(xué)系統(tǒng),如圖2所示,共軸部分就是入射光坐標(biāo)系的ZC軸,計(jì)算過程將其合并到兩相機(jī)坐標(biāo)系,為一種等效方法。
圖3 徑向畸變和切向畸變
攝像機(jī)鏡頭存在一些畸變,主要是徑向畸變、切向畸變等,如圖3。由于徑向畸變和切向畸變,理想點(diǎn)和畸變點(diǎn)之間的關(guān)系通過畸變系數(shù)表示,公式(6)中k1,k2,k3,k4,k5,k6為徑向畸變,p1,p2為切向畸變。式中,定義畸變向量Tdc=[k1,k2,k3,k4,k5,k6,p1,p2],公式(6)通過畸變系數(shù)說明畸變點(diǎn)與理想點(diǎn)之間的關(guān)系,用畸變向量Tdc表示,所求的畸變向量的維數(shù)影響所需圖像的個數(shù)。通過解算出相機(jī)的內(nèi)參矩陣、外參矩陣及畸變向量,完成本文攝遠(yuǎn)光學(xué)系統(tǒng)的校正。
在獲取攝遠(yuǎn)光學(xué)系統(tǒng)校正模型后,搭建校正系統(tǒng),圖4為搭建校正系統(tǒng)結(jié)構(gòu)圖,如圖4所示,結(jié)構(gòu)包括:光源;在光源的一側(cè)依次設(shè)有平行光管以及攝遠(yuǎn)光學(xué)系統(tǒng);攝遠(yuǎn)光學(xué)系統(tǒng)與計(jì)算機(jī)相連接;平行光管內(nèi)設(shè)有網(wǎng)格板。獲取圖像之前,首先調(diào)整各個設(shè)備的位置,使得網(wǎng)格板中心點(diǎn)成像于可見光圖像的中心,如圖5所示。
圖4 校正系統(tǒng)結(jié)構(gòu)圖
圖5 網(wǎng)格板
本光學(xué)畸變校正方法流程圖如圖6所示。
圖6 光學(xué)畸變校正方法流程圖
所用平行光管為可調(diào)視度式平行光管[11],產(chǎn)生平行光時焦距為f',平行光管微調(diào)標(biāo)尺刻度為r。獲取平行光管產(chǎn)生可見平行光時的平行光管透鏡焦距,與折射率關(guān)系公式為:式中,k為比例常系數(shù),n為空氣中折射率,n'為可見光相機(jī)透鏡折射率。
根據(jù)平行光管透鏡焦距確定可見光圖像以及近紅外圖像,由以上可得:
由成像公式計(jì)算可得可見光時,網(wǎng)格板距離平行光管透鏡的距離;近紅外光時,網(wǎng)格板距離平行光管透鏡的距離。
因此,相對于平行光管焦距調(diào)整相對位置為:
可見光時:ΔuVis=uVis-f';
近紅外光時:ΔuIR=uIR-f'。
對應(yīng)平行光管微調(diào)標(biāo)尺刻度為:
可見光時:rVis=r+ΔuVis;
近紅外光時:rIR=r+ΔuIR。
調(diào)整網(wǎng)格板的位置,分別采集可見光與近紅外圖像。循環(huán)調(diào)節(jié)網(wǎng)格板位置,調(diào)整攝遠(yuǎn)光學(xué)系統(tǒng),使可見光相機(jī)和近紅外相機(jī)獲得不同拍攝角度的圖像,并重新采集多對不同角度的可見光圖像以及近紅外圖像,且循環(huán)次數(shù)N大于等于14次。
建立坐標(biāo)系如圖2所示,世界坐標(biāo)系(O-XWYWZW)與可見光相機(jī)坐標(biāo)系(O-XC1YC1ZC1)和近紅外相機(jī)坐標(biāo)系(O-XC2YC2ZC2)需要求解12個參數(shù),其中,三維坐標(biāo)系變換為旋轉(zhuǎn)和平移關(guān)系,旋轉(zhuǎn)和平移分別3個參數(shù),共6個參數(shù),這里將共軸部分合并到兩相機(jī)坐標(biāo)系??梢姽庀鄼C(jī)坐標(biāo)系(O-XC1YC1ZC1)與可見光圖像像素坐標(biāo)系(o1-u1v1)之間關(guān)系即為相機(jī)內(nèi)參數(shù)為4個參數(shù),同理近紅外相機(jī)也存在4個內(nèi)參數(shù)。共需要求解20個參數(shù)。
對于平面圖像能夠提供8個方差,即映射一個正方形到四邊形可以用4個(x,y)來描述,對于四個視場就有8*4=32=4*6+4+4,即求解所有的參數(shù),至少需要四個視場,即可見光相機(jī)與近紅外相機(jī)共需要四個視場,因此共需要4幅圖像(可見光兩幅,近紅外兩幅)。為了提高精度,減小隨機(jī)誤差,多次試驗(yàn),圖像個數(shù)N大于等于14,重投影誤差小于0.5像素,表1為重投影誤差統(tǒng)計(jì)表,如表1所示,
表1 重投影誤差與圖像個數(shù)統(tǒng)計(jì)表
由表1可知,獲取圖像個數(shù)越大,重投影誤差越小,標(biāo)定效果越好。
網(wǎng)格板包括多個單位正方形,獲取網(wǎng)格板內(nèi)的單位正方形的邊長,根據(jù)小孔成像模型確定單位正方形對應(yīng)的像素點(diǎn)。根據(jù)像素點(diǎn)以及圖像坐標(biāo)系確定坐標(biāo)變換矩陣,坐標(biāo)變換矩陣用于將畸變圖像變換到無畸變圖像?;儓D像為可見光圖像以及近紅外圖像,無畸變圖像包括可見光無畸變圖像以及近紅外無畸變圖像。計(jì)算重投影誤差,重投影誤差小于0.5像素,滿足要求。如果不滿足要求,則重新進(jìn)行圖像坐標(biāo)提取,并且考察坐標(biāo)變換矩陣參數(shù)的正確性。
經(jīng)過以上攝遠(yuǎn)光學(xué)系統(tǒng)校正方法,采集圖像如圖7(a),圖8(a)所示,選擇以圖像中心9*9矩陣大小的網(wǎng)格角點(diǎn),即如圖5中虛線框內(nèi)9*9的網(wǎng)格點(diǎn)所成的像,提取網(wǎng)格角點(diǎn)坐標(biāo)。提取坐標(biāo)如圖7(b),圖8(b)中標(biāo)記的網(wǎng)格點(diǎn)坐標(biāo),其中,圖7(b)是可見光圖像標(biāo)記的網(wǎng)格點(diǎn),圖8(b)是近紅外圖像標(biāo)記的網(wǎng)格點(diǎn);其中,所標(biāo)記的網(wǎng)格點(diǎn)坐標(biāo)是亮色的圓點(diǎn)。
攝遠(yuǎn)光學(xué)系統(tǒng)校正模型前面已經(jīng)得出。由世界坐標(biāo)系到圖像像素坐標(biāo)系用矩陣Tm表示,可見光與近紅外分別用Tm1,Tm2表示。如圖5中網(wǎng)格板,每一個小格都是邊長為d的正方形,通過成像模型可以計(jì)算出邊長d在理想圖像上對應(yīng)的像素大小,得出畸變向量Tdc,結(jié)合矩陣Tm得到理想無畸變圖像坐標(biāo)Cd,因此,之前所提取的畸變坐標(biāo)記為C,Cd與C之間關(guān)系為:
式中,Tdc?Tm表示畸變圖像到無畸變圖像的坐標(biāo)變換矩陣。由重投影誤差統(tǒng)計(jì)數(shù)據(jù)可知,圖像個數(shù)大于14時,滿足一般要求,一次試驗(yàn)采集20幀圖像,得出可見光相機(jī)內(nèi)參數(shù)矩陣M11、旋轉(zhuǎn)矩陣R1、平移矩陣T1、畸變向量Tdc1和近紅外相機(jī)內(nèi)參數(shù)矩陣M21、旋轉(zhuǎn)矩陣R2、平移矩陣T2、畸變向量Tdc2,這里畸變向量保留5維:
設(shè)光學(xué)校正后圖像為I',帶有光學(xué)畸變的圖像為I,根據(jù)矩陣Tm得到三者關(guān)系:
同步采集圖像,經(jīng)過矩陣變換,得到可見光與近紅外無畸變圖像,可見光圖像如圖7(a)、近紅外圖像如圖8(a)所示圖像,進(jìn)行矩陣變換得到可見光無畸變圖像如圖7(c)、近紅外無畸變圖像如圖8(c)所示的圖像。
圖7 可見光圖像
提取可見光圖像如圖7(b)中心9*9網(wǎng)格區(qū)域坐標(biāo)和近紅外圖像如圖8(b)中心9*9網(wǎng)格區(qū)域坐標(biāo),利用坐標(biāo)變換矩陣計(jì)算重投影誤差,統(tǒng)計(jì)五組試驗(yàn)數(shù)據(jù)如表2。
經(jīng)過試驗(yàn)得出的攝遠(yuǎn)光學(xué)系統(tǒng)中可見光與近紅外相機(jī)的光學(xué)畸變校正矩陣應(yīng)用于光學(xué)系統(tǒng)校正,得出表2的重投影誤差精度達(dá)到0.4像素,可見光重投影誤差的RMS值為0.070433,近紅外重投影誤差的RMS值為0.048049,該試驗(yàn)結(jié)果可以很好地應(yīng)用于異光譜卡氏非共軸攝遠(yuǎn)光學(xué)系統(tǒng)畸變的校正。
圖8 近紅外圖像
表2 五次實(shí)驗(yàn)重投影誤差統(tǒng)計(jì)
本文提出了一種對異光譜卡氏非共軸攝遠(yuǎn)光學(xué)系統(tǒng)的光學(xué)畸變校正方法,解決了基于卡塞格林系統(tǒng)的攝遠(yuǎn)光學(xué)系統(tǒng)存在像差的問題。在求解的過程中,用平行光管提供等效目標(biāo)光源,實(shí)現(xiàn)攝遠(yuǎn)光學(xué)系統(tǒng)高精度標(biāo)定,簡化可見光相機(jī)與近紅外相機(jī)需要求解的多個參數(shù),滿足了快速計(jì)算的工程原則,該方法的光學(xué)畸變校正結(jié)果重投影誤差小于0.4像素,實(shí)驗(yàn)結(jié)果表明:該方法在基于卡塞格林系統(tǒng)設(shè)計(jì)的不同光譜、不同分辨率及非共軸的攝遠(yuǎn)光學(xué)系統(tǒng)中,一次標(biāo)定達(dá)到在測試過程中自動調(diào)優(yōu)的效果,在外場試驗(yàn)各項(xiàng)精度測試過程中發(fā)揮了重要的作用。