孟竹，樸燕，毛雅棋

（長(zhǎng)春理工大學(xué) 電子信息工程學(xué)院，長(zhǎng)春 130022）

隨著社會(huì)的發(fā)展，國(guó)家對(duì)于社會(huì)安全以及個(gè)人安全越來(lái)越重視，監(jiān)控器在商場(chǎng)、馬路、學(xué)校等公共場(chǎng)合越來(lái)越普及。攝像頭也被應(yīng)用在車輛定位、機(jī)器人導(dǎo)航等智能產(chǎn)業(yè)中。在早些年，市面上大部分都是普通的攝像頭，其視場(chǎng)范圍非常小，存在較大區(qū)域的視場(chǎng)死角。隨著科技快速發(fā)展和攝像頭的不斷更新，逐漸看到了超廣角的攝像機(jī)，即魚眼鏡頭。魚眼鏡頭一般可獲取視場(chǎng)角大于等于180°的全景圖，由于不符合人們的觀察習(xí)慣，因此需要對(duì)全景圖展開，但展開后的全景圖畸變較大且不易校正。直到另一種新的全景圖鏡頭出現(xiàn)，即折反射全景鏡頭。折反射鏡頭將圍繞光軸360°范圍的視場(chǎng)通過折射投影到折反射面內(nèi)的環(huán)形區(qū)域，獲得環(huán)狀折反射全景圖。環(huán)狀全景圖像可用于機(jī)器人導(dǎo)航、車輛定位、軍事偵察、大型公共場(chǎng)所監(jiān)控，馬路監(jiān)控等。近年來(lái)逐漸成為計(jì)算機(jī)視覺等領(lǐng)域的研究熱點(diǎn)問題。

環(huán)狀折反射全景透鏡是利用反射鏡將水平360°方向上物體的光線通過光學(xué)原理投影到二維平面上，從而獲得環(huán)狀的全景圖。全景圖像開始于“攝影學(xué)”領(lǐng)域。20世紀(jì)初，魚眼鏡頭的超大廣角的光學(xué)鏡頭就已經(jīng)被設(shè)計(jì)出來(lái)了，應(yīng)用于全景攝像領(lǐng)域。全景圖像雖然獲得了水平360°的視場(chǎng)，但存在一定的幾何畸變。之后在數(shù)字圖像應(yīng)用中不斷的進(jìn)行畸變矯正、二維圖像復(fù)原以及三維重建等研究，最終得到畸變較小的全景圖。2003年四川大學(xué)蘇顯渝和曾吉勇等人[1]對(duì)折反射光學(xué)全景成像原理進(jìn)行了解析，同時(shí)利用其成像原理進(jìn)行了全方位圖像柱面展開。全景展開圖存在較大的幾何畸變，不能將真正的全景圖還原出來(lái)。

目前，獲取全景圖主要有三種方法[2]：圖像拼接成像、魚眼鏡頭成像和折反射全景成像。

圖像拼接成像[3]雖然成像分辨力高，但是成像速度比較慢，拼接算法復(fù)雜且不滿足單一視點(diǎn)約束，最大的問題是不滿足實(shí)時(shí)性；魚眼鏡頭成像可以獲取大于180°小于360°的全景圖。魚眼鏡頭獲取的全景圖存在較大的桶形畸變，不易矯正且成像分辨率較低；折反射全景成像，成像原理簡(jiǎn)單、幾何計(jì)算簡(jiǎn)單、基本滿足實(shí)時(shí)性的要求，能夠?qū)崟r(shí)獲取環(huán)形全景圖，展開后仍舊出現(xiàn)幾何畸變，但是畸變相比于魚眼鏡頭較小。目前，由于移動(dòng)機(jī)器人定位技術(shù)的快速發(fā)展，環(huán)狀折反射全景圖展開技術(shù)已經(jīng)成為熱點(diǎn)研究項(xiàng)目。

本文將傳統(tǒng)的同心圓近似展開法進(jìn)行改進(jìn)，傳統(tǒng)方法是將環(huán)狀全景圖像投影到圓柱表面，然后再進(jìn)行展開。改進(jìn)后的環(huán)狀全景圖展開法，是通過成像原理，直接利用三角函數(shù)將全景圖直接展開，即三角函數(shù)展開法。得到的展開圖通過MATLAB進(jìn)行仿真，結(jié)果表明，改進(jìn)后的環(huán)狀全景圖展開算法相對(duì)于傳統(tǒng)方法得到的全景圖成像速度快、成像分辨率更高，基本滿足實(shí)時(shí)性的要求。

1 折反射全景成像鏡頭的基本原理

折反射全景成像鏡頭主要是由凸面反射鏡、成像透鏡以及感光元件組成，如圖1所示。折反射全景成像技術(shù)是利用水平360°視場(chǎng)上的光線，通過凸面反射鏡反射，反射到成像透鏡，成像透鏡折射到感光元件上，形成環(huán)狀全景圖像。由于獲取的環(huán)狀全景圖像不符合人們的視覺習(xí)慣，因此需要將其展開為圓柱面二維平面圖，即展開圖，如圖2所示。

圖1 折反射全景成像鏡頭系統(tǒng)組成

圖2 環(huán)狀全景圖展開

折反射鏡頭反射鏡面選取：折反射全景成像鏡頭的成像系統(tǒng)，是利用系統(tǒng)中的反射鏡將周圍360°的物體光線匯集到反射鏡上。由于成像系統(tǒng)的曲面反射鏡的鏡面不同，因此成像原理不同、復(fù)雜度不同以及制作成本高低不同。常見的成像系統(tǒng)的曲面反射鏡分為球面、雙曲面、拋物面、圓錐面、橢球面等類型[3-4]，如圖3所示。本文根據(jù)是否滿足單一視點(diǎn)約束、成像復(fù)雜程度以及造價(jià)成本選取雙曲面反射面。

圖3 折反射鏡頭中反射鏡的光路示意圖

如圖3所示，球面反射鏡雖然制作成本較低散光較小，但是其不滿足單一視點(diǎn)約束；拋物面反射鏡與圓錐反射鏡均滿足單一視點(diǎn)約束，但是拋物面反射鏡不具有小孔成像基本條件，因此其成像復(fù)雜，而圓錐反射鏡制作成本較高且散光較大。雙曲面鏡是兩個(gè)曲面鏡相對(duì)形成的光學(xué)碗，位于雙曲面周圍物體上的光線通過反射與折射將其投影到二維平面，形成環(huán)狀全景圖像。雙曲面鏡視場(chǎng)范圍大，滿足單一視點(diǎn)約束條件。相對(duì)于其它鏡面，其成本比較低、更具實(shí)用性。本文將選取雙曲面折反射鏡頭（如圖4所示）。但是由于該成像系統(tǒng)要求雙曲面鏡的焦點(diǎn)必須與攝像機(jī)光心重合，因此有一定的局限性。

圖4 雙曲面折反射鏡頭

2 全景圖展開

目前，圖像拼接法、魚眼鏡頭和折反射全景成像是全景成像的三種主要方法。本章主要分析魚眼鏡頭全景圖展開法、傳統(tǒng)雙曲面折反射全景圖展開法和改進(jìn)后的全景圖展開法，并進(jìn)行對(duì)比分析。

2.1 圖像拼接法

圖像拼接獲取全景圖[5-6]有兩種方法。一種方法，首先以相機(jī)光軸為軸，相機(jī)繞其旋轉(zhuǎn)一周，獲取水平平面內(nèi)360°的場(chǎng)景圖，然后將不同方向的場(chǎng)景圖通過圖像融合技術(shù)拼接起來(lái)，最后獲取360°全景展開圖。但是，這種方法會(huì)出現(xiàn)信息遺漏、重疊等問題，且算法復(fù)雜，運(yùn)算量比較大。

另一種方法是利用多個(gè)相機(jī)同步拍攝不同方向的場(chǎng)景圖像，然后將獲得的場(chǎng)景圖進(jìn)行融合拼接成一幅完整的全景圖。但是由于不同相機(jī)其光學(xué)中心不在同一平面內(nèi)，因此該方法也不滿足單一視點(diǎn)約束條件，不能通過正常的轉(zhuǎn)換獲取透視圖，而且成本比較高、系統(tǒng)復(fù)雜[7]。圖像拼接法雖然成像分辨率比較高，但算法復(fù)雜、運(yùn)算速度慢，不能滿足實(shí)時(shí)性的要求。

2.2 魚眼全景圖展開法

通過鄭利平，徐剛強(qiáng)，李琳等人[8]研究魚眼鏡頭展開可得知，魚眼鏡頭一般是由數(shù)量較多的不同的透鏡組合在一起的，由于光線在透鏡中不同程度的折射，其視場(chǎng)比普通相機(jī)的視場(chǎng)范圍大，一般能夠獲取視場(chǎng)大于180°的全景圖像。由于其焦距比較短，因此是超廣角的鏡頭。魚眼鏡頭對(duì)透鏡的要求很高，所以其制作成本比較高，成像分辨率也比較低，且系統(tǒng)比較復(fù)雜。

魚眼鏡頭展開利用文獻(xiàn)[9]中的方法進(jìn)行展開。主要有五步。首先將魚眼全景圖分塊處理，塊數(shù)不宜過多，否則展開后畸變會(huì)更加嚴(yán)重，此處選擇分為4塊。

（1）將圖5中（1）轉(zhuǎn)為（2）；該過程采用“滾輪式”。將已經(jīng)分成4塊的子圖像進(jìn)行圖像轉(zhuǎn)換，以第一塊子圖像為基準(zhǔn)。

圖5 魚眼鏡頭展開圖

（2）將圖5中（3）轉(zhuǎn)為（4）；根據(jù)比例，按照線性“拉伸”的方法，將由坐標(biāo)(x,y)通過公式（1）轉(zhuǎn)化為(x0,y0)：

（3）將圖5中（4）轉(zhuǎn)為（5）；對(duì)步驟（2）中得到的坐標(biāo)，進(jìn)行一個(gè)水平“拉伸”就可獲得子圖像的展開圖。

（4）重復(fù)步驟（1）、步驟（2）、步驟（3），依次獲取子圖像2、圖像3、圖像4展開圖。

（5）將4幅子圖像進(jìn)行圖像拼接，進(jìn)而得到完整的魚眼圖像全景展開圖。

本文在魚眼鏡頭獲取的圖像庫(kù)里隨機(jī)選取一張照片，通過上述方法獲取魚眼鏡頭展開圖（如圖6（b）所示），其畸變很大，垂直方向壓縮較大。對(duì)于距離較遠(yuǎn)的位置產(chǎn)生嚴(yán)重壓縮，距離較近的位置失真嚴(yán)重，且存在一定的信息丟失。對(duì)于車輛導(dǎo)航以及機(jī)器人導(dǎo)航會(huì)產(chǎn)生一定影響，并且不能滿足人們的視覺觀察習(xí)慣。因此，本文選取折反射鏡頭。

圖6 魚眼鏡頭成像展開圖

2.3 折反射全景圖展開

傳統(tǒng)的折反射全景圖展開，首先將獲取到的環(huán)狀全景圖投影到圓柱表面，然后進(jìn)行展開得到圓柱面二維全景展開圖。

折反射全景成像光學(xué)原理如圖7所示。

圖7 折反射全景成像光學(xué)原理幾何分析

根據(jù)光學(xué)幾何原理分析，可獲得折反射全景成像的鏡面約束條件為[10]：

當(dāng)k>2且m>0時(shí)，該方程為雙曲面反射鏡。

如圖8所示，為雙曲面全景圖成像系統(tǒng)。位于雙曲面的一個(gè)焦點(diǎn)為C，則另一個(gè)焦點(diǎn)為C'。設(shè)兩焦點(diǎn)所在直線為Y軸，垂直Y軸且過焦點(diǎn)C'為X軸。光線通過雙曲面折射最終聚集于C'點(diǎn)，因此該系統(tǒng)的投影中心為焦點(diǎn)C'點(diǎn)。

圖8 雙曲面全景圖成像系統(tǒng)

因?yàn)殡p曲面折反射全景系統(tǒng)是旋轉(zhuǎn)對(duì)稱的，下面分析將在XOY坐標(biāo)系進(jìn)行，則雙曲面折反射全景成像方程表達(dá)式為：

其中，a、b為雙曲面反射鏡面參數(shù)。

2.3.1 展開前期準(zhǔn)備工作

本文的雙曲面折反射全景圖的分辨率為1 600×1 200，在進(jìn)行展開之前需要進(jìn)行一定的準(zhǔn)備工作，即環(huán)狀全景圖像中心點(diǎn)像素坐標(biāo)(m0,n0)的選取、內(nèi)徑R0、外徑R1以及展開后圖像的大小。關(guān)于中心點(diǎn)像素坐標(biāo)的獲取，一種方法是當(dāng)雙曲面折反射全景成像系統(tǒng)固定不變時(shí)，全景圖像的運(yùn)算時(shí)不變，可通過類似攝像機(jī)標(biāo)定的處理確定(m0,n0)，以及內(nèi)徑R0，外徑R1。相機(jī)標(biāo)定的方法雖然比較簡(jiǎn)單，但是由于該系統(tǒng)的雙曲面焦點(diǎn)應(yīng)與相機(jī)光心重合，因此其誤差比較大。另外一種方法是原新，王亮等人[11]所提到的Hough變換，該變換能夠有效地檢測(cè)出圖像中的圓和直線。但是，需要較大的存儲(chǔ)空間和處理時(shí)間。本文采用Hough變換方法。展開后圖像的長(zhǎng)W為圓環(huán)的外徑所對(duì)應(yīng)的周長(zhǎng)，即：W=2πR1，寬H為圓環(huán)的寬度，即：

在環(huán)狀全景圖上任取一點(diǎn)(mi,ni)以及向量(Δmi,Δni)，則可定義一條直線，全景圖像中心點(diǎn)(m0,n0)與向量以比例因子ki成比例關(guān)系：

在給定兩條或者多條半徑所在直線，即可確定中心點(diǎn)的像素坐標(biāo)。獲取的(m0,n0)、以及內(nèi)徑R0、外徑R1在后面的計(jì)算中可以直接用。

2.3.2 同心圓近似展開法

圓環(huán)狀全景圖展開，傳統(tǒng)方法利用同心圓近似展開法[12-13]，如圖9所示，將得到的環(huán)狀全景圖利用光線逆跟蹤原理投影到圓柱表面，最后將柱面展開得到全景展開圖。

圖9 全景圖

設(shè)入射角為α的光線與雙曲面相交于一點(diǎn)Q(x1,2c)，則：

由式（4）、式（6）、式（7）可得光線經(jīng)過反射鏡面反射前后光路映射關(guān)系式為：

由圖9（a）到圖9（b）將運(yùn)用光線跟蹤原理逆投影法得到。設(shè)式（8）tan(β) =γ(tan(α))，根據(jù)光路逆跟蹤映射法的原理可知，圓環(huán)狀全景圖和柱面投影圖之間有映射關(guān)系：

式中，R是圓環(huán)狀全景圖的外徑；f為相機(jī)焦距；d為投影圓柱的半徑；H為投影圓柱高。即由圖9（b）到圖9（c）中Y'=H

所以，圖像的徑向展開映射關(guān)系為：

如圖9（a），圖9（c）所示，其內(nèi)徑為R0，外徑為R1之間是環(huán)狀全景圖的有效信息，在圓環(huán)內(nèi)任取以半徑為r的圓環(huán)，如圖9（a）所示中虛線表示的圓環(huán)，該虛線對(duì)應(yīng)著圖9（c）中的L'，由同心圓近似展開法可得：

其中，k為圓環(huán)“拉直”時(shí)的系數(shù)；θ為雙曲面圓環(huán)全景圖極坐標(biāo)系下的角度分量。

由式（11）、式（12）可得到雙曲面圓環(huán)狀全景圖的極坐標(biāo)表示為(R,θ)，則圓環(huán)狀全景圖在直角坐標(biāo)系下的坐標(biāo)為：

由式（11）-式（13）可得到同心圓環(huán)近似展開法后向映射算法的坐標(biāo)映射關(guān)系為：

由于環(huán)狀全景圖靠近內(nèi)徑部分壓縮比較大，遠(yuǎn)離內(nèi)徑部分其幾何畸變?cè)酱?，因此為減小展開后的幾何畸變，展開后的基線應(yīng)取在環(huán)狀全景圖有效信息的中間位置。

2.4 改進(jìn)后的三角函數(shù)展開法

傳統(tǒng)的環(huán)狀全景圖展開法利用同心圓近似展開算法，該方法運(yùn)算速度慢，展開后存在無(wú)效信息較多；改進(jìn)后的全景圖展開法，直接利用極坐標(biāo)轉(zhuǎn)化，使其減少了由環(huán)狀全景圖利用光線逆跟蹤投影法，因此其運(yùn)算速度變快，基本滿足移動(dòng)機(jī)器人實(shí)時(shí)定位導(dǎo)航，且分辨率明顯提高。建立XOY坐標(biāo)系，如圖10所示。

圖10 三角函數(shù)展開法

設(shè)雙曲面環(huán)形全景圖中虛線所代表的圓環(huán)其展開圖如圖10右圖中的虛線所示。則：

過原點(diǎn)做一條射線，則展開后射線與X軸的正半軸的夾角為θ1，且與虛線所代表的圓環(huán)相交于一點(diǎn)P(x1,y1)，則：

則利用三角函數(shù)展開法，即極坐標(biāo)轉(zhuǎn)化法進(jìn)行展開：

3 實(shí)驗(yàn)及結(jié)果分析

將打印好的鑒別率圖貼在墻壁上。然后準(zhǔn)備實(shí)驗(yàn)裝置（如圖11所示），將雙曲面折反射鏡頭的網(wǎng)線端口與電腦連接，并且將鏡頭連接12 V直流電源，然后在AroundViewMonitor軟件中匹配鏡頭的IP地址，最終達(dá)到鏡頭與軟件連接。獲取環(huán)狀全景圖。最后，應(yīng)用MATLAB軟件進(jìn)行仿真處理，并實(shí)現(xiàn)上述兩種全景圖展開方法。如圖12所示，雙曲面折反射全景圖展開的兩種方法：傳統(tǒng)方法同心圓展開法（如圖11（b）所示）、三角函數(shù)直接展開法（如圖11（c）所示）。兩者進(jìn)行對(duì)比，三角函數(shù)展開法相對(duì)簡(jiǎn)單，計(jì)算量較小，運(yùn)行速度快且展開后圖像相對(duì)傳統(tǒng)方法畸變較小，分辨率高。

圖11 實(shí)驗(yàn)裝置圖

如圖12所示，折反射環(huán)狀全景圖的分辨率為1 600×1 200，利用兩種方法展開后如圖12（b）、圖12（c）所示。經(jīng)過兩種方法仿真結(jié)果可知，三角函數(shù)展開法相對(duì)同心圓近似展開法運(yùn)行數(shù)度快，為7.249 s。對(duì)比兩種方法圖中的鑒別率圖，三角函數(shù)展開法其畸變較小，分辨率較高，因此，三角函數(shù)展開法基本滿足移動(dòng)機(jī)器人的定位導(dǎo)航等各項(xiàng)功能。

圖12 雙曲面折反射全景圖展開

仿真結(jié)果表明，雙曲面折反射鏡頭所能看到的視野范圍比較大，但畸變程度比較大，在后續(xù)的研究中將著重處理畸變校正。對(duì)于環(huán)狀全景圖展開法，改進(jìn)后的三角函數(shù)展開法，其運(yùn)行速度更快，圖像分辨率更高，具有一定的優(yōu)勢(shì)。

4 結(jié)論

目前，對(duì)于超廣角視圖的展開以及矯正已成為熱點(diǎn)話題。本文通過對(duì)全景圖的獲取及展開的研究中可以得到以下結(jié)論：

（1）本文將同心圓近似展開法進(jìn)行改進(jìn)。更加直接的將環(huán)狀全景圖展開，省略了同心圓近似展開法中的光線逆跟蹤投影法，大大加快了運(yùn)算速度，并且提高了分辨率，減小了畸變。通過在MATLAB軟件仿真證實(shí)了以上說法。

（2）雙曲面全景鏡頭相較于魚眼鏡頭，其視角范圍更大，展開后全景圖更能符合人們的視覺觀察習(xí)慣。