劉 貝,何博俠

(南京理工大學(xué)機(jī)械工程學(xué)院，江蘇 南京 210094)

0 引言

大視場(chǎng)成像系統(tǒng)在智能監(jiān)控[1]、導(dǎo)航定位[2-3]以及國(guó)防軍事[4-5]等領(lǐng)域具有廣闊的應(yīng)用前景。如智能監(jiān)控系統(tǒng)需要檢測(cè)并識(shí)別行人和車輛[6]；無人駕駛汽車可以通過全景圖像來進(jìn)行導(dǎo)航定位[7]；無人機(jī)需要大范圍內(nèi)搜尋并跟蹤運(yùn)動(dòng)[8-9]。目前，傳統(tǒng)的大視場(chǎng)成像方法主要有圓柱投影法[10]、魚眼透鏡[11]、旋轉(zhuǎn)拼接法[12]和折反射成像系統(tǒng)[13]等。魚眼透鏡和折反射系統(tǒng)通常采用單一的低分辨率、大畸變的圖像傳感器，因此，所成圖像分辨率低且具有相當(dāng)大的畸變；旋轉(zhuǎn)拼接成像系統(tǒng)成像耗時(shí)長(zhǎng)且只能采集靜物，具有低效率和實(shí)時(shí)性差的缺點(diǎn)。

昆蟲復(fù)眼因其結(jié)構(gòu)緊湊、視場(chǎng)大和高分辨率等優(yōu)點(diǎn)被廣泛關(guān)注，目前復(fù)眼系統(tǒng)主要有基于微透鏡陣列[14-15]和基于相機(jī)陣列2種形式。傳統(tǒng)微透鏡復(fù)眼由于微透鏡結(jié)構(gòu)的特殊性存在著加工困難、分辨率低的缺點(diǎn)，不具有工業(yè)實(shí)用性。隨著相機(jī)的高分辨率、寬動(dòng)態(tài)和集成化發(fā)展，采用相機(jī)陣列實(shí)現(xiàn)復(fù)眼成為一種更加可行的選擇。傳統(tǒng)多相機(jī)仿生復(fù)眼設(shè)計(jì)中常將相機(jī)視角簡(jiǎn)化為圓形，需要對(duì)相機(jī)原始視場(chǎng)進(jìn)行切割，無疑會(huì)降低相機(jī)利用效率。因此，本文提出一種直接采用相機(jī)原始矩形視場(chǎng)進(jìn)行視場(chǎng)分割的設(shè)計(jì)方法，首先分析單個(gè)“子眼”相機(jī)視場(chǎng)與總視場(chǎng)的關(guān)系，然后利用矩形視場(chǎng)水平、垂直方向的視場(chǎng)角對(duì)預(yù)定半球視場(chǎng)進(jìn)行緯度層和經(jīng)度層的分割，確定各相機(jī)在半球體上的位置和方向。這種設(shè)計(jì)方法大大提高了相機(jī)的利用率且降低了系統(tǒng)的復(fù)雜度，為后續(xù)全景圖像拼接提供了便利。

1 基于視場(chǎng)分割的復(fù)眼系統(tǒng)設(shè)計(jì)理論

設(shè)計(jì)的多相機(jī)曲面仿生復(fù)眼如圖1所示。該系統(tǒng)由1個(gè)半徑為R的半球和位于球面上的若干個(gè)完全相同的相機(jī)組成。球殼起支撐作用，每個(gè)相機(jī)負(fù)責(zé)特定的視場(chǎng)空間，且所有相機(jī)的光軸均經(jīng)過球殼的球心。由于相機(jī)排布在半球體上，所以可以通過建立球坐標(biāo)系來確定相機(jī)的位置。如圖2所示，空間中任一點(diǎn)P的坐標(biāo)均可表示為(R,φ,θ),其中R為球殼的半徑，φ為向量OP與Z軸正方向所成的夾角，稱為仰角，θ為向量OP在XY平面的投影與X軸正方向所成夾角，稱為方位角。

圖1 仿生復(fù)眼系統(tǒng)

圖2 球坐標(biāo)系

球坐標(biāo)系(R,φ,θ)與直角坐標(biāo)系(x,y,z)的轉(zhuǎn)換關(guān)系為

(1)

本文采用單個(gè)相機(jī)的物平面來進(jìn)行預(yù)定視場(chǎng)分割，因此，首先需要對(duì)單個(gè)相機(jī)的物平面進(jìn)行分析。如圖3所示，可以用一個(gè)假想的四棱錐來表示相機(jī)的視場(chǎng)，且像平面一定與該四棱錐底面平行，若存在一個(gè)經(jīng)過光軸且與相機(jī)像平面平行的物平面，則此物平面也一定為矩形。

圖3 像平面與物平面的關(guān)系

此矩形的長(zhǎng)L和寬W與物距D的關(guān)系為

(2)

在復(fù)眼系統(tǒng)中各相機(jī)的光心與球心并不重合，因此，在視場(chǎng)分割時(shí)必須將其水平視角與垂直視角進(jìn)行等效轉(zhuǎn)換。如圖4所示，在成像距離為D，物平面長(zhǎng)寬分別為L(zhǎng)、W時(shí)，記相機(jī)等效水平視場(chǎng)角為α′、等效垂直視場(chǎng)角為β′，可得

圖4 相機(jī)等效視場(chǎng)角示意

(3)

1.1 相機(jī)分層規(guī)則

以單個(gè)“子眼”相機(jī)的物平面代替相機(jī)的視場(chǎng)范圍，并以此為基本單位，對(duì)預(yù)定視場(chǎng)進(jìn)行無縫分割，主要有以下2個(gè)步驟：

a．根據(jù)求得的等效垂直視場(chǎng)角β′，從緯度方向?qū)㈩A(yù)定視場(chǎng)ψ=π劃分為若干層，如圖5所示，則可將虛擬視場(chǎng)垂直分割為N層，即

圖5 緯度劃分示意

(4)

ceil表示向上取整；+0.5表示當(dāng)各層視場(chǎng)重疊部分較少時(shí)增加1層相機(jī)，從而達(dá)到增加各層視場(chǎng)重疊部分的效果。層數(shù)N由上至下，逐層增加。復(fù)眼的第1層只需要1個(gè)相機(jī)，且位于同一層的所有相機(jī)的坐標(biāo)值φ相同，因此，第n(1≤n≤N)層所有相機(jī)的φ坐標(biāo)值為

(5)

b．當(dāng)每層相機(jī)的φ坐標(biāo)值確定后，進(jìn)而確定各個(gè)相機(jī)的θ坐標(biāo)值，即可確定各個(gè)相機(jī)的位置。由于相機(jī)在每個(gè)緯度層上均勻分布，因此，第n緯度層相機(jī)的個(gè)數(shù)為

(6)

(7)

因此，第n層上的第m個(gè)相機(jī)的θ坐標(biāo)值為

(8)

εn為同一層相鄰2個(gè)相機(jī)之間的θ坐標(biāo)差值，即

(9)

通過上述步驟，即可確定實(shí)現(xiàn)對(duì)預(yù)定視場(chǎng)無縫分割需要的相機(jī)總數(shù)M，以及“子眼”相機(jī)的安裝位置和角度。

(10)

1.2 有效視場(chǎng)分析

根據(jù)上述設(shè)計(jì)規(guī)則，除了最頂層和最底層以外的任意緯度層的實(shí)際成像情況如圖6所示。其中，某個(gè)相機(jī)的實(shí)際成像范圍可看作1個(gè)等腰梯形。因?yàn)橄鄼C(jī)在同一緯度層上是均勻排布的，所以各相機(jī)的實(shí)際成像范圍是相等的，即所有等腰梯形都是相等的。定義實(shí)際成像梯形的高為hn，上底為tn，下底為bn，計(jì)算公式為

圖6 第n緯度層實(shí)際成像視場(chǎng)示意

(11)

則該緯度層物平面的有效面積Sn為

(12)

對(duì)于最頂層而言，它只包含1個(gè)相機(jī)，只有1個(gè)物平面，且該物平面在實(shí)際成像時(shí)與第2層的相機(jī)部分重疊，且與每個(gè)相機(jī)重疊的區(qū)域相等，則第1緯度層的實(shí)際成像物平面可等效為1個(gè)正多邊形，其邊數(shù)與第2層相機(jī)的個(gè)數(shù)M2相同，邊長(zhǎng)等于第2層有效梯形區(qū)域的上底t2，故第1緯度層物平面的有效面積S1為

(13)

對(duì)于最下方的第N緯度層，不同于其他層的是，其中某一相機(jī)的有效成像物平面不與下一層相機(jī)重疊，則其實(shí)際成像物平面范圍可等效為1個(gè)等腰梯形外加1個(gè)矩形。其中梯形區(qū)域與上述緯度層相同；矩形區(qū)域的長(zhǎng)等于等腰梯形的下底bn，矩形的寬為wn=hn。則第N緯度層的有效視場(chǎng)區(qū)域SN為

(14)

仿生復(fù)眼系統(tǒng)整體的有效視場(chǎng)區(qū)域S等于各緯度有效視場(chǎng)面積之和,即

(15)

同時(shí)，所有“子眼”相機(jī)的實(shí)際物平面面積之和S0為

S0=M×L×W

(16)

則可得整體系統(tǒng)的利用率，即有效視場(chǎng)占所有“子眼”相機(jī)物平面總面積的比例μ為

(17)

依照上述設(shè)計(jì)規(guī)則，設(shè)計(jì)一個(gè)水平視場(chǎng)為2π，垂直視角為π，球體半徑為r，最小全景成像距離為D的復(fù)眼系統(tǒng)。通過該系統(tǒng)來研究D/r，以及“子眼”相機(jī)水平視角α和垂直視角β對(duì)仿生復(fù)眼系統(tǒng)總相機(jī)數(shù)M以及視場(chǎng)有效率μ的影響。

由圖7、圖8和圖9可知，無論D/r為多少，隨著“子眼”相機(jī)水平視角α和垂直視角β的減少，所需相機(jī)總數(shù)M增加、視場(chǎng)有效率μ均呈下降趨勢(shì)。這是因?yàn)橄鄼C(jī)視角減小，對(duì)于已定視場(chǎng)需要分為更多層，導(dǎo)致所需相機(jī)總數(shù)M增加，同時(shí)，由于相機(jī)數(shù)增多，兩兩相機(jī)間又各有重疊區(qū)域，使得系統(tǒng)整體重疊區(qū)域增加，導(dǎo)致視場(chǎng)有效率μ降低。

圖7 D/r=5時(shí)M、μ與α、β的關(guān)系

圖8 D/r=10時(shí)M、μ與α、β的關(guān)系

圖9 D/r=20時(shí)M、μ與α、β的關(guān)系

另外，從圖中可以看出當(dāng)D/r增大時(shí)，相機(jī)總數(shù)M隨之減小，而視場(chǎng)有效率μ隨之增大。通過這一實(shí)驗(yàn)結(jié)果，可以選擇更大視場(chǎng)角的相機(jī)和合適的成像距離來提高相機(jī)的利用率，以及實(shí)現(xiàn)更大視場(chǎng)的仿生復(fù)眼系統(tǒng)。

2 系統(tǒng)實(shí)現(xiàn)及實(shí)驗(yàn)驗(yàn)證

基于上述仿生復(fù)眼設(shè)計(jì)規(guī)則，選用HBV-1610型號(hào)相機(jī)設(shè)計(jì)仿生復(fù)眼系統(tǒng)。其主要技術(shù)參數(shù)如下：傳感器型號(hào)為GT2005 COMS，其光學(xué)尺寸為1/5 inch，最大有效像素1 616×1 216 ，傳感器尺寸為2 849 μm×2 184 μm，單個(gè)像素尺寸為1.75 μm×1.75 μm；對(duì)角線視場(chǎng)角為60°，焦距為2.7 mm；相機(jī)物理尺寸為8.5 mm×8.5 mm×4.6 mm，原件區(qū)尺寸為17.2 mm×26.2 mm。

根據(jù)實(shí)際成像需求選取相機(jī)視場(chǎng)角χ≈60°，并根據(jù)實(shí)際相機(jī)尺寸，確定球殼尺寸R=4 cm，最小全景成像距離D=20 cm。經(jīng)過測(cè)量得該相機(jī)水平視角α≈47°，垂直視角β≈40°，實(shí)際采集的圖像分辨率為1 600×1 200像素。根據(jù)上述設(shè)計(jì)規(guī)則，可得所需相機(jī)總數(shù)M=24，將半球殼分為4層，從頂層至上而下各緯度層所需相機(jī)個(gè)數(shù)分別為1、6、8、9。將所有相機(jī)按照Cij進(jìn)行編號(hào)，其中i表示第i緯度層，j表示該緯度第j個(gè)相機(jī)，則所有“子眼”相機(jī)的坐標(biāo)確定如表1所示。

表1 復(fù)眼系統(tǒng)中各相機(jī)的坐標(biāo)

為了驗(yàn)證上述設(shè)計(jì)，制作了2層的仿生復(fù)眼系統(tǒng)進(jìn)行實(shí)驗(yàn)。球殼半徑R=4 cm，整體體積較小，采用3D打印技術(shù)進(jìn)行制作。

圖10為該仿生復(fù)眼系統(tǒng)最終實(shí)物圖，硬件電路的核心為HBV-DSP1610AF，負(fù)責(zé)圖像的采集和傳輸。圖11為該仿生復(fù)眼系統(tǒng)采集的全景圖像，該圖像由7張子眼圖像拼接而成，且內(nèi)部不存在空白，驗(yàn)證了該設(shè)計(jì)方案的可行性。依照該設(shè)計(jì)規(guī)則制作的復(fù)眼初步實(shí)現(xiàn)了大視場(chǎng)全景成像。根據(jù)理論分析可得，該復(fù)眼系統(tǒng)無縫成像視角約為79.5°，成像像素大小為1 200萬像素。

圖10 仿生復(fù)眼實(shí)物

圖11 復(fù)眼系統(tǒng)所成全景圖

3 結(jié)束語

本文提出了一種基于視場(chǎng)分割的多相機(jī)陣列仿生復(fù)眼系統(tǒng)設(shè)計(jì)方法，該方法通過直接采用相機(jī)原始矩形視場(chǎng)對(duì)預(yù)定視場(chǎng)進(jìn)行分割，避免了傳統(tǒng)復(fù)眼設(shè)計(jì)中將相機(jī)視場(chǎng)簡(jiǎn)化為圓形使得相機(jī)利用率降低的問題。

該方法首先根據(jù)相機(jī)的視場(chǎng)角計(jì)算與圖像傳感器靶標(biāo)平面平行的矩形物平面大小。然后分析了“子眼”視場(chǎng)和總視場(chǎng)的關(guān)系，提出了一種基于矩形物平面的視場(chǎng)分割規(guī)則，確定了對(duì)預(yù)定視場(chǎng)進(jìn)行完整分割所需的相機(jī)個(gè)數(shù)，以及其安裝位置和角度。同時(shí)還分析了水平視場(chǎng)角、垂直視場(chǎng)角對(duì)相機(jī)數(shù)目和相機(jī)利用率的影響。最后根據(jù)上述相機(jī)排布規(guī)則設(shè)計(jì)了2層的仿生復(fù)眼系統(tǒng)，該系統(tǒng)由7個(gè)“子眼”相機(jī)在球面上按照固定規(guī)則排列而成，每個(gè)子眼指向不同的視場(chǎng)空間，整體實(shí)現(xiàn)了79.5°無縫成像，驗(yàn)證了該設(shè)計(jì)方法的有效性。

本設(shè)計(jì)方法采用了分層思想，會(huì)導(dǎo)致不同層相機(jī)的重疊度不同，導(dǎo)致整體重疊度變大。在今后的研究中，可以提出一種相機(jī)排列方式使得所有相機(jī)重疊度相同，提高相機(jī)利用率，降低系統(tǒng)復(fù)雜度，進(jìn)一步提高復(fù)眼系統(tǒng)的實(shí)用性。