金劍 武海彬 劉文華

[摘? ? 要] 本文采用基于顧及重疊的面Voronoi圖構(gòu)建影像拼接網(wǎng)絡，生成目標區(qū)域全部影像所對應的Voronoi多邊形，依照影像順序依次進行鑲嵌處理，形成初步拼接成果圖。應用基于Wallis濾波器的多片色彩均衡算法，進行影像勻光操作，實現(xiàn)拼接影像間的自然過渡。本文采用C++編程語言實現(xiàn)無人機影像特征提取、粗差消除、光束法平差、影像色彩一致性處理等環(huán)節(jié)，設計并開發(fā)出界面友好型無人機航拍影像自動拼接軟件系統(tǒng)，能夠快速進行影像拼接處理，獲取良好的拼接效果。

[關鍵詞] 無人機影像拼接;拼接線;色彩均衡

doi ： 10 . 3969 / j . issn . 1673 - 0194 . 2018. 21. 071

[中圖分類號] F270.7;TP391.41? ? [文獻標識碼]? A? ? ? [文章編號]? 1673 - 0194（2018）21- 0166- 05

1? ? ? 無人機影像鑲嵌算法

影像鑲嵌（image mosaic）是指對具有重疊區(qū)域的多幅影像按照一定規(guī)則進行坐標變換，將全部影像規(guī)范到統(tǒng)一的坐標框架下，初步拼接成一幅覆蓋整個目標區(qū)域的大型影像的過程[1]。影像拼接線的自動生成是鑲嵌任務中的關鍵環(huán)節(jié)，現(xiàn)有的拼接線生成方法多只關注于相鄰的兩幅影像間單條拼接線生成情況，這類方法在整個拼接區(qū)域能構(gòu)建多條拼接線，各拼接線具有獨立性，只能按照影像順序依次拼接，不利于直接生成最終鑲嵌成果圖。由于拍攝環(huán)境的影響，航空影像內(nèi)部及影像之間在亮度分布上存在不同程度的差異，對其進行色彩均衡處理可以提升影像清晰度，獲取更佳拼接效果，影像勻光操作十分重要。本文介紹無人機影像拼接優(yōu)化策略，采用基于顧及重疊的面Voronoi圖的拼接線網(wǎng)絡自動生成算法和基于Wallis濾波器的多片色彩均衡算法，實現(xiàn)無人機影像快速鑲嵌與色彩一致性處理操作。

2? ? ? 無人機影像拼接線自動生成

2.1? ?顧及重疊的面Voronoi圖

Voronoi圖[2]是計算幾何中描述對象空間鄰近關系的基礎數(shù)據(jù)結(jié)構(gòu)，一般用于求解點集、面元、空間幾何體等幾何對象的距離相關問題。面Voronoi圖[3]是以面元為空間目標，基本運算單元是兩個或數(shù)個互相分離的獨立平面的集合，如圖1所示。無人機獲取的相鄰航拍影像相互重疊，影像面元不具備獨立性，因此無法應用面Voronoi圖構(gòu)建影像間拼接線，潘俊等人基于此提出了顧及重疊的面Voronoi圖能夠很好地解決問題。

在待拼接的影像為有限區(qū)域的情況下，可使用顧及重疊的面Voronoi圖構(gòu)建拼接線。無人機所獲取的任意兩幅相鄰影像都具有60%-80%的重疊區(qū)域，所對應的非重疊區(qū)域?qū)γ鎂oronoi圖的生成具有一定約束，在此約束下重新劃分相鄰兩幅影像的重疊區(qū)域，并分別保留多邊形所分割兩幅影像間的對應區(qū)域，將其歸于非重疊部分，生成新的拼接影像。

2.2? ?影像拼接線自動生成

在獲取影像時，每張影像相互獨立且依照中心投影成像，影像的中心部位投影質(zhì)量較好，而用以進行鑲嵌的影像邊緣部分則會產(chǎn)生一些灰度差異，基于顧及重疊的面Voronoi圖所選取的初始拼接線能使接邊區(qū)域盡可能靠近相鄰兩幅影像的中心區(qū)域，均衡地剔除兩邊影像的失真邊緣，確保最佳拼接效果?？紤]到顧及重疊的面Voronoi圖在重疊區(qū)域能劃分產(chǎn)生無間隙、高吻合拼接線，對原始平面進行剪裁后再無重疊區(qū)域，高效剔除冗余數(shù)據(jù)，所劃分出的區(qū)域保持結(jié)果唯一性，不存在多變情況，符合影像鑲嵌的需求，故將其應用于大范圍無人機航拍影像拼接線的自動生成中。此方法能夠?qū)Ω飨噜徲跋裰丿B區(qū)域進行有效劃分，形成每幅無人機影像的有效鑲嵌多邊形，計算影像對應的有效拼接范圍，高效且快速地構(gòu)建拼接線。該方法的結(jié)果與影像坐標相關，但不受影像順序影響，可以提高拼接處理的靈活性，滿足無人機影像快速鑲嵌的需求。

相鄰影像共用一段或數(shù)段Voronoi多邊形公共邊，全部影像生成的面Voronoi彼此相連，全部接邊線構(gòu)成目標區(qū)域的拼接線網(wǎng)絡，顧及重疊的面Voronoi圖的生成是構(gòu)建拼接線的關鍵所在。首先確定相鄰影像間重疊區(qū)域的范圍，定義一個新的面集來表示原始無人機影像;接著，考慮重疊區(qū)域的大小，生成顧及重疊的面Voronoi圖，求得全部影像所對應的Voronoi多邊形;解算相鄰影像的拼接線，即各Voronoi多邊形間的公共邊，拼接線彼此互相連接就構(gòu)成所需要的拼接線網(wǎng)絡。

2.3? ?確定影像重疊范圍

在構(gòu)建影像拼接線網(wǎng)絡之前，需要確定相鄰影像的重疊區(qū)域，在重疊區(qū)域中生成影像拼接線，這樣既能剔除冗雜無用數(shù)據(jù)，更降低了計算機程序運算量。航帶中的無人機影像是沿飛行方向快速、依次拍攝的，可以忽略影像間大小差異，無人機影像經(jīng)過坐標投影變換后所得到的影像按照矩陣形式存儲，如圖2所示，用灰度值為0的像素填充影像周邊無信息區(qū)域，糾正后影像排列規(guī)則，相鄰影像的重疊情況也較為簡單。對兩幅圖像（也就是兩個矩形）的相交情況進行正確判斷是生成有效拼接線的重要前提。本文假定影像的重疊情況有以下3種，如圖3所示。

假設給定的兩個影像為A和B，影像A所在存儲矩陣的左上角坐標為（x_a1，y_a1），右下角坐標為（x_a2，y_a2），影像B所在存儲矩陣的左上角坐標為（x_b1，y_b1），右下角坐標為（x_b2，y_b2）。判斷兩個矩形是否相交，只要確定兩個矩形的中心坐標的水平和垂直距離，只要這兩個值滿足某種條件就可以相交。計算影像A和B的寬、高分別記為W_a，H_a，W_b，H_b：

可以求出影像A和B的中心坐標（x_a3，y_a3）、（x_b3，y_b3）：

當同時滿足公式時，兩幅影像則相交。

設相交的重疊區(qū)域為C，記C的左上角坐標為（x_c1，y_c1），右下角坐標為（x_c2，y_c2），則有：

2.4? ?顧及重疊的面Voronoi多邊形的生成

由2.3節(jié)可知每個顧及重疊的面Voronoi圖的生成都包含兩個步驟：①確定相鄰影像間重疊區(qū)域，在該區(qū)域生成影像中軸線;②計算各影像對應的Voronoi多邊形。

2.4.1? ?計算重疊影像間中軸線

圖像的中軸最開始被Blum形象地定義為著火地模型（Grass-fire model），[4]如圖4所示。對于平面幾何圖形而言，其任意兩條邊界都存在一個內(nèi)切圓，這些內(nèi)切最大圓圓心的軌跡構(gòu)成多邊形中軸線，且中軸線上的點到多邊形的對應邊界的距離相等。

在上一步中確定了相鄰影像間重疊區(qū)域，又根據(jù)中軸定義可知，我們所需求解的重疊區(qū)域平分線即是圖像中軸的一部分，周培德[5]等人提出的簡單多邊形、凸多邊形中軸算法，本文以該算法思想為依據(jù)，實現(xiàn)重疊區(qū)域中軸提取算法，具體步驟描述如下：

假設多邊形有N個頂點，沿逆時針方向分別命名為P₁，P₂，…，PN，并且P_i-1和P_i+1都是Pi的相鄰頂點。

（1）依次計算頂點P_i（i=1，2，…，N）的角平分線。

（2）任意相鄰頂點P_i和p_i+1角平分線的交點設為q_i，依次計算交點q_i到多邊形對應邊P_iP_i+1的距離d_i。

（3）設參數(shù)d=min（d₁，d₂，…，d_N），以d=d₁的情況為例進行說明，按逆時針方向重新排列頂點順序，使得d₁對應的頂點q₁到對應邊的距離最小。當d_i有多個最小值時，可任意選擇其中的某d_i做如上處理。

（4）以重新排列后的頂點P0為起始點，即令StartPoint=P₀，m=1，n=N，求解頂點P_i與頂點P_m、P_i與P_n的角平分線交點point_m、point_n。

（5）計算點間歐式距離，若d（point_m，StarPoint）

（6）若d（point_m，StarPoint）>d（point_n，StarPoint），則改變起始點為StarPoint=point_n，n--。

（7）保存上一步中生成的中軸轉(zhuǎn)折點，編號為J₁，J₂，…，J_N，并記錄每個中軸轉(zhuǎn)折點對應的多邊形頂點;線段P_mP_m+1，P_nP_n-1延長線相交，計算該夾角的平分線teml，teml與頂點P_m+1，P_n角平分線相較于point_m和point_n。

（8）重復執(zhí)行步驟（5），當m=n時停止運算。

（9）按照順序依次連接全部StarPoint及多邊形頂點，構(gòu)建多邊形中軸線。

如圖5所示，圖中虛線即所求多邊形的中軸線。

2.4.2? ?生成影像Voronoi多邊形

根據(jù)以上介紹的原理方法，獲取任意兩個相鄰影像重疊區(qū)域的中軸線，即重疊面平分線之后，還需用此平分線對相應無人機影像進行劃分與剪裁操作，去除變形較大的邊緣部分，生成影像所屬的Voronoi多邊形，以便生成全部影像的Voronoi圖，具體實現(xiàn)過程如下：

（1）按照無人機影像航帶間序列號以及航帶號依次確定相鄰影像間重疊區(qū)域范圍。

（2）依據(jù)航帶內(nèi)影像排列順序依次計算相鄰影像的重疊區(qū)域平分線，再計算航帶間相鄰影像重疊區(qū)域平分線。

（3）對于一對部分區(qū)域重合的無人機影像，用生成的平分線剪裁影像重疊部分的外部區(qū)域，并保存結(jié)果。

（4）對于位于航帶中間的影像，其每次剪裁結(jié)果都作為下次處理的初始輸入，再完成多次劃分后可生成當前無人機影像的初始Voronoi圖。

（5）再按照上述操作，對航帶間影像重疊區(qū)域做局部剪裁，計算每幅影像所屬Voronoi多邊形，每幅正射影像都被切割成互不重疊的不規(guī)則多邊形，這樣就完成了整個區(qū)域影像Voronoi圖生成操作。

在生成無人機影像Voronoi圖的過程中，依據(jù)Weiler[6]，劉勇奎[7]所提出的多邊形剪裁算法來確定重疊區(qū)域中平分線的出點與入點。其具體思路可簡述為：以相鄰兩幅無人機影像的重疊區(qū)域為參考，確定區(qū)域平分線的入點和出點，入點和出點一一對應，一對出入點確定一條平分線，當遇到出點時完成一次劃線過程;算法跳轉(zhuǎn)至相同重疊區(qū)域繼續(xù)追蹤以求解新的區(qū)域平分線，不進行重復操作直到回至起始入點，此時求解出整個重疊區(qū)域全部的區(qū)域平分線。

2.5? ?生成拼接線網(wǎng)格

從上一步中獲取了無人機航拍區(qū)域中全部影像Voronoi多邊形，可以看出兩幅相鄰影像重疊區(qū)域具有形狀相同的公共邊，計算并保存該公共邊信息，即生成一條拼接線，按照一定規(guī)則連接眾多拼接線的頂點，便可構(gòu)建整個航拍區(qū)域的拼接線網(wǎng)絡。考慮到無人機影像具有較大的航向重疊度，在這種高重疊的情況下，不能生成正確的拼接線網(wǎng)絡，第一幅圖像與第三幅圖像之間也有重疊，這樣兩兩生成的拼接線會相互交叉，出現(xiàn)拼接漏洞的情況。解決這一缺陷的方式之一是對圖像進行抽片，即隔片進行拼接，但在飛機飛行姿態(tài)不穩(wěn)定的時候有可能會出現(xiàn)拍攝漏洞，需要對這類情況謹慎處理。將全部影像依據(jù)拼接線網(wǎng)絡進行投影后，對其進行多分辨率融合，可解決曝光差異問題以及弱化拼接線痕跡。

3? ? ? 基于Wallis濾波器的多片色彩均衡算法

影像色彩均衡[8]算法又稱影像勻光算法，基于Wallis濾波器的勻光算法是影像間自動化的勻光處理，也是目前使用較多的一種方法。Wallis濾波器具有一定的特殊性，它通過局部影像變換以增強原始影像間灰度、色彩反差，適用于多幅影像間色彩、亮度差異調(diào)整。

3.1? ?Wallis濾波器

Wallis濾波器具有一定的特殊性，通過進行影像的局部區(qū)域變換，將影像局部區(qū)域的灰度均值及方差映射到給定的對應值，并且使不同區(qū)域影像的灰度方差和灰度均值都近似相等，以模糊影像區(qū)域間較大反差，增強影像中灰度微小信息，這種特殊的濾波器廣泛應用于影像配準、融合等圖像處理任務中。

Wallis濾波器的一般表達式為：

可見，當r₁>1時，可以看作高通濾波，當r₁<1時，則可視為低通濾波。經(jīng)典的Wallis濾波器中b和c同時取1，此時該濾波器的表達形式為：

當m_g=m_f，s_g=s_f，時，使用Wallis濾波器對原始圖像進行處理不會引起影像灰度的變化。

3.2? ?基于Wallis濾波器的影像勻光

一幅影像的均值反映其色調(diào)與亮度，而標準偏差則反映影像的灰度動態(tài)變化范圍。在無人機上搭載普通相機進行對地拍攝，所獲取的影像一般能滿足70%的航向重疊以及50%的旁向重疊，相鄰影像重疊區(qū)域間地物具備一定相關性，在理想飛行情況下相鄰的若干幅影像應具有近似一致的色調(diào)、亮度和反差，因而也具有近似的灰度均值與標準偏差。無人機影像中真實場景的色彩信息在色彩空間上具有連續(xù)性，而且影像局部色彩差異對影像整體色彩信息的影響較小，可以確保相鄰影像間的灰度均值、標準偏差近似一致性，因此Wallis濾波器可以用于進行測區(qū)多幅重疊影像的色彩一致性處理。而且基于Wallis濾波的影像勻光方法簡單、快速、有效，當不同影像范圍內(nèi)地物信息變化不大時，就能取得很好的效果，十分有利于大尺寸無人機影像的快速拼接。

基于Wallis濾波器的多幅無人機影像勻光處理的基本步驟為：

（1）統(tǒng)計航測區(qū)域內(nèi)相鄰影像的灰度均值和標準偏差，根據(jù)統(tǒng)計數(shù)據(jù)確定輸出圖像的目標均值和標準偏差，即分別選取各影像灰度均值的平均值、方差最大值為目標均值、目標標準偏差。

（2）以此目標值為基準，將選取的目標均值和方差帶入Wallis濾波器表達式中，計算乘性系數(shù)和加性系數(shù)，然后對側(cè)區(qū)內(nèi)所有影像進行色彩均衡處理。

基于Wallis濾波的多片影像勻光是對影像進行線性變換，其中乘性常數(shù)決定影像灰度級間的距離，加性常數(shù)決定影像灰度偏移量，使加性常數(shù)取0以上數(shù)值、乘性常數(shù)取1或1以上數(shù)值可避免灰度流失、灰度合并現(xiàn)象，能夠很好地保存原始影像的地物紋理、細節(jié)信息。Wallis勻光算法能夠?qū)Σ痪鶆驘o人機航拍影像的暗部區(qū)域進行灰度增強，同時對亮度區(qū)域進行灰度壓縮，經(jīng)過Wallis勻光處理后的影像在影像色調(diào)和細節(jié)信息上都能與原影像保持一致。

4? ? ? 實驗與分析

4.1? ?Voronoi圖拼接線生成

當前計算機硬件資源是有限的，為了實現(xiàn)大量、海量影像的拼接，不能簡單地將所有影像拼接的操作都放在計算機內(nèi)存中進行。本文在匹配完成后，求取各影像相對于參考影像的透視變換矩陣，并通過L-M[9]算法平差對各影像的透視變換矩陣進行整體調(diào)整以消除誤差積累，然后對所有的影像做透視變換并保存，最后對透視變換后的影像進行鑲嵌，鑲嵌線基于顧及重疊的面Voronoi圖生成。

為了對基于顧及重疊的面Voronoi圖的拼接線的生成效果進行說明，本文先對9幅單航帶影像進行拼接線提取測試。圖6（a）是經(jīng)過透視變換得到的影像，圖6（b）是每一幅圖像對應的Voronoi圖拼接線的圖像化表示，本文用黑白二值圖像進行表示：白色區(qū)域表示對應影像的有效部分，黑色部分表示對應影像需要裁切掉的部分。由于航飛時飛機姿態(tài)不穩(wěn)定，導致影像間的航偏角（Kappa角）較大，所以投影后的影像相比于原始影像變形較大，生成的Voronoi拼接線也不規(guī)則。另外需要注意的是，Voronoi圖并不能保證每幅影像對應的拼接線是單個多邊形，有可能一幅圖像對應的拼接線由多個多邊形（multi-polygon）組成，如圖7所示。

為了對整個算法進行測試，本文選用一個測區(qū)的完整數(shù)據(jù)進行拼接測試，該測區(qū)有220幅影像，由SONY ILCE-7R相機拍攝，單幅影像的分辨率為7 360×4 912（約3 615萬像素），整個測區(qū)較為平坦，如圖8所示。

由圖8結(jié)果可以看出，對于較為平坦的地區(qū)，通過二維透視投影變換完全滿足無人機影像拼接的需求，通過匹配的粗差剔除以及L-M算法消除誤差累積的策略處理以后，影像之間幾乎沒有什么錯位，整個影像拼接效果良好。

4.2? ?Wallis勻光勻色

相比于衛(wèi)星影像和有人機拍攝的航空影像，無人機一般搭載普通數(shù)碼相機，飛機姿態(tài)也不穩(wěn)定，拍攝時更容易受到拍攝角度、曝光等因素的影響，獲取的影像常常會存在著較大的色彩和亮度差異，對于這一類影像，有必要進行影像的勻光勻色處理，本文主要利用Wallis濾波器進行無人機影像的勻色處理。

為了對Wallis勻光勻色的效果進行測試，本文選用了一組部分影像被云遮擋的數(shù)據(jù)進行實驗，如圖9 （a）中的第二幅影像和第三幅影像，由于被云遮擋后影像色調(diào)明顯偏暗，和第一幅影像具有較大的色彩差距。圖9 （a）是Wallis勻光勻色前的影像，圖9 （b）是經(jīng)過Wallis勻光勻色處理之后的影像，實驗中以第一幅影像的均值和方差作為參考值，對另外的影像進行均值和方差的調(diào)整，由圖中結(jié)果可以看出，經(jīng)過Wallis勻色以后，原來影像之間較大的色彩差異能夠有效得到調(diào)整，勻色以后影像之間的亮度和色彩趨于一致。

為了對Wallis勻光勻色的效果進一步進行說明，本文對整個測區(qū)的影像進行了拼接測試，如圖10和圖11所示。由于拍攝時天氣較陰，測區(qū)的絕大部分影像偏暗，同時因為一些遮擋和反射的因素，有的影像內(nèi)部色彩和亮度不一致。

圖10是經(jīng)過Wallis勻光勻色處理之后拼接而成的效果圖。首先從整體效果來看，沒有經(jīng)過Wallis勻光處理的影像拼接圖明顯偏暗，影像存在著亮度和色彩的不一致，而經(jīng)過勻光勻色處理之后，拼接后的影像亮度和色彩基本一致，整個影像的目視效果更好;從影像局部來看，沒有經(jīng)過勻光勻色處理的拼接圖會出現(xiàn)“斑塊狀”圖斑，這在經(jīng)過勻光處理以后的影像拼接圖上是沒有的。

由于方差在一定程度上反映了影像的細節(jié)和偏差，因而最大的方差能夠最大化地保證影像的細節(jié)，所以本文的標準方差取所有影像方差的最大值;而由于影像的亮度值在一定程度上取決于影像質(zhì)量的好壞，當亮度差異特別大或者亮度過高/過低時，建議人工選取，一般默認設為影像的平均灰度均值。

5? ? ? 結(jié)? ? 語

本文分別從拼接線構(gòu)網(wǎng)、影像色彩均衡處理角度介紹了兩種影像拼接效果優(yōu)化策略：首先是采用基于顧及重疊的面Voronoi圖構(gòu)建目標區(qū)域整體拼接線網(wǎng)絡，先確定每對相鄰影像的重疊范圍，再提取重疊區(qū)域中軸線，生成顧及重疊的面Voronoi多邊形，依序?qū)y區(qū)影像進行剪裁，得到每幅影像對應的Voronoi多邊形，多邊形接邊相連便形成整個目標區(qū)域的拼接網(wǎng)絡，實現(xiàn)無人機影像的良好拼接;針對無人機影像色彩不均衡現(xiàn)象，采用Wallis濾波器進行影像勻光操作，通過統(tǒng)計影像灰度均值與方差，利用Wallis濾波器調(diào)整影像灰度的線性分布，保持多幅影像間色調(diào)、亮度的一致性，可以較好地對無人機航拍影像實現(xiàn)勻光處理。

主要參考文獻

[1]Zeng L，Zhang S， Zhang J，et al. Dynamic Image Mosaic via SIFT and Dynamic Programming[J]. Machine Vision & Applications，2014，25（5）：1271-1282.

[2]F P Preparata，MI Shamos.Computational Geometry：An Introduction [J]. Texts & Monographs in Computer Science，2015，47（176）.

[3]潘俊，王密，李德仁. 基于顧及重疊的面Voronoi圖的接縫線網(wǎng)絡生成方法[J]. 武漢大學學報：信息科學版，2009，34（5）：518-521.

[4]Blum H. A Transformation for Extracting New Descriptors of Shape[M]//Wathen Dunn（Eds）.Models for the Perception of Speech & Visual Form. Cambridge，MA：MIT Press，1967：362-380.

[5]周培德，周忠平.確定任意多邊形中軸的算法[J]. 北京理工大學學報， 2000，20（6）：708-711.

[6]Weiler K， Atherton P. Hidden Surface Removal Using Polygon Area Sorting [J]. ACM Siggraph Computer Graphics，1977，11（2）：214-222.

[7]劉勇奎， 高云， 黃有群. 一個有效的多邊形裁剪算法[J]. 軟件學報， 2003，14（4）：845-856.

[8]王永安， 陳萍， 楊豐栓，等. 制作高質(zhì)量天繪彩色正射影像的方法分析[J]. 測繪與空間地理信息，2017（11）：205-206.

[9]Marquardt D W. An Algorithm for Least-Squares Estimation of Nonlinear Parameters[J]. Journal of the Society for Industrial & Applied Mathematics，1963，11（2）：431-441.