于 桐，郭 利，王衛(wèi)國

（陸軍工程大學石家莊校區(qū)，河北 石家莊 050003）

0 引 言

武器裝備是部隊戰(zhàn)斗力的重要組成部分，是決定現(xiàn)代戰(zhàn)爭勝負的關鍵因素之一。隨著軍事實戰(zhàn)化訓練的逐步推進，我軍的裝備維修搶修需求也在持續(xù)提升，但新型裝備結構復雜、技術先進，對其進行技術保障難度大、任務重、操作復雜，對部隊維修條件和保障人員技術水平提出了更高要求，但現(xiàn)階段基層部隊維修力量不足，維修人員能力有限，需要遠程技術專家支持，這就要求后方能夠清晰全面地掌握維修現(xiàn)場情況，但在現(xiàn)代拍攝設備的成像條件下，相機光學鏡頭中的聚焦深度有限，很難捕獲到維修場景所有組分的合適圖像。

因此，需要將具有同一場景的不同焦距級別的多景深圖像融合為一張清晰的全聚焦圖像技術，以滿足后續(xù)維修任務需要，此外，還應滿足在維修現(xiàn)場輔助設備上能夠實時、快速運行的要求。

在傳統(tǒng)的圖像融合研究中，按照融合策略劃分，圖像融合方法大致可分為兩類：基于變換域方法和基于空間域方法。變換域方法主要以多尺度變換（MST）為主，根據(jù)特定的融合規(guī)則通過融合不同圖像的多尺度表示實現(xiàn)融合，有拉普拉斯金字塔、小波變換、平穩(wěn)小波分解、非下采樣輪廓波變換（NSCT）和多尺度表示（MSR）等方法。變換域融合方法對特征識別能力較強，但算法繁瑣、耗時較長。

空間域方法一般可以分為三類：基于像素的方法、基于圖像塊的方法和基于區(qū)域的方法。比較常見的是像素級圖像融合，通常的做法是將兩個或多個輸入圖像進行合并，以生成比源圖像更具信息性的視覺感知融合圖像，比較有代表性的有圖像消光、引導濾波、密集尺度不變特征變換等，空間域融合相對于變換域融合更為簡單快速，但其局限于無法對源圖像進行特征層面的精確分割。

這些傳統(tǒng)的融合方法依賴人工設計融合規(guī)則，對復雜場景通用性不強。為了解決這一問題，本文提出一種基于輕量級神經(jīng)網(wǎng)絡和邊緣校正的多聚焦圖像融合方法，經(jīng)實驗驗證，該方法參數(shù)量少、模型體積小、收斂速度快，經(jīng)過兩個階段的處理，圖像細節(jié)保有度高，融合邊界效果良好。

1 本文提出的多聚焦圖像融合方法

本文提出的多聚焦圖像融合方法基于空間域進行融合，第一級融合依托深度卷積神經(jīng)網(wǎng)絡對聚焦區(qū)域進行劃分，生成初級決策圖，第二級融合通過形態(tài)學運算對第一級的決策圖進行邊緣校正。

主要步驟為：

1）第一級融合將配準的同源圖像劃分為目標尺寸圖像塊后，通過改進的輕量級網(wǎng)絡對圖像塊進行分類識別，判定為聚焦、散焦，重構成初步劃分出聚焦區(qū)域的初級融合決策。

2）第二級融合使用圖像梯度進行雙閾值檢測生成邊緣矯正引導圖。通過形態(tài)學手段對初級決策圖進行邊緣校正，獲得最終決策圖，與源圖像進行融合重構，生成最終的多聚焦融合圖像。

融合方法的整體流程圖如圖1所示。

圖1 融合方法整體流程圖

第一級融合能夠通過改進的輕量級神經(jīng)網(wǎng)絡快速定位劃分主聚焦區(qū)域和散焦區(qū)域，減少參數(shù)量，大幅提高運算速度，第二級融合能使融合邊緣保持更多源圖像的紋理細節(jié)，有效抑制了融合邊界的各類問題。

2 基于輕量級神經(jīng)網(wǎng)絡的一級融合

2.1 輕量級神經(jīng)網(wǎng)絡

傳統(tǒng)的深度神經(jīng)網(wǎng)絡一般通過提升特征通道數(shù)和卷積核數(shù)量的方式來提高網(wǎng)絡的整體性能，但這種方式易出現(xiàn)參數(shù)冗余和模型較大等問題，例如傳統(tǒng)的vgg16權重模型有490 MB，resnet權重模型有644 MB，這些網(wǎng)絡模型過大，很難在移動端和嵌入式系統(tǒng)等設備中使用。

輕量級神經(jīng)網(wǎng)絡針對傳統(tǒng)卷積運算單純增加卷積核尺寸和數(shù)量的方式作出改進，設計更高效的卷積操作方式，使用更精巧的網(wǎng)絡架構，實現(xiàn)在便攜移動設備上的訓練和應用。

通常的做法是將傳統(tǒng)的卷積方式替換為深度可分離卷積（Depthwise Convolution），例如將傳統(tǒng)4個深度為3的3×3的卷積核拆分為3個深度為1的3×3卷積核和4個深度為3的1×1卷積核，以降低整體計算量。

深度可分離卷積的計算量與傳統(tǒng)卷積相比見以下公式，其中，D是卷積核尺寸，D是輸入的尺寸，和為輸入輸出通道。

傳統(tǒng)卷積計算量為：

深度可分離卷積計算量DW為：

兩種卷積方式計算量對比：

普通卷積方式的運算量一般是深度可分離卷積操作運算量9倍以上。相比傳統(tǒng)卷積神經(jīng)網(wǎng)絡，使用深度可分離卷積能保證在減少模型參數(shù)與運算量的同時，不降低網(wǎng)絡深度和準確度。

2.2 改進的輕量級神經(jīng)網(wǎng)絡

MobileNetV2是谷歌公司于2018年在MobileNet基礎上提出的一種輕量級神經(jīng)網(wǎng)絡，與原來傳統(tǒng)輕量級網(wǎng)絡不同，MobileNetV2在原有單純使用深度可分離卷積的基礎上增加了7組Bottleneck結構。

網(wǎng)絡中的Bottleneck使用倒殘差結構，通過增加信息維度來保證特征提取的精確性，每個倒殘差結構含有三個層，如圖2所示。

圖2 倒殘差結構示意圖

三層分別為：

1）1×1卷積升維層“Expansion”Layer采用點卷積操作，將輸入特征映射到高維信息域，以加強特征提取能力。

2）3×3深度可分離卷積層Depthwise Convolution，減少運算量。

3）1×1卷積降維層“Projection”Layer采用點卷積操作，將高維信息降至低維。

結構前兩層選用ReLU6激活函數(shù)，ReLU6激活函數(shù)定義為：

ReLU6激活函數(shù)能夠較高程度地保持高維特征信息，但會損失大量的低維特征信息，由于使用倒殘差結構，最后一層輸出的特征向量維度較低，所以在最后一層卷積層使用線性激活函數(shù)。

原始的MobileNetV2網(wǎng)絡針對多分類任務需求配置了深層次的網(wǎng)絡結構和大量輸出通道，本文需要解決的多聚焦圖像融合任務實質上是一個二分類問題，在實驗中發(fā)現(xiàn)，原始網(wǎng)絡在計算時產(chǎn)生大量冗余參數(shù)，影響計算速度，為了減少冗余參數(shù)、簡化網(wǎng)絡結構、提高收斂速度，本文在MobileNetV2網(wǎng)絡基礎上進行了改進，提出了一種改進的輕量級神經(jīng)網(wǎng)絡。該網(wǎng)絡針對目標區(qū)域是否存在模糊特征，以判定聚焦或者散焦為目的，將輸出通道配置為2，并對網(wǎng)絡結構進行剪枝，在網(wǎng)絡結構進行剪枝時發(fā)現(xiàn)，在配置4組Bottleneck結構時，能兼顧計算速度的提升和分類準確率的穩(wěn)定，剪枝后的網(wǎng)絡結構如圖3所示。

圖3 網(wǎng)絡結構

網(wǎng)絡結構參數(shù)見表1，其中，為寬度乘法器，是輸出通道，是步長，是運算迭代次數(shù)。

表1 網(wǎng)絡結構參數(shù)

改進后的輕量級網(wǎng)絡與其他傳統(tǒng)網(wǎng)絡的運算效率對比如表2所示。

表2 改進網(wǎng)絡的運算效率

訓練網(wǎng)絡時將聚焦圖像標定為1，散焦圖像標定為0，網(wǎng)絡訓練完成后，將同源多聚焦圖像、分割為尺寸32×32的圖像補丁，依次將圖像補丁和圖像補丁輸入到訓練好的網(wǎng)絡模型中，網(wǎng)絡輸出標簽0或1的值。

如圖4所示，將輸出值重構為一個矩陣，生成初級決策。

圖4 初級決策生成流程圖

3 基于邊緣校正的二級融合

圖像塊級別補丁的網(wǎng)絡訓練模式導致了決策圖融合邊界塊效應較為明顯。為了解決這個問題，本階段對初級決策進行邊緣校正，以獲得更精確的融合結果。

3.1 邊緣校正算法

傳統(tǒng)邊緣檢測算法一般使用Sobel算子，在實驗中發(fā)現(xiàn)，單純使用垂直和水平兩個方向的算子，在散焦區(qū)域內，模糊特征的存在影響了檢測的準確性，為此，本文提出一種改進的邊緣校正算法。該算法在原有兩個算子基礎上增加兩個對角線方向的斜向算子，并通過設置邊緣梯度閾值，抑制散焦區(qū)域弱邊緣，單獨強化聚焦區(qū)域的真實邊緣檢測能力。

傳統(tǒng)Sobel算子為：

增加的兩個斜向算子為：

將圖像轉化為灰度圖像，通過4個算子對源圖像點(,)處像素值(,)及其8個鄰域進行卷積可得4個方向的差分G，G，，：

總梯度的模(,)為：

合成的梯度方向(,)為：

在得到梯度后，使用雙閾值檢測圖像邊緣范圍，設置最大閾值300（maxVal）和最小閾值100（minVal），超過maxVal判定為邊緣，低于minVal的判定為非邊緣，在maxVal與minVal之間的像素，通過比對8個鄰域像素判定其是否屬于邊緣，如果鄰域像素為強邊緣像素，則將(,)點判定為真實邊緣，得到邊緣引導圖。改進后的算法效果如圖5所示。

圖5 改進后算法效果

結果表明，改進后的算法能夠抑制散焦區(qū)域弱邊緣對真實邊緣的影響，強化聚焦區(qū)域強邊緣的檢測能力。

3.2 最終融合決策

通過圖像邊緣作為引導對第一階段決策進行約束，首先將引導圖和初級決策圖劃分成16×16塊區(qū)域，使用邊緣引導圖對初級決策圖在每塊區(qū)域內進行置換，f (,)為的區(qū)域塊內點(,)處像素值，得到融合決策圖：

對融合決策圖進行形態(tài)學處理，過程如圖6所示。

圖6 邊緣校正過程

第一步：使用開運算（卷積核設置為15）完成對鋸齒邊緣和缺損域的填充，清除孤立點；

第二步：分割最大連通域，劃分出主聚焦區(qū)域；

第三步：使用閉運算（卷積核設置為15）清除孤立點，生成經(jīng)過邊緣校正后的最終決策圖。

生成最終融合圖像的過程如圖7所示，決策表達表示為：

圖7 最終融合圖像

式中：為最終輸出的融合圖像；(,)是最終決策圖；(,)和(,)分別表示原始圖像和原始圖像。

4 實驗結果與對比

4.1 數(shù)據(jù)集及網(wǎng)絡訓練

理想的訓練集可有效提高網(wǎng)絡模型的泛化能力和分類精度。在傳統(tǒng)多聚焦圖像融合方法的數(shù)據(jù)集中，僅將高清原始圖像標定為清晰，將經(jīng)過高斯模糊處理的圖像用作模糊版本。然而，在實際的多焦點圖像中，聚焦區(qū)域的清晰度并不高，只是比散焦區(qū)域相對清晰一些，本文在原基礎上設計了基于多版本模糊的數(shù)據(jù)集。

如圖8所示，除原始圖像外，其余5幅圖像是經(jīng)過高斯濾波處理的模糊圖像，其標準差為2，濾鏡大小為5，為模糊迭代次數(shù)，數(shù)據(jù)集由原始圖像和=1，=2，…，=5形成5個不同的模糊版本。在本文中，選取cifar-10數(shù)據(jù)集中60 000張高質量圖像作為訓練集，圖像尺寸為32×32，共產(chǎn)生360 000張圖像補丁，將原始圖像、=1、=2模糊圖像標定為聚焦，其余標定為散焦，選擇300 000張圖像塊作為訓練集，60 000張圖像塊用作測試集。

圖8 數(shù)據(jù)集制作

網(wǎng)絡訓練使用apply_gradients作為優(yōu)化器，網(wǎng)絡學習率設置為0.001，迭代次數(shù)設置為1 000，網(wǎng)絡使用交叉熵作為損失函數(shù)。訓練過程中損失值隨迭代次數(shù)的變化如圖9所示。

圖9 神經(jīng)網(wǎng)絡訓練過程損失值

4.2 主觀效果評估

為了驗證融合方法的有效性，在本節(jié)中選取5種具有代表性的MFIF方法與提出的方法進行比較，包括：非下采樣輪廓波變換（NSCT）、傳統(tǒng)引導濾波方法（GF）、基于多尺度加權梯度的方法（MSGF）、基于自適應稀疏表示（ASR）和卷積神經(jīng)網(wǎng)絡（CNN）。

為了比較各種MFIF方法的性能，使用20對來自開源數(shù)據(jù)集“Lytro”的同源圖像進行實驗，以驗證本文提出的融合方法的有效性。選取部分示例，以展示各MFIF方法之間的差異。圖10是“note”源圖像對及通過不同方法和本文方法獲得的融合結果，依次為源圖像、源圖像、NSCT、GF、ASR、MSGF、CNN和本文方法的輸出融合圖像。

圖10 源圖像及各類方法融合后的輸出結果

將各種融合方法融合結果同源圖像對比來看，可以看出各種傳統(tǒng)方法還存在不同的缺點，NSCT方法降低了源圖像的整體分辨率；GF方法在融合邊緣處具有偽像；ASR方法降低了邊界處的清晰度；MSGF方法的融合結果使圖像整體對比度發(fā)生變化；CNN決策圖的邊緣存在鋸齒狀邊緣，邊界區(qū)域出現(xiàn)侵入型模糊。從本文方法的融合圖像中可以看到融合的邊界區(qū)域清晰度有明顯提升，且無光暈和偽像。

為了更好地進行對比，將以上方法的融合圖像與源圖像進行了殘差處理，得到的圖像殘差如圖11所示。通過圖11可以更加直觀地看到各類方法的差異，相對于傳統(tǒng)方法，本文方法在融合邊緣的細節(jié)處理上具有明顯優(yōu)勢。

圖11 不同方法融合圖像殘差

4.3 定量指標評估

為了確保對融合性能的客觀定量評價，本文采用通用的客觀評價體系進行評估，圖像融合指標分為四類：基于信息論、基于圖像特征、基于圖像結構相似性以及基于人類感知。在實驗中，對于每個類別，采用在多焦點圖像融合中廣泛使用的4個指標進行評估。

1）標準化互信息

標準化互信息是一種基于信息論的圖像融合計量指標，用于計量源圖像與融合圖像之間的互信息量。定義為：

式中：和代表源圖像；代表和的融合圖像；MI(,)和MI(,)代表源圖像與融合圖像的互信息；()，()和()分別是融合圖像、和的熵。

2）圖像特征指標

相位一致性度量是基于圖像特征的計量指標，將源圖像的相位一致性特征與融合圖像進行比較。定義為：

式中：，和是源圖像和融合圖像之間的最大和最小矩；指數(shù)參數(shù)設置為===1。

3）結構相似性指標

是一種基于圖像結構相似度（SSIM）的評價指標，用于評估保留源圖像結構信息的級別。的定義為：

式中：SSIM(,|)表示通過和之間以滑動窗口方式計算映射；()為源圖像局部方差計算顯著性權重。

4）人類感知性指標

基于人類感知的度量，依據(jù)人類視覺系統(tǒng)模型的主要特征，將輸入圖像的對比度特征與融合圖像進行比較。

定義為：

式中：Q(,)和Q(,)表示保留在融合圖像中的源圖像的對比度信息；加權因子λ(,)和λ(,)是兩個源圖像的顯著圖值。

表3列出了本文方法與其他5種融合方法在Lytro數(shù)據(jù)集上的融合圖像平均得分，最高值以粗體顯示。結果表明，在總體程度上，本文方法的融合效果更好。

表3 Lytro數(shù)據(jù)集各方法實驗結果

5 結 論

本文針對野戰(zhàn)條件下部隊維修搶修，遠程技術支持的視頻圖像傳輸在傳輸速度、實時性等方面的要求，設計了一種基于輕量級神經(jīng)網(wǎng)絡和邊緣校正的多聚焦圖像融合新方法。經(jīng)融合實驗驗證，本文融合方法具有以下特點：

1）第一級融合使用改進的輕量級神經(jīng)網(wǎng)絡，減少了大量冗余參數(shù)，快速確定主聚焦區(qū)域，大幅提升了計算速度，保證采集、處理、傳輸?shù)膶崟r性，能夠滿足實際任務需要。

2）相對于其他傳統(tǒng)方法依據(jù)分割結果直接重構圖像，本文在第二級融合通過邊緣檢測算法生成引導圖，使用形態(tài)學手段對初級決策進行校正后，有效克服了傳統(tǒng)融合手段導致融合邊界的各類問題。

3）本文的融合結果能夠最大程度地保留源圖像結構信息，融合圖像更符合生物視覺機制，方便后方研判維修現(xiàn)場的情況，客觀評價指標也驗證了本文方法的有效性和優(yōu)越性。