蔡鴻志CAⅠHong-zhi；馮書興FENG Shu-xing；張梁ZHANG Liang

（①航天工程大學(xué)，北京 100000；②63811 部隊(duì)，文昌 571300）

0 引言

航天靶場(chǎng)光學(xué)設(shè)備用于對(duì)火箭飛行實(shí)況景象進(jìn)行記錄，提供高質(zhì)量記錄圖像用于實(shí)時(shí)指揮決策與事后分析。夜間發(fā)射場(chǎng)景下，可見光圖像的分辨率高，細(xì)節(jié)信息豐富，但其動(dòng)態(tài)范圍比較有限，往往難以兼顧場(chǎng)景中較暗的塔架與較亮的發(fā)動(dòng)機(jī)部位的曝光成像。而紅外相機(jī)的成像特點(diǎn)不同，紅外相機(jī)基于熱成像原理，不受背景照度影響，可用性較高，但其分辨率低，且不同圖像傳感器間還存在配準(zhǔn)問題。因此，如何立足可見光圖像本身獲取更高動(dòng)態(tài)范圍的成像值得進(jìn)一步研究。

可見光高動(dòng)態(tài)范圍成像一般采用圖像融合方法，圖像融合有多尺度變換、稀疏表示、神經(jīng)網(wǎng)絡(luò)等方法[1]。基于多尺度變換的方法，需要手工設(shè)計(jì)特征提取方法和特征融合策略，適用性較差。而稀疏表示的方法則需要采用學(xué)習(xí)的策略建立完備的字典集，其融合策略仍需要依賴人的經(jīng)驗(yàn)制定。近年來(lái)，神經(jīng)網(wǎng)絡(luò)及相關(guān)數(shù)據(jù)集不斷發(fā)展完善，基于神經(jīng)網(wǎng)絡(luò)的方法在圖像處理、目標(biāo)檢測(cè)識(shí)別上取得了突破性進(jìn)展，其不需要手工設(shè)計(jì)特征，為圖像融合提供了可行的路徑[2-6]。

針對(duì)靶場(chǎng)可見光圖像高動(dòng)態(tài)范圍成像問題，本文提出一種基于卷積神經(jīng)網(wǎng)絡(luò)的方法，該方法為解決傳統(tǒng)圖像融合方法的缺陷，一是基于神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取，而后基于提取后的特征直接相加，由神經(jīng)網(wǎng)絡(luò)提取特征權(quán)重去決定融合權(quán)重；二是在特征提取過(guò)程中，在不降低圖像特征圖分辨率的基礎(chǔ)上，最大程度減少特征位置信息的丟失；三是采用對(duì)稱U 型網(wǎng)絡(luò)，融合高低層特征信息，提升圖像重建質(zhì)量，并在靶場(chǎng)首區(qū)任務(wù)中進(jìn)行了實(shí)驗(yàn)。實(shí)驗(yàn)表明，本文提出的方法可立足可見光圖像本身，采用圖像處理的方法獲取更高動(dòng)態(tài)范圍的成像，具有一定的參考價(jià)值。

1 方法

本文提出增強(qiáng)可見光圖像動(dòng)態(tài)范圍的方法其基本流程如圖1 所示。

圖1 可見光圖像多曝光融合流程圖

主要包括以下步驟：

①在開源數(shù)據(jù)集COCO 上訓(xùn)練編碼-解碼模型，在這個(gè)階段，特征融合模塊不參與訓(xùn)練。

②輸入可見光圖像，利用灰度非線性變換得到3 張不同曝光程度的可見光圖像；

③輸入待融合的圖像，利用步驟①中離線訓(xùn)練好的編碼模塊對(duì)輸入圖像分別進(jìn)行特征提取，得到四個(gè)特征提取層的圖像1 的特征和圖像2 的特征以及圖像 3 的特征；

⑤利用步驟①中訓(xùn)練好的解碼模塊對(duì)步驟③中的融合特征進(jìn)行圖像解碼重建，得到最終的融合圖像。

1.1 編碼—解碼模型訓(xùn)練

在Tensorflow 深度學(xué)習(xí)框架中搭建圖2 中的圖像編碼-解碼卷積神經(jīng)網(wǎng)絡(luò)。

圖2 編碼—解碼卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)圖

具體地講，特征提取網(wǎng)絡(luò)采用了4 層卷積網(wǎng)絡(luò)，每一層的卷積核尺寸為[3，3]，卷積步長(zhǎng)都為[1，1]，每一層輸出的特征圖分辨率保持不變都為[256，320]，這樣避免了特征提取過(guò)程中降采樣帶來(lái)的特征位置信息的丟失，每一層輸出的特征圖數(shù)量都為16。采用密集連接的思想，每一層的輸出都前向連接至前面的每一層卷積層，因此，隨著卷積層的增加，特征圖依次增加為16、32、48、64。圖像解碼網(wǎng)絡(luò)，則采用了對(duì)稱U 型結(jié)構(gòu)，將特征提取模塊的特征與重建后圖像不斷進(jìn)行疊加，直至重建出最終的融合圖像。整個(gè)編碼-解碼卷積神經(jīng)網(wǎng)絡(luò)的參數(shù)如表1 所示。

表1 編碼—解碼卷積神經(jīng)網(wǎng)絡(luò)參數(shù)

該編碼-解碼模型具有如下優(yōu)點(diǎn)，一是采用了密集連接思想，每一層的特征都前向傳播至每一個(gè)網(wǎng)絡(luò)層，能夠自動(dòng)關(guān)聯(lián)深層和淺層特征，提取豐富的特征信息；二是在特征提取過(guò)程中，與密集連接網(wǎng)絡(luò)的模型結(jié)構(gòu)隨著特征提取網(wǎng)絡(luò)深入，特征圖尺寸不斷變小不同，本發(fā)明的特征提取神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)不進(jìn)行降采樣處理，特征圖尺寸保持不變，從而避免了特征位置信息的丟失，最大程度保留更多特征位置信息；第三，在進(jìn)行圖像重建時(shí)，采用對(duì)稱的U 型結(jié)構(gòu)進(jìn)行高低層特征融合，使得融合圖像的信息更加豐富。搭建好模型后，利用COCO2017 數(shù)據(jù)集訓(xùn)練上述卷積神經(jīng)網(wǎng)絡(luò)模型，得到訓(xùn)練好的圖像編碼-解碼神經(jīng)網(wǎng)絡(luò)模型。

1.2 特征提取與融合重建

采用非線性灰度變換，對(duì)低曝光程度的可見光圖像0，進(jìn)行灰度變換，獲得曝光增強(qiáng)的圖像1 和圖像2。利用步驟①中訓(xùn)練好的圖像編碼模塊分別對(duì)輸入的不同曝光可見光圖像進(jìn)行特征提取，分別得到不同曝光程度的可見光圖像特征圖。直接將不同的圖像特征圖相加，得到融合特征。采用特征相加的策略，相比其他復(fù)雜的特征融合策略，算法復(fù)雜度更簡(jiǎn)單，且效果幾乎相當(dāng)。利用步驟①中訓(xùn)練好的解碼模塊對(duì)上一步得到的融合特征進(jìn)行圖像解碼重建，重建的過(guò)程中，逐漸減少輸出特征圖的數(shù)量，依次減少為64、48、32、1，同時(shí)利用對(duì)稱網(wǎng)絡(luò)，將本層的特征圖與前面的特征提取網(wǎng)絡(luò)層的特征圖疊加，盡可能多地恢復(fù)更多的圖像信息，得到最終的融合輸出圖像。

2 融合方法實(shí)驗(yàn)

本文首先參考了紅外-可見光異源圖像融合的方法，特征提取和圖像重建部分直接采用了該論文中提供的模型權(quán)重。因此模型訓(xùn)練部分不再贅述。

2.1 多曝光圖像獲取

采用某次夜間任務(wù)A 的圖像，對(duì)其作非線性灰度變換，得到曝光增強(qiáng)后的圖像如圖3 所示，其中左側(cè)為原圖，中間為曝光增強(qiáng)，右側(cè)為再次曝光增強(qiáng)。

圖3 任務(wù)A 多曝光圖像獲取

另一次任務(wù)B 的圖像多曝光圖像圖4 所示，其中左側(cè)為原圖，中間為曝光增強(qiáng)，右側(cè)為再次曝光增強(qiáng)。

圖4 任務(wù)B 多曝光圖像獲取

2.2 多曝光圖像融合

分別進(jìn)行特征提取，再進(jìn)行特征融合，圖像重建如圖5、圖6 所示，其中左側(cè)為原圖。

圖5 任務(wù)A 多曝光融合圖像

圖6 任務(wù)B 多曝光融合圖像

從實(shí)驗(yàn)結(jié)果可以看出，多曝光融合的圖像相對(duì)于原圖，能夠表達(dá)更多圖像細(xì)節(jié)，增強(qiáng)效果顯著。

3 總結(jié)

本文針對(duì)可見光動(dòng)態(tài)范圍提升問題，提出一種多曝光圖像融合方法。首先，針對(duì)圖像特征提取，采用一種基于密集連接思想的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取，能夠提取豐富的特征信息；其次，在特征提取過(guò)程中，與其他圖像分類的神經(jīng)網(wǎng)絡(luò)持續(xù)降采樣做法不同，本文提出的特征提取網(wǎng)絡(luò)模型不進(jìn)行降采樣處理，保持特征圖的分辨率不變，從而避免了特征位置信息的丟失；第三，在進(jìn)行圖像重建時(shí)，采用對(duì)稱的U 型結(jié)構(gòu)進(jìn)行高低層特征的融合，使得融合圖像的信息更加豐富；最后，在選取特征融合策略時(shí)，不需要復(fù)雜的設(shè)計(jì)，直接選擇的簡(jiǎn)單的特征相加就能達(dá)到較好的融合效果。實(shí)驗(yàn)表明，本文提出的方法能在一定程度上提升可見光圖像的動(dòng)態(tài)范圍，獲取更高質(zhì)量的成像，具有一定的參考價(jià)值。