楊植凱，卜樂平，王 騰，歐陽繼能

(海軍工程大學(xué) 電氣工程學(xué)院，湖北 武漢 430033)

1 引 言

隨著深度學(xué)習(xí)的發(fā)展，基于深度卷積神經(jīng)網(wǎng)絡(luò)(Deep Convolutional Neural Networks，DCNN)的火災(zāi)識別方法得到大量應(yīng)用。而深度學(xué)習(xí)的方法依賴于訓(xùn)練集的樣本的數(shù)量和質(zhì)量。正樣本(火災(zāi)視頻)與負(fù)樣本(背景干擾)不均衡會影響到深度神經(jīng)網(wǎng)絡(luò)識別的準(zhǔn)確率[1]。由于受到安全限制，很多場景下，如廠房、倉庫、辦公室等場所無法直接點火采集火災(zāi)視頻數(shù)據(jù)或測試火災(zāi)監(jiān)控模型。而由固定的試驗場所采集的數(shù)據(jù)則存在背景、干擾情況單一的缺陷。以上限制造成數(shù)據(jù)集中正樣本(不同背景下的火災(zāi)視頻)數(shù)量偏少，正負(fù)樣本不平衡，限制了深度學(xué)習(xí)火災(zāi)識別算法的作用和效果。

為解決數(shù)據(jù)不平衡的問題，Kisantal等設(shè)計了多次復(fù)制小目標(biāo)圖像的數(shù)據(jù)增廣(Data Argument， DA)方法以增加數(shù)據(jù)集中小目標(biāo)圖像的數(shù)量[2]。與常見的目標(biāo)檢測數(shù)據(jù)集不同，火焰沒有明顯的分割邊緣。并且當(dāng)火焰燃燒時自身產(chǎn)生的煙霧以及周圍物體的顏色都會發(fā)生相應(yīng)變化，這些因素都限制了火焰在場景中的提取與復(fù)制，同時限制了對火焰圖像的增廣?；诖耍疚奶岢鲆环N將火焰與場景相融合的方法。該模型滿足火焰數(shù)據(jù)增廣的三個要求：第一是火焰的多樣性即生成的火焰形狀、顏色等特征多樣。第二是生成圖像應(yīng)盡量具備視覺真實性，即火焰的顏色、產(chǎn)生的煙霧及其附近物體的反光等，應(yīng)符合該場景條件下的經(jīng)驗值。第三是添加火焰的區(qū)域與整體場景的拼接處應(yīng)平滑地過渡。

由于生成對抗網(wǎng)絡(luò)的應(yīng)用(Generative Adversarial Network， GAN)[3]的應(yīng)用，圖像轉(zhuǎn)換領(lǐng)域快速發(fā)展并取得了良好效果，本文任務(wù)由圖像轉(zhuǎn)換(Image-to-Image translation， I2I)完成。雖然目前已有多種不同功能的圖像轉(zhuǎn)換網(wǎng)絡(luò)結(jié)構(gòu)。比如，超分辨率重建[4-5]， 語意合成[6-7]， 圖像增強[8-9]及 圖像編輯[10-12]等。但以上應(yīng)用中并沒有適用于解決本文問題的方法。一方面，傳統(tǒng)I2I方法的一個常見的限制是它們的確定性輸出[5，7]。受到Gaty[13]的啟發(fā)，文獻(xiàn)[14-16]將圖像信息分解為兩部分：內(nèi)容信息和風(fēng)格信息。其中內(nèi)容信息包含了圖像潛在的空間結(jié)構(gòu)、形狀等在圖像轉(zhuǎn)換過程中需要保留的信息。而風(fēng)格信息包含了紋理、顏色以及其他在轉(zhuǎn)換中需要改變的信息等。但對同一個輸入，這類方法只能得到一個固定的輸出，無法滿足在同一場景下火焰多樣性的要求。

另一方面，雖然BicycleGAN[17]等多模態(tài)I2I提出在輸出和隱空間之間使用雙射變換，將圖像的風(fēng)格信息回歸為白噪聲，通過改變白噪聲改變轉(zhuǎn)換圖像的風(fēng)格，對同一圖像的轉(zhuǎn)換具有多樣性的輸出。然而噪聲形式的解纏繞表達(dá)雖然可以增加輸出的多樣性，但無法確定生成圖像的風(fēng)格。類似地，Multimodal Unsupervised Image-to-Image Translation(MUNIT)[18]將圖像的內(nèi)容信息與風(fēng)格信息分別解纏繞為隱編碼的形式，通過改變代表風(fēng)格的隱編碼得到多樣性的輸出。但這種方法生成的圖像清晰度低，而且通過編碼器自動習(xí)得的隱編碼沒有明確的含義，可解釋性差。在通過編碼器抽取圖像信息的同時，文獻(xiàn)[19-20]通過顯式編碼控制圖像生成。這些編碼有明確意義，可解釋性強。AgeGAN[19]采用了與InfoGAN[21]類似的方法，從由編碼向量生成的圖像中解纏繞出向量自身以初始化編碼器。這個向量由白噪聲以及表示年齡的條件編碼c組成，通過c在轉(zhuǎn)換階段控制所生成人臉的年齡。Ganimation[20]則使用了表示人臉表情的17維向量控制生成人臉的表情。這種由編碼形式的解纏繞表示所生成的圖像有一個明顯的缺陷，即圖像信息就壓縮至編碼的過程中會造成信息的大量丟失，由編碼重建圖像時，引起失真問題。由于以上多模態(tài)I2I方法[18-20]主要在保留人臉發(fā)色、膚色的基礎(chǔ)上重構(gòu)五官，五官形狀和背景顏色的改變是被允許的。但并不適合本文問題中保持背景細(xì)節(jié)的要求。

與編碼形式的輸入相比，可解釋性更強的方法是使用圖像輸入。文獻(xiàn)[22]將圖像中解糾纏出的人臉編碼與圖像形式的五官輪廓結(jié)合，以重組人臉表情。文獻(xiàn)[23]則使用了梯度意義的線條。Progressive Image Reconstruction Network with Edge and Color Domain(PI-REC)[24]使用色塊與五官邊緣，重建人臉。因為線條與色塊比編碼包含的信息更為準(zhǔn)確具體，使用這種圖像作為條件輸入所獲得的結(jié)果更加明確，可控性更強。

受到這種圖像形式的顯式表示方法的啟發(fā)，從信息的保留與傳遞考慮，本文設(shè)計了以火焰圖像作為條件輸入的場景遷移模型，在保證轉(zhuǎn)換圖像背景細(xì)節(jié)質(zhì)量的同時增強火焰的多樣性、可控性。同時為了便于數(shù)據(jù)集制作，本文設(shè)計了基于CycleGAN的場景遷移模型以解除非匹配數(shù)據(jù)對于模型訓(xùn)練的限制。

2 問題描述

2.1 火焰場景融合

本文目的是尋求無火場景In在火焰形態(tài)c條件下到有火場景Iyc的映射：M：(In|c)→Iyc，通過改變c達(dá)到增加火焰多樣性的目的。

由于編碼形式的信息高度抽象，因此無法包含足夠具體的信息準(zhǔn)確描述火焰的形態(tài)、位置及其與背景的關(guān)系。通過編碼器將條件c或風(fēng)格信息映射到隱編碼空間的方式會導(dǎo)致c的意義不明確，影響火焰形態(tài)的可控性。此外，以編碼形式作為生成火焰的控制條件會引起圖像其他位置的扭曲、變色，背景的細(xì)節(jié)將難以保持。

圖1 火焰場景融合示意Fig.1 Model architecture of scene and flame fusing

圖2 復(fù)雜場景下火焰分割缺陷示意Fig.2 Defect of flame segmentation in complex scenarios

考慮到以上因素，本文提出將映射M：(In|c)→Iyc中編碼形式的條件c改為圖像形式的條件cI。同時，將火焰也看作待轉(zhuǎn)換圖像的內(nèi)容信息，將cI植入場景中，覆蓋相應(yīng)位置的背景像素。其中cI來自于已有視頻中相似場景下的火焰，I(n|cI)與Iyc的差異表現(xiàn)在煙霧、物體的反光等火焰燃燒時對場景圖像的紋理和顏色所造成的改變等方面，這些可以看作風(fēng)格信息。I(n|cI)則以圖像形式完整包含了著火場景中的內(nèi)容信息如火焰的位置、形態(tài)和背景等，以明確的內(nèi)容信息為基礎(chǔ)進(jìn)行圖像轉(zhuǎn)換，將遷移的火焰與場景相融合，從而避免因修改內(nèi)容信息而引起生成圖像失真。最終本文火焰場景融合方法的數(shù)學(xué)表示為映射M：I(n|cI)→Iyc，其流程如圖1所示。

2.2 循環(huán)一致性對抗網(wǎng)絡(luò)與非匹配數(shù)據(jù)集

圖3 匹配與非匹配數(shù)據(jù)集Fig.3 Paired and unpaired datasets

一般情況下，樣本的多樣性越高，訓(xùn)練的網(wǎng)絡(luò)模型處理復(fù)雜情況的穩(wěn)定性越好。但數(shù)據(jù)集的制作難度隨著場景的復(fù)雜程度增長：當(dāng)火焰附近存在與火顏色相近的物體時；或在低光照條件下，光滑表面反射的火光與火焰顏色相似，都將難以從場景中分割出火焰(如圖2紅圈所示，彩圖見期刊電子版)。如圖4所示，為了降低數(shù)據(jù)制作的難度，本文在制作數(shù)據(jù)集時，將相同光照條件下由簡單場景下分割出的火焰cI移植到復(fù)雜場景中作為I(n|cI)；而將復(fù)雜場景中真實的火焰燃燒圖像作為Iyc，通過CycleGAN結(jié)構(gòu)訓(xùn)練圖像轉(zhuǎn)換網(wǎng)絡(luò)。

圖4 復(fù)雜場景下數(shù)據(jù)集制作示意Fig.4 Dataset production in complex scenarios

3 基于CycleGAN的場景遷移網(wǎng)絡(luò)結(jié)構(gòu)

3.1 模型整體結(jié)構(gòu)

圖5 網(wǎng)絡(luò)整體結(jié)構(gòu)Fig.5 Overall structure of network

由于循環(huán)一致性對抗網(wǎng)絡(luò)形成了鏈狀的映射結(jié)構(gòu)，訓(xùn)練中無法清晰地界定G與F的映射關(guān)系。為了G與F學(xué)習(xí)到準(zhǔn)確的映射關(guān)系，本文引入了同一映射損失，即當(dāng)G與F各自將目標(biāo)圖像域中的圖像仍然映射至各自的目標(biāo)圖像域中時，目標(biāo)圖像在轉(zhuǎn)換后應(yīng)與轉(zhuǎn)換前保持一致。

3.2 生成器

本文的兩個生成器G與F都使用了相同的結(jié)構(gòu)，其結(jié)構(gòu)如圖6所示。為了避免背景在轉(zhuǎn)換過程中產(chǎn)生形變采用了U-net[25]結(jié)構(gòu)。U-net在編碼器和解碼器層與層之間具有跳躍連接，可以很好地避免輸出圖像模糊和扭曲。除此之外，注意力機制也被引入，用以提升火焰與場景融合的效果。

圖6 生成器模型結(jié)構(gòu)

Fig.6 Model structure of generator

3.3 注意力機制

不同于常見的圖像轉(zhuǎn)換任務(wù)，火焰場景遷移只需要對火焰及其周圍進(jìn)行相應(yīng)轉(zhuǎn)換。通過訓(xùn)練，注意力機制可以對感興趣區(qū)域產(chǎn)生高度響應(yīng)，從而有針對性地提升生成圖像的質(zhì)量。目前注意力機制可以根據(jù)情況和自身功能加載在生成器的前端[26]、中間[27]和末端[20]。為使最終生成的圖像與場景的拼接可以更加自然，本文采用了圖像遮罩[28]的方式融合轉(zhuǎn)換前圖像I(n|cI)與轉(zhuǎn)換后圖像If，并采用GANimagtion[20]中的方式訓(xùn)練注意力層。

圖像遮罩可以表示為式(1)：

(1)

注意力損失函數(shù)為：

(2)

(3)

(4)

其中：A=G(I(n|cI))，B=F(Iyc)，Ai，j，Bi，j表示圖像矩陣A或B中第i行第j列的元素值。

3.4 判別器

由于圖像的轉(zhuǎn)換區(qū)域集中在火焰附近，因此本文的兩個判別器DC和DF都使用了PatchGAN[6，29]的判別器結(jié)構(gòu)。這種結(jié)構(gòu)不是對圖像的整體進(jìn)行真實性評價，而是將整體圖像分為N×N的小區(qū)域，分別判斷每個區(qū)域的真實性。除了最后一層卷積層，每層卷積層之后都伴隨有Leaky ReLU[30]激活層。通過Sigmoid函數(shù)將最后的輸出歸一化。判別器的結(jié)構(gòu)如圖7所示。

圖7 判別器模型結(jié)構(gòu)Fig.7 Structure of discriminator

3.5 損失函數(shù)

循環(huán)一致性損失：

(5)

其中：

(6)

(7)

同一映射損失：

(8)

其中：

(9)

(10)

對于生成器G與判別器D，本文使用了訓(xùn)練過程相對穩(wěn)定的Least Squares GAN(LSGAN)[31]作為對抗性損失。對于生成器的輸入z與目標(biāo)圖像x，有：

(11)

(12)

本文采用常用設(shè)置：a=0，c=1，b=1。

因此生成器G與判別器DG的損失函數(shù)分別為：

(13)

(14)

而生成器F與判別器DF的損失函數(shù)分別為：

(15)

(16)

最終對抗性損失為：

(17)

訓(xùn)練整個網(wǎng)絡(luò)的聯(lián)合損失函數(shù)為：

(18)

本文設(shè)置λ1=5，λ2=0.5，λ3=1，λ4=10-5。

4 實驗與結(jié)果分析

4.1 數(shù)據(jù)集和訓(xùn)練細(xì)節(jié)

本文在倉庫場景下錄制了20段視頻，并記錄了光照強度。本文實驗參考倉庫的照度標(biāo)準(zhǔn)，絕大多數(shù)視頻的環(huán)境光照強度在50～400 Lux之間。以此為基礎(chǔ)，分別制作了火焰圖像數(shù)據(jù)集cI以及燃燒場景數(shù)據(jù)集Iy。

最終從16段視頻中分別選用800張I(n|cI)和Iy圖像用于訓(xùn)練。從另外4段視頻中選取100對用于測試。對于難以分割火焰圖像的復(fù)雜場景，本文從相同光照條件下的簡單場景中分割出火焰cI植入復(fù)雜場景相同位置作為I(n|cI)，而將實際錄制的復(fù)雜場景中的燃燒圖像作為Iyc。對于簡單場景，則使用不同時刻的I(n|cI)與Iyc。因此，I(n|cI)與Iyc是非匹配的。

本文實驗均使用Pytorch0.4.1深度學(xué)習(xí)框架，在英偉達(dá)GPU(泰坦Pascal X)進(jìn)行訓(xùn)練。BicycleGAN，MUNIT以及本文模型都使用Adam優(yōu)化的隨機梯度下降法(Stochastic Gradient Descent，SGD)更新網(wǎng)絡(luò)參數(shù)(β1= 0.5，β2= 0.999)，學(xué)習(xí)率lr分別為0.000 2，0.000 2，0.000 1， Batchsize=1，本文模型訓(xùn)練200Epoch， BicycleGAN訓(xùn)練200Epoch， MUNIT訓(xùn)練400Epoch分別達(dá)到穩(wěn)定的結(jié)果。

AgeGAN使用Adam優(yōu)化的SGD(β1= 0.5，β2= 0.999)， 學(xué)習(xí)率lr=0.001， Batchsize=32，訓(xùn)練200Epoch達(dá)到穩(wěn)定的結(jié)果。

4.2 評價方式

本文通過消融實驗對模型結(jié)構(gòu)進(jìn)行評價及分析；通過與BicycleGAN、MUNIT等相關(guān)模型的比較對火焰遷移模型進(jìn)行定性評價；通過FID(Fréchet Inception Distance)[32-33]和Learned Perceptual Image Patch Similarity(LPIPS)[34]兩個接近人類視覺的評價指標(biāo)對圖像質(zhì)量進(jìn)行定量評價。

Fréchet距離用于衡量兩個高斯分布的差異，F(xiàn)ID計算兩個圖片集在InceptionNet[35]各層間響應(yīng)的Fréchet距離衡量兩組圖像的差異。

(19)

對不斷增加的干擾而言，F(xiàn)ID的測試結(jié)果與人類的判斷相一致。與IS[36]相比，F(xiàn)ID對噪聲的抵抗能力較強，對模型坍塌更加敏感。較低的FID意味著較高的圖片質(zhì)量和多樣性。

LPIPS 通過計算生成圖像與實際圖像映射在預(yù)訓(xùn)練的DCNN特征空間的距離評價生成圖像與實際圖像的相似度。LPIPS也展示出了與人類視覺相似的評價體系，與傳統(tǒng)的圖像相似度度量方法不同[37]，感知相似度對噪聲更不敏感，對模糊更敏感。LPIPS值越小，生成圖像在人類感知上越接近真實圖像。LPIPS可以表示為：

(20)

本文取測試圖像的均值：

(21)

4.3 消融實驗

4.3.1 模型作用評估

在第1節(jié)中討論了圖像形式的條件cI在圖像轉(zhuǎn)換上的不同影響。圖8(f)展示出本文的方法具有保持背景圖像質(zhì)量和增強火焰真實性的優(yōu)點，這一優(yōu)勢同樣在圖8(e)和圖8(g)中有所體現(xiàn)。圖8(f)給出了本文模型的轉(zhuǎn)換結(jié)果，它對移植了火焰的場景進(jìn)行轉(zhuǎn)換(圖8(d))。圖8(a)給出了相同結(jié)構(gòu)下，使用場景進(jìn)行轉(zhuǎn)換得到的結(jié)果，可以看出它只會生硬地添加火焰圖像。

另一方面，直接對圖像進(jìn)行轉(zhuǎn)換而不是通過編碼重建圖像的方式也便于選擇帶有跳躍連接的生成器以維持背景圖像的清晰度。與圖8(f)相比，通過編碼器-解碼器(Encoder-Decoder)[14]方式生成的圖像(圖8(g))背景顏色改變較大，說明U-net在維持背景方面具有優(yōu)勢。

圖8 消融實驗結(jié)果對比Fig.8 Result comparison of ablation experiment

4.3.2 注意力機制評估

在沒有注意力結(jié)構(gòu)的情況下，本文的模型采用了圖像翻譯過程中最簡單的方法，即接近一致地改變輸入背景的顏色(圖8(e))。而采用注意力結(jié)構(gòu)的生成器將背景顏色的改變限制在火焰的附近(圖8(f))，使結(jié)果更加真實?？梢韵嘈?，隨著數(shù)據(jù)集的擴充和訓(xùn)練的進(jìn)行，這種能力會得到更大提升。

圖9 場景光照強度對注意力的影響Fig.9 Scene illumination intensity effects on attention mechanism

4.4 遷移圖像與環(huán)境的關(guān)系

4.4.1 光照強度對遷移效果的影響

本文將不同光照強度下拍攝的火焰遷移至同一場景中以分析火焰顏色特征對轉(zhuǎn)換效果的影響。圖11中火焰內(nèi)核圖像取自于圖10所示場景。圖10中場景光照強度從左到右分別為78、140、180、400、1 500 Lux。而圖11中3個場景的光照強度分別為186、50、32 Lux。

圖10 火焰內(nèi)核來源，圖像下方為場景光照強度Fig.10 Sources of fire kernel， labels below each figure is illumination intensity of the scene

圖11 不同光照強度下火焰的遷移結(jié)果(火焰內(nèi)核來自于圖9)Fig.11 Migration results of flame recorded at different illumination intensity(fire kernels taken from Fig.9)

可以看出，火焰在地面的反射光幾乎不受遷移場景光照強度的影響，而是與火焰內(nèi)核的顏色相關(guān)。火焰亮度越高，遷移進(jìn)場景地面反射光越強烈。并且，由于32 Lux的場景中地面的灰度值最低，轉(zhuǎn)換圖像的地面反光是這3個場景中最強的。當(dāng)場景光照強度達(dá)到400 Lux時，無論是真實圖像還是轉(zhuǎn)換圖像，火焰附近都難以看到地面的反光。從圖11可以看出，在同樣的場景中，火焰面積越大，地面的反光越強，這說明除了火焰顏色，火焰面積也是控制轉(zhuǎn)換結(jié)果的一個條件因素。因此可以推斷出本文的模型主要是根據(jù)火焰的顏色特征和火焰附近背景的灰度值而補充相應(yīng)的反射和火焰的邊緣。這是符合常識和預(yù)期的，因為攝像機的光圈會自動調(diào)整曝光以適應(yīng)不同的光照強度，因此場景圖像不會因為光照強度變化顯示出非常大的區(qū)別。而火焰的明度通常在一個固定的區(qū)間內(nèi)，因此不同曝光下的火焰圖像呈現(xiàn)出不同的顏色特征。

4.4.2 風(fēng)對遷移效果的影響

當(dāng)環(huán)境中有風(fēng)時，火焰受風(fēng)的影響幾何中心發(fā)生偏移。相應(yīng)地，火焰在地面反光的中心也會隨之偏移。圖12選取了3張因風(fēng)吹而偏移中心位置的火焰(圖12(a))，將其遷移至4個不同場景之中(圖12(b)～圖12(e))?？梢钥闯?，4個場景的火焰遷移結(jié)果都體現(xiàn)出這一改變。因為訓(xùn)練集中絕大部分圖像火焰下方位置是盛放燃油的油盤，而遷移場景在該位置缺少油盤，圖像轉(zhuǎn)換網(wǎng)絡(luò)無法對該區(qū)域做出合理轉(zhuǎn)換，因此圖12(d)和圖12(e)效果略差。

圖12 風(fēng)對室內(nèi)火焰場景遷移的影響

Fig.12 Wind effects on scene migration of indoor flame

4.5 與其他方法的比較

在圖13中，本文將MUNIT，AgeGAN，BicycleGAN以及本文方法用于火焰與場景融合的效果進(jìn)行了定性比較。其中，對MUNIT和BicycleGAN分別使用了場景(bg)和移植了火焰的場景(ip)兩種圖像作為待轉(zhuǎn)換圖像進(jìn)行訓(xùn)練。本文的模型在火焰真實性和背景分辨率保持方面都優(yōu)于最先進(jìn)的方法?？傮w來說，MUNIT，AgeGAN及BicycleGAN顯示出了使用隱式編碼表示圖像的缺陷，而且使用移植了火焰的場景(ip)作為待轉(zhuǎn)換圖像所得結(jié)果優(yōu)于將場景(bg)作為輸入。在僅用場景作為輸入的結(jié)果中，BicycleGAN(圖13(a))只能生硬地向場景圖像中添加火焰，而MUNIT(圖13(b))及AgeGAN(圖13(c))則無法描述火焰位置。并且這種生硬的映射改變了圖像的內(nèi)容信息，導(dǎo)致轉(zhuǎn)換圖像背景的大面積失真。

盡管通過向場景移植火焰以完善待轉(zhuǎn)換圖像的內(nèi)容信息，但是BicycleGAN中固定長度為8的樣式向量不能包含足夠的信息來完美地表示圖像風(fēng)格，最終導(dǎo)致圖像中出現(xiàn)不均勻的色塊(圖13(e))。同樣， MUNIT提取的固定長度風(fēng)格及內(nèi)容向量不能包含足夠的信息保證重建圖像的分辨率(圖13(d))。簡單地增加向量的長度對于背景分辨率的保持是徒勞的。在這一點上，本文的模型不僅輸入具有明確的內(nèi)容空間，可以準(zhǔn)確地描述畫面結(jié)構(gòu)，而且生成器中的跳躍連接可以將圖像的背景的分辨率保持在較高質(zhì)量(圖9(b))。各主要相關(guān)方法的關(guān)鍵差異見表1。

表1 本文及相關(guān)方法的主要性能比較

圖13 AgeGAN、MUNIT及BicycleGAN用于火焰遷移的結(jié)果比較

Fig.13 Comparison between AgeGAN， MUNIT and BicycleGAN used for fire migration

4.6 質(zhì)量評價

本文對比了MUNIT，BicycleGAN，AgeGAN以及本文模型在重建的場景圖像與實際場景圖像間的FID與LPIPS值。其中，MUNIT和BicycleGAN分別使用了單純的背景(bg)和植入了火焰的背景(ip)作為待轉(zhuǎn)換圖像。從表2可知，單純的背景輸入(BicycleGANbg，MUNITbg，AgeGAN)所得結(jié)果在FID與LPIPS值上與植入火焰的背景(BicycleGANtp，MUNITtp，Ours)差距明顯，側(cè)面反映了圖像形式的條件輸入在處理本文問題上所具有的優(yōu)勢。與BicycleGANtp和MUNITtp相比，用本文模型重建的圖像的FID與LPIPS值是最小的，分別為119.6和0.134 2，說明同樣以植入了火焰的背景作為輸入的情況下，本文模型火焰場景遷移問題上仍然優(yōu)于BicycleGAN與MUNIT。

表2 不同模型的FID與LPIPS

4.6 討 論

不同于常見的圖像轉(zhuǎn)換，本文問題聚焦于火焰周圍圖像而不是整體圖像的風(fēng)格變化。因此本文選擇添加注意力層以限制圖像轉(zhuǎn)換的區(qū)域。雖然注意力結(jié)構(gòu)的使用提升了火焰場景融合的效果，可以更加準(zhǔn)確地在火焰附近的地面添加火光倒影，但無法完全達(dá)到人類經(jīng)驗和邏輯水平。一定程度上，由于火焰根部的儲油盤是黑色的，吸收了大量的可見光，無法顯示出I(n|cI)與Iyc的差異，影響了學(xué)習(xí)的效果。另外由于存在拍攝距離、角度、背景亮度和火焰大小等干擾因素，相同光照強度下所拍攝火焰的亮度以及地面反光存在差異?？傮w而言，場景環(huán)境中光照強度高，火焰圖像顏色偏黃，地面的火焰反射光越淡；光照強度低，火焰圖像顏色偏青，地面的火焰反光越明顯。轉(zhuǎn)換模型能夠根據(jù)經(jīng)驗，依據(jù)火焰顏色、面積以及場景的顏色向圖像中添加火焰虛化的邊緣和地面的反光。

5 結(jié) 論

本文提出了一種新的室內(nèi)火焰燃燒圖像的場景遷移方法。該方法基于循環(huán)一致性生成對抗網(wǎng)絡(luò)并添加了注意力結(jié)構(gòu)以提升效果，通過遷移其它視頻中的火焰圖像在未點火場景中生成火焰，目前該領(lǐng)域尚未有人做出相關(guān)研究。從信息的保留與傳遞考慮，該方法以顯式的圖像形式取代隱式的編碼以表示火焰形態(tài)，在改善火焰的可控性和生成圖像的真實性，以及維持轉(zhuǎn)換圖像高質(zhì)量的背景細(xì)節(jié)方面取得了良好的表現(xiàn)。實驗表明，與BicycleGAN、MUNIT以及AgeGAN等采用編碼方式控制圖像生成的方法相比，本文方法改善了控制條件的可解釋性從而提升了火焰形態(tài)的可控性，并且取得了相對逼真的效果。通過在測試集上使用FID和LPIPS兩個接近人類視覺的評價方式對轉(zhuǎn)換結(jié)果的打分顯示，本文方法所得結(jié)果最為真實，其分值分別為119.6和0.134 2。在一定程度上，這項工作可以用來制作和增廣危險場合下的火焰燃燒圖像及訓(xùn)練集。