梁 曉，王妮婷，王靜雯，歐陽嬌

西南石油大學 計算機科學學院，成都 610500

全局光照（global illumination，GI）繪制是計算機圖形學的重要研究問題之一。經典的全局光照繪制采用物理模擬的方法，對場景中的三維幾何、表面材質、光源、攝像機等建立具有物理真實度的模型，并模擬光照傳輸過程，最終捕獲經多次反射、折射后進入視點的光能。由于能夠產生照片級真實感圖片，該方法廣泛用于動畫與電影特效制作、視覺設計、數(shù)字娛樂領域。然而，物理繪制計算開銷昂貴。以蒙特卡洛路徑跟蹤算法[1]為例，需要在每個像素投射至少上萬條光線用于跟蹤模擬，才能獲得一幅近似收斂的繪制結果，這使得繪制的時間開銷高達數(shù)十秒；而一旦減少跟蹤光線的數(shù)目，將產生大量噪點，極大降低了視覺感受。因此，在保持畫面真實感的前提下，減小繪制計算代價，是目前全局光照繪制的主要挑戰(zhàn)。

近年來，卷積神經網(wǎng)絡（convolutional neural networks，CNN）[2]以及生成對抗網(wǎng)絡（generative adversarial network，GAN）[3]作為圖像生成模型，在圖像降噪、高分辨率圖像生成、語義識別等領域獲得了廣泛關注和巨大成功。其核心是，在大量的觀察樣例中理解圖像先驗，隱式地學習真實數(shù)據(jù)分布模型并用于生成圖像。受此啟發(fā)，研究者們提出基于神經網(wǎng)絡的全局光照圖像降噪重建[4-6]。但是，降噪重建方法需要物理繪制產生噪聲圖像作為重建基礎，具有不可忽略的計算成本和開銷。并且降噪網(wǎng)絡始終受到輸入圖像噪聲水平的限制，一旦輸入的SPP過低，重建質量將急劇下降。

圖像生成的核心之一是學習圖像的隱式表示[7]。然而，自然圖像與全局光照圖像所蘊含的特征不同，前者側重呈現(xiàn)各類紋理，而后者對用戶視覺感知貢獻最強烈部分是光照與材質的交互，如全局漫反射、鏡面反射、高光等。因此，兩類圖像具有不同的結構，其隱式表示及學習方法也應該有差異。若能抽象地建立光照傳輸及其與材質交互行為的表示，并編碼到網(wǎng)絡模型中，可避免代價昂貴的光照物理建模和計算過程。然而，光路傳輸行為極為復雜，光能在最終映入視點前會與場景連續(xù)地產生多次漫反射、鏡面反射，在兩類反射作用下新產生的光的強度、方向、顏色等具有不同的物理描述，這使得使用單一的模型難以有效表達全局光照。

為此，本文提出一種新的基于生成對抗模型和光路分解的全局光照深度繪制網(wǎng)絡，將全局光照分解為鏡面反射和漫反射兩部分，分別設計自編碼器GAN 獨立地學習和推理各路光照，最后合成最終圖像。根據(jù)不同光照分支的特性，選擇特定、高相關性、計算廉價的圖形輔助屬性為主要輸入，避免以物理繪制生成的噪聲全局光照圖像為輸入，計算成本更小，且訓練過程更高效、更有針對性?？紤]到鏡面反射光照生成中受非局部區(qū)域特征影響的特點，設計多尺度融合模塊以在更大的感受野中自適應地提取有效特征。同時，使用混合損失函數(shù)穩(wěn)定地生成圖像。通過廣泛的實驗證明，本文框架與設計選擇能夠有效地保留全局光照圖像中更多的高頻細節(jié)。

1 相關工作

物理繪制包括了蒙特卡洛路徑跟蹤[1]、輻射度算法[8]及光子映射[9]等成熟的繪制框架，能夠產生各類光照逼真的圖像，但昂貴的計算開銷始終是瓶頸。近年來，使用基于圖像空間降噪和圖像生成模型來重建全局光照圖像的工作得到了大量關注和發(fā)展，本節(jié)分別介紹這兩方面內容。

1.1 基于圖像空間的降噪

圖像空間降噪的基本原理是，對像素間的距離建立某種模型，搜索結構相似的像素值來恢復損失像素。傳統(tǒng)圖像過濾方法有雙邊濾波[10]、非局部均值濾波[11]、BM3D以及基于直方圖的度量距離的降噪[12]等。隨后，研究者提出了一階、高階等線性和非線性降噪方法。He等人[13]提出引導圖濾波方法，假設像素與輔助圖像具有線性關系，并使用邊緣特征圖引導過濾噪聲圖像，有效地避免了邊緣模糊問題。受此啟發(fā)，Bauszat等人[14]用具有幾何結構的法線圖作為引導，過濾間接全局光照圖。Bitterli等人[15]提出非線性局部加權回歸重構圖像，提高了圖像質量但增加了計算復雜性。

近年來，數(shù)據(jù)驅動的繪制得到了快速發(fā)展，研究者提出了基于神經網(wǎng)絡的全局光照圖像降噪重建。Kalantari等人[16]首次使用具有三層感知機的神經網(wǎng)絡生成過濾核參數(shù)。Bako 等人[5]使用卷積神經網(wǎng)絡KPCN（kernelprediction convolutional network）產生鏡面反射和漫反射的自適應過濾核，再用于全局光照噪聲圖像的過濾，產生了逼真結果。Vogels 等人[17]在Bake 等人研究的基礎上增加了時域特征提取模塊和一系列非對稱損失函數(shù)。Chaitanya 等人[4]提出一種交互式全局光照降噪網(wǎng)絡RNN-AEMC，在自編碼網(wǎng)絡中嵌入RNN（recurrent neural network）[18]模塊來平滑幀間不穩(wěn)定性，最終以交互式幀率產生平滑的圖像序列。

本文與降噪方法不同之處在于，本文方法不再以基于物理繪制的帶噪全局光照圖像為輸入，而是通過學習光照傳輸表示來重建圖像，使得網(wǎng)絡不再受圖像噪聲水平的限制，影響重建質量。

1.2 圖像生成模型

Goodfellow 等人提出生成對抗網(wǎng)絡（GAN）[3]。其中，生成網(wǎng)絡盡量學習真實數(shù)據(jù)分布以生成能欺騙判別網(wǎng)絡的數(shù)據(jù)，判別網(wǎng)絡則盡量正確地判別輸入數(shù)據(jù)是來自真實數(shù)據(jù)還是生成數(shù)據(jù)。通過極大極小博弈，GAN在圖像生成領域取得了矚目的成果。

原始GAN 從噪聲中生成圖像，用戶無法有效控制輸出。為進一步約束生成內容，條件GAN 引入條件變量使生成網(wǎng)絡的表現(xiàn)能力得到增強。Isola 等人[19]提出一種條件生成式對抗網(wǎng)絡Pix2Pix，通過在判別網(wǎng)絡添加額外限制（例如物體輪廓）作為圖像生成的重要條件。Wang 等人[20]在此基礎上提出一種coarse-to-fine 生成網(wǎng)絡以及多尺度的判別網(wǎng)絡來有條件地輸出高分辨率圖像。

近來，學習場景的抽象表示來生成渲染圖像成為新的關鍵技術點。劉曉蕓等人[21]采用徑向基函數(shù)（radial basis function，RBF）神經網(wǎng)絡擬合視點位置、光源位置和物體表面法線等與間接光照之間的非線性關系，避免了光線的多次求交，但無法有效重建復雜的渲染場景。Granskog等人[22]分解光照、材質和幾何信息用于場景表示，以多角度觀察圖像為輔助，將G-buffer 屬性轉換為具有高光和反射的渲染結果。但該方法需要保證分解后各分量的正交性，實現(xiàn)難度較大。

2 本文方法

2.1 算法框架

如圖1（a）所示，基于生成對抗模型和光路分解的全局光照繪制網(wǎng)絡（簡記為LD-GIGAN），包括生成網(wǎng)絡和判別網(wǎng)絡兩部分。生成網(wǎng)絡包含兩個獨立的自編碼網(wǎng)絡，分別是漫反射繪制網(wǎng)絡Gdiff和鏡面反射繪制網(wǎng)絡Gspec。由于漫反射和鏡面反射光照成因不同，兩個網(wǎng)絡具有不同的輸入。具體是：漫反射光照主要表現(xiàn)紋理細節(jié)、顏色等，將法線、深度和反照率拼接為每像素7通道的輸入，其中深度為1通道。鏡面反射與材質反射屬性高度相關，產生的光照依賴于視點，因此以法線、視點、深度、鏡面反射紋理、粗糙度和視錐體外幾何感知圖（geometric perception map，GPM）等作為輸入，共12 通道，其中深度、粗糙度和感知圖均為1通道。

判別網(wǎng)絡用于判斷生成網(wǎng)絡產生的是否為真實圖像。與文獻[23]類似，將生成圖像旋轉多個角度以產生增強的配對數(shù)據(jù)后再送入網(wǎng)絡判別真假，如圖1（b）。面對多樣化的樣本分布，通過增加同一分布樣本數(shù)據(jù)，有助于促進網(wǎng)絡學習到更穩(wěn)定的結果。

圖1 本文全局光照繪制框架概覽Fig.1 Overview of global illumination rendering framework

最終，將兩個分支網(wǎng)絡的生成圖像通過逐像素乘法和逐像素加法合成全局光照效果圖。下面將詳細地介紹光路分解方法、全局光照繪制網(wǎng)絡的具體實現(xiàn)以及損失函數(shù)的組成。

2.2 光路分解

研究者提出了不同的光路分解方法。圖像處理領域常利用本征圖像分解，將圖像分為反射圖和光照圖[24-25]。Bauszat等人[14]將全局光照圖像分解為直接光照和間接光照，對間接光照進行過濾重建。該方法主要恢復粗糙表面的光照反射，并未考慮光澤材質。曹天池等人[26]則基于像素聚類方法將圖像分解為漫反射和鏡面反射，結合場景深度進行光照估算，但對于高光像素較多、整體較亮的場景難以獲得準確的分解結果。本文使用與文獻[5，27]類似的光路分解思路，分為漫反射和鏡面反射兩部分。但是在真實渲染場景中，由于渲染方程的遞歸性質，光路組合十分復雜，將鏡面反射和漫反射的計算完全分離是十分困難的。權衡計算開銷和實驗效果，本文僅實現(xiàn)主光線的最近擊中點的鏡面反射和漫反射光照的分離。

進一步地，考慮到漫反射光照中紋理和光照在結構、頻率分布方面具有不同特征，將這部分再分解為輻照度（irradiance）和反照率（albedo）。光路分解及圖像融合如式（1）所示：

其中，albedodiff為漫反射反照率，為漫反射輻照度和鏡面反射分量。

2.3 全局光照繪制網(wǎng)絡

2.3.1 生成網(wǎng)絡

由于輸入與輸出具有較大的數(shù)據(jù)分布差異，若使用CNN 會由于網(wǎng)絡容量過大難以實現(xiàn)有效映射[28]。而圖像本身是低維流形在高維空間的表達，自編碼器善于將高維數(shù)據(jù)映射到低維空間，同時保留數(shù)據(jù)的顯著特征，能更有效地實現(xiàn)抽象特征之間的映射關系。本文以自編碼網(wǎng)絡為基礎，每個網(wǎng)絡均包括編碼、特征映射和解碼3 個階段，由于光照生成的差異，在編碼階段采用了不同的設計。

（1）漫反射繪制網(wǎng)絡

編碼器階段：包括4層編碼，每層對特征圖經過2次連續(xù)的非線性變換后，再進行下采樣處理。在該階段，編碼深度每增加1，特征圖的空間分辨率減小50%，但特征個數(shù)成倍增加。這樣設計的目的是保留空間上的重要特征，同時產生有效的高層語義特征。

特征映射階段：該階段使用卷積層對高層語義特征進行連續(xù)的非線性變換，以學習復雜的隱式光照傳輸表示。

帶跳躍連接的解碼器階段：包含與編碼器階段對應的層數(shù)。每層對特征圖進行上采樣以及連續(xù)的非線性變換，以實現(xiàn)逐層的特征映射和圖像還原。由于下采樣會產生大量信息損失，若直接在有損信息上進行上采樣，容易導致模糊的合成圖像。為此，使用跳躍連接[29]將編碼階段對應層的特征級聯(lián)到解碼器階段對應層作為信息補充，之后再對融合的特征進行解碼。

（2）鏡面反射繪制網(wǎng)絡

當場景中存在大量粗糙度低的材質，會產生高光、二次反射等大量的鏡面反射光照。相比于平緩的漫反射光照，鏡面反射受到入射光照、BRDF反射模型、視點等多種因素的影響，因此鏡面反射自編碼器相較于漫反射網(wǎng)絡，在輸入數(shù)據(jù)和編碼階段有自己獨特的設計。

首先，二次反射的成像受到視錐體內以及視錐體外的物體所反射的光照影響，而G-Buffer輔助屬性只能提供視錐體內信息，若不能在輸入提供足夠的場景信息會導致網(wǎng)絡產生不合理的光照。為此，本文采用一種視錐體外幾何感知圖（GPM）作為網(wǎng)絡輔助輸入，引導模型感知視覺錐體外的場景，以推理產生合理的光照圖。GPM 是灰度圖，每個像素編碼了視錐體外物體與視錐體內可見物體之間歸一化的歐式距離，其產生過程是：從視點位置向3D場景發(fā)射一條虛擬光線r,r穿過的屏幕像素記為P。若r與物體相交，交點為可見點并記為M，繼續(xù)從點M引出鏡面反射光線r′；若r′與物體相交，記交點為N，將MN的歐式距離記為點P的GPM值。掃描完所有屏幕像素后，將所有非0距離歸一化到0 到1 范圍內，從而產生GPM 灰度圖。若視點發(fā)生變化，同一可見點對應的N點也會改變，需要提供新的GPM。以上信息獲取方便，并且能夠確保提供正確的場景感知信息，這對產生合理的光照非常重要。雖然降噪網(wǎng)絡不需要采集此類信息，但需要使用物理繪制引擎產生噪聲圖像。與其相比，本方法的輸入計算代價更小。

其次，鏡面反射光照需要提取不同尺度感受野下的特征，以獲得空間上更全局的結構信息；而傳統(tǒng)卷積層僅能產生單一感受野范圍的特征。為此在編碼器采用一種多尺度特征融合模塊（multi-scale feature fusion block，MSFFB），如圖2（a）所示。即在編碼階段的每一層中，同時使用兩種尺度為3×3和5×5的卷積核，再使用concatenate操作來融合不同尺度特征，之后級聯(lián)到解碼階段對應層。

2.3.2 判別網(wǎng)絡

判別網(wǎng)絡是一個典型的卷積神經網(wǎng)絡，如圖2（b）所示，由連續(xù)的卷積層組成，卷積核為3×3，每個卷積層接Leaky ReLU 函數(shù)和Batch Normalization；卷積核數(shù)目在步長為1 和步長為2 的卷積后成倍增加；網(wǎng)絡最后為一個一維、sigmoid 激活的全連接層。在傳統(tǒng)判別網(wǎng)絡基礎上，本文增加了特征損失以及旋轉損失。

圖2 全局光照繪制網(wǎng)絡結構Fig.2 Global illumination rendering network structure

2.3.3 損失函數(shù)

圖像質量的判別取決人類視覺系統(tǒng)，使用單一的距離函數(shù)難以有效地描述預測圖與參考圖之間的差異。大量文獻[19，30]表明，單純使用L1或L2損失容易產生模糊的重建圖像。因此，本文利用判別網(wǎng)絡并擴展標準對抗損失函數(shù)來學習隱式的距離模型，以促進圖像重建的質量。如式（2）所示，共使用像素級損失Lpixel、特征損失Lfeat以及旋轉損失Lrotation三種函數(shù)對最優(yōu)化目標進行自適應、多角度的約束，后兩者均為對抗損失函數(shù)。

其中，γ1、γ2和γ3為超參數(shù)。

（1）像素級損失

使用L1損失來描述預測圖與參考圖之間的逐像素差異，相對于L2損失，L1損失對異常值更穩(wěn)定。若用y表示參考圖，Lpixel可表示為：

（2）增強的對抗損失

首先，為彌補像素級損失的不足，使用特征損失在多個抽象層描述預測圖與目標圖之間的差異。具體是，利用判別網(wǎng)絡的特征提取功能產生預測圖和目標圖在多個中間層的抽象表示，并用L1距離來描述兩者之間的差異。該損失可描述為：

其中，D為判別網(wǎng)絡，Dj為網(wǎng)絡的第j層特征提取結果，Cj、Hj和Wj為第j層特征表示的通道數(shù)、高度和寬度，βj為第j層特征的比例系數(shù)。這種損失描述了預測圖與目標圖在多個層次抽象表示的差異，能夠促進生成網(wǎng)絡在多個尺度上生成更符合目標的統(tǒng)計數(shù)據(jù)，進而產生逼真圖像。

其次，為增加判別網(wǎng)絡的穩(wěn)定性，將預測圖和目標圖旋轉多個角度產生擴展的真假圖像配對，送入判別網(wǎng)絡。旋轉角度集合用Rot表示，Rot={0°,90°,180°,270°},每個旋轉角度下真假圖像配對將產生一個旋轉損失，4個損失的總和為最終旋轉損失，可描述為：

3 實驗結果與分析

為了驗證方法的有效性和合理性，進行了如下實驗。首先，將本文方法與基線網(wǎng)絡進行比較。其次，分別從光路分離方法、網(wǎng)絡收斂性以及混合的損失函數(shù)等方面來驗證網(wǎng)絡結構的有效性。最后，分析方法局限性。

3.1 數(shù)據(jù)集及實現(xiàn)細節(jié)

3.1.1 數(shù)據(jù)集

基于數(shù)據(jù)驅動的繪制網(wǎng)絡需要大量的訓練數(shù)據(jù)來提取合成時所需特征，同時避免過擬合。本文使用Bistro[31]、Sun Temple[32]、Zero Day[33]等NVIDIA ORCA 三維室內場景作為主要的三維場景，此外，還包括Pink Room、Sponza、Living Room 等常用的圖形虛擬場景。這些場景具有豐富的光照條件、不同的表面材質和各類幾何形狀，極具代表性。

數(shù)據(jù)集產生的方法如下：使用基于DirectX Raytracing（DXR）的路徑跟蹤方法漫游場景，每隔一定時間步長保存<圖形輔助屬性集合，漫反射目標圖像，鏡面反射目標圖像，視錐體外幾何感知圖>數(shù)據(jù)對，最終共產生6 000對數(shù)據(jù)集，其中5 400 個數(shù)據(jù)對用于模型訓練，600 對用于模型驗證。所有圖像分辨率均為512×512。根據(jù)場景不同，目標圖像采樣率為10～30 kHz。其中，圖形輔助屬性集合直接從G-Buffer中提取，包含法線、深度、反照率、視點、粗糙度和鏡面反射紋理。為了降低走樣的輸入對合成效果的影響，圖形輔助屬性集合中的所有數(shù)據(jù)都進行8倍MSAA反走樣處理。

3.1.2 實現(xiàn)細節(jié)

本文使用Tensorflow 2.0 來實現(xiàn)網(wǎng)絡，運行平臺的GPU 為NVIDIA TITAN Xp，顯存12 GB。生成網(wǎng)絡在Bottleneck block 中添加標準的高斯噪聲，增加隨機性。同時在encoder 編碼網(wǎng)絡使用Batch Normalization層穩(wěn)定訓練，使用Leaky ReLU 激活函數(shù)（參數(shù)為0.2），僅最后一層卷積層使用tanh 激活函數(shù)?？倱p失函數(shù)的三個超參數(shù)γ1、γ2和γ3之比為2∶5∶100。在特征損失上選擇第2、4、6層產生最終特征損失，并將對應的超參數(shù)βi設置為1.5，1，1。漫反射和鏡面反射分支網(wǎng)絡均使用相同的判別網(wǎng)絡結構，但各自獨立訓練。訓練時使用自適應的Adam 算法[34]，初始學習率為2E-4，衰減率分別為0.9和0.99，批處理大小為4。每個分支在單塊TITAN Xp的GPU上訓練花費約12 h。

3.2 圖像重建質量與網(wǎng)絡性能評估

為評估圖像重建質量，與降噪網(wǎng)絡KPCN[5]和三種圖像生成網(wǎng)絡Pix2Pix[19]、RBFNet[21]、UnetGAN[20]進行對比。其中，KPCN 采用光路分離的雙分支CNN，分別獨立推理漫反射和鏡面反射的過濾核參數(shù)，再使用學習到的過濾核對含有噪聲的全局光照圖像進行降噪。Pix2Pix是以條件GAN為基礎的單分支網(wǎng)絡，使用法線、鏡面反射紋理等作為條件，端到端地合成圖像。RBFNet 方法中，使用經典的光線跟蹤算法計算直接光照，訓練有監(jiān)督的RBF網(wǎng)絡獲得間接光照的擬合函數(shù)。UnetGAN以Res-Unet作為生成器，合成高分辨率真實感圖像。

主觀感知和客觀指標對比如圖3、表1 所示。由實驗結果數(shù)據(jù)可知，本文在主觀感知和客觀指標上明顯優(yōu)于以上三種圖像生成方法，也表明在網(wǎng)絡架構、損失函數(shù)等方面增加約束，能夠有效地避免偽影圖像的產生，提高圖像質量。Pix2Pix 更傾向于生成平滑的幾何形狀，對鏡面反射重建幾乎是無效的。UnetGAN 具有復雜的損失函數(shù)作為約束，其重建效果較Pix2Pix 更為清晰。RBFNet 網(wǎng)絡受聚類中心選擇的影響，在復雜場景下，擬合函數(shù)對場景間接光照的表達能力有限，其能一定程度地重建高光輪廓，但對鏡面反射成像細節(jié)的呈現(xiàn)能力相對較弱。

圖3 與基線網(wǎng)絡對比Fig.3 Comparison with baseline networks

表1 圖像質量的客觀指標對比Table 1 Comparison of objective indicators of image quality

與同樣基于光路分離的KPCN方法相比，即使缺少了帶噪聲的全局光照繪制結果作為引導，本文仍然能夠產生與之可比較的、甚至大多數(shù)更優(yōu)的光照圖像。例如，對于Zero Day場景，本文在兩個角度的繪制效果明顯更優(yōu)。再如，Pink Room場景中紅色球體表面的各種反射結構更明晰，而KPCN存在雜色且結構并不十分規(guī)則。以上數(shù)據(jù)說明，以GPM作為引導圖，學習光照表示的方法能夠高質量地產生復雜的光照效果。

在網(wǎng)絡性能上，對512×512 分辨率的圖像，物理繪制時間約是1 min，KPCN、Pix2Pix、RBFNet、UnetGAN以及本文方法的預測時間分別是150 ms（每個分支約75 ms）、40 ms、69 ms、64 ms和96 ms（每個分支約48 ms）。本文方法和同為基于光路分解的KPCN 方法結果相近甚至更好，但由于不用對每個輸入求梯度方差，本文方法花費的預處理時間更少。其余三種方法雖推理時間相對較少，但客觀指標和圖像重建質量都明顯低于本文方法。因此，在質量和性能上進行權衡，本文方法優(yōu)于對比方法。

3.3 網(wǎng)絡結構有效性評估

3.3.1 光路分解方法

為驗證光路分解網(wǎng)絡結構的有效性，將與無光路分解網(wǎng)絡對比重建質量，并將后者簡記為nonLD-GIGAN，如圖4 所示。nonLD-GIGAN 的實現(xiàn)方式為：保留本文模型的漫反射自編碼網(wǎng)絡，采用與本文方法相同的輸入、學習率等。同時，為了保證公平性，減少兩者網(wǎng)絡容量的差異，增加了網(wǎng)絡層數(shù)和卷積核數(shù)。

由圖4 可知，本文方法能產生更逼真的高頻光照，如Pink Room 場景中茶幾、花瓶具有清晰的幾何結構，而對比方法的重建結果較模糊。同時，本文的重建結果具有更豐富的明暗變化，而不進行光路分解的方法丟失了較多反射信息，如Sun Temple 場景對墻上反射的光照的刻畫。

產生以上差異的原因是，受到網(wǎng)絡容量、網(wǎng)絡架構、數(shù)據(jù)等限制，nonLD-GIGAN 難以學習到復雜的光照傳輸表示。而本文將不同結構性的光照進行獨立地推理，本質上是在求解空間增加了約束，進一步避免了二義性，能有效地提高圖像質量，加快網(wǎng)絡收斂。圖5 是本文與無光照分離的nonLD-GIGAN在網(wǎng)絡收斂性方面的比較。

圖5 本文方法的網(wǎng)絡收斂性Fig.5 Network convergence of this paper method

同樣是基于光路分解求解鏡面反射和漫反射，KPCN和本文方法有著本質的區(qū)別。KPCN通過圖像降噪獲得過濾后的低噪圖像，受輸入圖像的噪聲水平影響較大。圖6展示了分別選擇16 spp和32 spp圖像作為輸入的分量降噪效果?？梢园l(fā)現(xiàn)降低輸入圖像的采樣數(shù)導致難以恢復光澤表面的高頻細節(jié)，如Living Room的鏡面反射分量，同時，其漫反射分量也一定程度地發(fā)生了顏色偏移。本文方法通過求解各圖形屬性與兩個分量的非線性關系來獲得高質量全局光照圖像，在金屬高光和鏡面成像細節(jié)上優(yōu)于32 spp KPCN，而漫反射分量求解簡單，兩方法效果無明顯差別。

圖6 鏡面反射和漫反射分量圖像質量對比Fig.6 Comparison of image quality of specular and diffuse components

KPCN使用兩個相同的CNN作為降噪網(wǎng)絡，網(wǎng)絡規(guī)模和參數(shù)量更少，但是收斂速度慢，訓練時間約為本文方法的1.5倍。

3.3.2 多尺度融合模塊

正如第2.3.1 小節(jié)所提到，由于漫反射光照特征表現(xiàn)的平緩性，而鏡面反射光照受反射模型、視點等多種因素影響，需要更多的全局信息來重建復雜的鏡面反射和高光等特效。本文僅針對鏡面反射分支設計多尺度特征融合模塊（MSFFB）。

為了證明MSFFB 模塊的有效性，圖7 展示了是否添加MSFFB模塊的生成圖像與參考圖像的對比。在傳統(tǒng)的跳躍連接中增加MSFFB 模塊，生成圖像的瓶身反射成像清晰，邊緣分明，與不使用MSFFB 相比，質感有所提升。

圖7 有/無MSFFB模塊的圖像質量對比Fig.7 Comparison of image quality w or w/o MSFFB module

3.3.3 損失函數(shù)

本文使用三種損失函數(shù)來對優(yōu)化目標進行描述，包括像素級損失以及兩種增強的對抗損失。

圖8展示了增強的對抗損失函數(shù)的有效性。其中，基線測試為僅有L1損失，如圖8（1），L1+Lfeat為在基線測試基礎上增加了特征損失，如圖8（2），L1+Lfeat+Lrot{0,90°}為增加兩個角度的旋轉損失，如圖8（3），L1+Lfeat+Lrot{0,90°,180°,270°}為本文方法最終所采用的損失函數(shù)組合。

圖8 不同損失函數(shù)組合下的圖像高頻細節(jié)對比Fig.8 Comparison of image high-frequency details under different loss function combinations

實驗證明，僅使用L1損失容易產生模糊的圖像，增加了對抗損失后的重建結果均優(yōu)于前者。這也證明，單一的硬編碼距離函數(shù)難以有效描述復雜的視覺感知模型。場景中具有豐富的幾何細節(jié)，本文的特征損失在多個尺度上描述了圖像之間的語義級差異，有效地保證了高頻幾何細節(jié)的重建。從圖8中可以看出，圖像中墻面雕花輪廓分明。當繼續(xù)增加旋轉對抗損失后，能夠穩(wěn)定地產生更自然的高質量圖像。

3.4 討論與局限

本文的輸入包括多種圖形輔助屬性。在數(shù)據(jù)采集階段，若任何一個輸入存在明顯走樣，這類偽影都會或多或少反映到最終的合成圖像上。盡管在數(shù)據(jù)預處理時，已對輸入屬性和參考圖像進行簡單的反走樣，但是相乘、相加等后處理操作會將分支或者輸入圖像的輕微走樣誤差進一步放大化，最終使得部分視點下合成的圖像仍然存在明顯的邊緣鋸齒，影響圖像的觀感質量，如圖9所示。在未來工作中，將嘗試采用神經網(wǎng)絡進行后處理，使得合成運算完全在抽象空間中進行，從而盡可能糾正走樣誤差。

圖9 局限性Fig.9 Limitations

4 結束語

本文采用光路分解框架，將光照解構為鏡面反射和漫反射兩個獨立的分支，并分開進行有監(jiān)督的訓練和預測，運用逐元素相乘和相加操作來合成最終圖像。該框架使合成任務更具有針對性，重建出了逼真的全局漫反射、鏡面反射和金屬材質高光等效果。

下一步工作將繼續(xù)優(yōu)化網(wǎng)絡結構，用于簡化模型并提高推理速度。其次，為進一步提升繪制速度，考慮利用時域上的連續(xù)性來提高當前幀的圖像質量以及幀間穩(wěn)定性。