張靖儀

（四川大學(xué)計(jì)算機(jī)學(xué)院，成都610065）

隨著深度學(xué)習(xí)技術(shù)的發(fā)展，研究人員已提出諸多基于深度學(xué)習(xí)的反走樣算法，用于提升圖形渲染的質(zhì)量，然而現(xiàn)有的深度學(xué)習(xí)反走樣算法并未有效利用圖形渲染的優(yōu)勢(shì)。針對(duì)上述問(wèn)題，將圖形繪制過(guò)程中涉及到的G-Buffer信息、時(shí)序反走樣的理念及循環(huán)神經(jīng)網(wǎng)絡(luò)相結(jié)合，提出一種基于G-Buffer的深度學(xué)習(xí)反走樣算法。實(shí)驗(yàn)結(jié)果表明，該算法可有效解決幾何邊緣等高頻區(qū)域的走樣現(xiàn)象，并取得和超采樣反走樣算法類(lèi)似的效果。

0 引言

圖形繪制離散化過(guò)程中，若采樣率不滿足奈奎斯特采樣定理，便會(huì)引起渲染失真等圖形走樣現(xiàn)象。這種走樣現(xiàn)象在圖形繪制方面通常表現(xiàn)為幾何走樣和著色走樣，這些走樣將對(duì)圖形繪制結(jié)果產(chǎn)生不利影響。

為了消除走樣現(xiàn)象，提升圖形繪制質(zhì)量，研究人員提出了大量基于圖形的反走樣算法。比較典型的圖形反走樣算法有超采樣反走樣算法[1]、多重采樣反走樣算法[2]和時(shí)序反走樣算法[3]等。其中超采樣反走樣算法是圖形繪制領(lǐng)域比較常用的一種反走樣算法，該算法通過(guò)增加著色樣本數(shù)量的方式，有效改善了幾何走樣和著色走樣等圖形繪制失真現(xiàn)象，然而該算法需要額外的著色計(jì)算，這顯著增加了著色帶寬。多重采樣反走樣算法則是一種利用幾何掩碼來(lái)降低幾何反走樣計(jì)算開(kāi)銷(xiāo)的反走樣算法，然而該算法并不能起到著色反走樣的目的。時(shí)序反走樣算法是另一種圖形反走樣算法，該算法通過(guò)時(shí)間平攤超采樣的方式也能取得較好的反走樣效果，但是該算法會(huì)帶入額外的鬼影、模糊等問(wèn)題。

為了解決圖形反走樣算法的缺陷，受數(shù)據(jù)驅(qū)動(dòng)的啟發(fā)，研究人員已提出大量基于深度學(xué)習(xí)的反走樣算法。如Nalbach[4]提出過(guò)一種基于U-shaped的深度學(xué)習(xí)反走樣算法，該算法通過(guò)數(shù)據(jù)驅(qū)動(dòng)的方式來(lái)解決超采樣反走樣算法著色代價(jià)過(guò)高、多重采樣反走樣算法著色走樣等問(wèn)題；NVIDIA[5]提出過(guò)一種深度學(xué)習(xí)反走樣算法，該算法利用深度學(xué)習(xí)推理加速技術(shù)有效解決了深度學(xué)習(xí)反走樣算法的效率問(wèn)題，并通過(guò)采集大規(guī)模圖形繪制場(chǎng)景的方式，顯著提升了反走樣網(wǎng)絡(luò)的泛化能力。

雖然已有的深度學(xué)習(xí)反走樣算法能有效規(guī)避圖形反走樣算法的缺陷，但是這些反走樣算法并未有效利用圖形渲染的優(yōu)勢(shì)。針對(duì)上述問(wèn)題，本文將G-Buffer信息、時(shí)序反走樣理念等圖形渲染技術(shù)和循環(huán)神經(jīng)網(wǎng)絡(luò)相結(jié)合，提出了一種新的深度學(xué)習(xí)反走樣算法。并通過(guò)實(shí)驗(yàn)驗(yàn)證本文算法的有效性。

1 相關(guān)研究

1.1 時(shí)序反走樣

圖形繪制過(guò)程中需要對(duì)時(shí)序信號(hào)進(jìn)行離散化處理，然而對(duì)于時(shí)序信號(hào)頻率變化較高的區(qū)域，若時(shí)序信號(hào)的采樣率不能滿足奈奎斯特采樣定理，便會(huì)出現(xiàn)時(shí)序走樣現(xiàn)象。這種走樣現(xiàn)象在時(shí)序上主要表現(xiàn)為閃爍、車(chē)輪效應(yīng)等圖形時(shí)序信號(hào)失真現(xiàn)象。

時(shí)序反走樣算法是解決時(shí)序走樣現(xiàn)象的常用算法。該算法最早由Yang[3]提出，其基本思想是通過(guò)重投影等方式將一個(gè)像素空間域上的多個(gè)采樣點(diǎn)平攤到歷史幀中，并通過(guò)混合歷史樣本的方式來(lái)達(dá)到時(shí)序反走樣的目的。通過(guò)這種時(shí)間平攤超采樣的方式，時(shí)序反走樣算法不僅能取得超采樣反走樣算法類(lèi)似的優(yōu)勢(shì)，還能有效節(jié)省反走樣算法的時(shí)間開(kāi)銷(xiāo)。

然而該算法會(huì)帶入額外的鬼影、模糊等問(wèn)題。其中鬼影具體表現(xiàn)為當(dāng)前幀中殘留了過(guò)時(shí)的歷史數(shù)據(jù)，模糊具體表現(xiàn)為畫(huà)質(zhì)退化現(xiàn)象。研究人員通常使用啟發(fā)式算法來(lái)規(guī)避上述問(wèn)題。常用的啟發(fā)式算法有鄰域裁剪[6]、基于指數(shù)的混合系數(shù)計(jì)算方式[7]等。

1.2 循環(huán)神經(jīng)網(wǎng)絡(luò)

循環(huán)神經(jīng)網(wǎng)絡(luò)是深度學(xué)習(xí)領(lǐng)域常用的一種處理時(shí)序信息的網(wǎng)絡(luò)結(jié)構(gòu)。其核心思想是：通過(guò)復(fù)用上一時(shí)刻隱藏?cái)?shù)據(jù)的方式來(lái)提高網(wǎng)絡(luò)處理時(shí)序信息的能力。由于循環(huán)神經(jīng)網(wǎng)絡(luò)具有良好的處理時(shí)序數(shù)據(jù)的能力，因此該網(wǎng)絡(luò)也被廣泛應(yīng)用于視頻處理、語(yǔ)音識(shí)別等圖像處理領(lǐng)域。

近年來(lái)，隨著深度學(xué)習(xí)技術(shù)的興起，循環(huán)神經(jīng)網(wǎng)絡(luò)也被應(yīng)用于圖形繪制領(lǐng)域。例如，Schied[8]將循環(huán)神經(jīng)網(wǎng)絡(luò)和圖形降噪技術(shù)相結(jié)合，提出了一種能高效解決蒙特卡洛降噪問(wèn)題的神經(jīng)網(wǎng)絡(luò)?；谠摼W(wǎng)絡(luò)的降噪算法不單能提高圖形降噪的質(zhì)量，還能顯著改進(jìn)連續(xù)幀畫(huà)面的時(shí)序穩(wěn)定性。

1.3 和G-Buffer相關(guān)的深度學(xué)習(xí)圖形繪制技術(shù)

G-Buffer中存儲(chǔ)了大量有助于提升圖形繪制質(zhì)量的有效信息，如法線、深度等。近年來(lái)的研究成果也表明基于G-Buffer的深度學(xué)習(xí)圖形繪制技術(shù)往往能幫助神經(jīng)網(wǎng)絡(luò)取得更好的圖形泛化能力。如Nalbach[5]提出過(guò)一種基于G-Buffer和U-shaped結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)在圖像反走樣、景深、運(yùn)動(dòng)模糊等領(lǐng)域都能取得不錯(cuò)的泛化效果。Schied[9]將G-Buffer和深度學(xué)習(xí)技術(shù)將結(jié)合，取得了比原始深度學(xué)習(xí)圖形降噪算法更好的圖形降噪效果及網(wǎng)絡(luò)泛化能力。

2 算法實(shí)現(xiàn)

2.1 問(wèn)題分析

已有的圖形反走樣算法雖然能取得較好地反走樣效果，但這些反走樣算法并不能完全解決圖形走樣現(xiàn)象。例如超采樣反走樣算法并不能解決圖形繪制過(guò)程中的閃爍現(xiàn)象；多重采樣反走樣算法并不能起到著色反走樣的作用；時(shí)序反走樣算法會(huì)帶入潛在的模糊、重影等問(wèn)題。

為了規(guī)避圖形反走樣算法的缺陷，研究人員通常使用啟發(fā)式的方法來(lái)解決上述問(wèn)題。例如超采樣反走樣算法通過(guò)邊緣超采樣或改進(jìn)采樣模式的方式來(lái)緩解圖形繪制過(guò)程中的閃爍問(wèn)題，多重采樣反走樣算法通過(guò)改進(jìn)高光濾波模式的方式可以在一定程度上緩解著色走樣現(xiàn)象；時(shí)序反走樣算法通過(guò)運(yùn)動(dòng)濾波、鄰域裁剪等方式來(lái)規(guī)避潛在的重影問(wèn)題。

然而這種基于啟發(fā)式的方法通常是基于某種預(yù)定的假設(shè)而產(chǎn)生的某種暫時(shí)可行的處理方法，并不具有較強(qiáng)的普適性。相對(duì)而言，基于數(shù)據(jù)驅(qū)動(dòng)的深度學(xué)習(xí)反走樣算法雖然能有效規(guī)避圖形反走樣算法的缺陷，但已有的深度學(xué)習(xí)反走樣算法并沒(méi)有充分利用圖形渲染的優(yōu)勢(shì)。

2.2 基于G-Buffer的深度學(xué)習(xí)反走樣算法

針對(duì)上述問(wèn)題，本文將圖形繪制過(guò)程中涉及到的G-Buffer信息、時(shí)序反走樣理念及循環(huán)神經(jīng)網(wǎng)絡(luò)相結(jié)合，提出了一種基于G-Buffer的深度學(xué)習(xí)反走樣算法。該算法通過(guò)融合已有時(shí)序反走樣算法和循環(huán)神經(jīng)網(wǎng)絡(luò)的方式來(lái)實(shí)現(xiàn)時(shí)間平攤超采樣的目的，并利用GBuffer數(shù)據(jù)來(lái)訓(xùn)練反走樣網(wǎng)絡(luò)的模型參數(shù)。

具體的算法流程框架如圖1所示，首先利用重采樣時(shí)域數(shù)據(jù)模塊來(lái)實(shí)現(xiàn)時(shí)序反走樣的目的，再將重采樣時(shí)域數(shù)據(jù)模塊的輸出結(jié)果和當(dāng)前時(shí)刻的G-Buffer數(shù)據(jù)作為神經(jīng)網(wǎng)絡(luò)的輸入，然后經(jīng)神經(jīng)網(wǎng)絡(luò)訓(xùn)練得到最終反走樣結(jié)果。其中重采樣時(shí)域數(shù)據(jù)模塊的目的是復(fù)現(xiàn)時(shí)域反走樣算法中時(shí)域樣本采集的功能；而循環(huán)神經(jīng)網(wǎng)絡(luò)則是為了提升神經(jīng)網(wǎng)絡(luò)的時(shí)域融合效果；GBuffer信息作為神經(jīng)網(wǎng)絡(luò)輸入?yún)?shù)的目的是為了改進(jìn)反走樣網(wǎng)絡(luò)的泛化能力。

圖1 本文算法的處理流程

神經(jīng)網(wǎng)絡(luò)的具體結(jié)構(gòu)如圖2所示。其中網(wǎng)絡(luò)的輸入是重采樣得到的時(shí)域數(shù)據(jù)和T時(shí)刻的法線、深度等G-Buffer信息，網(wǎng)絡(luò)的輸出是T時(shí)刻的反走樣結(jié)果。網(wǎng)絡(luò)前半部分由3×3×32大小的卷積核及ReLU結(jié)構(gòu)堆砌而成，網(wǎng)絡(luò)后半部分采用一個(gè)3×3×3大小的卷積核。最后網(wǎng)絡(luò)的輸出結(jié)果不僅作為當(dāng)前時(shí)刻的反走樣輸出結(jié)果，還作為下一時(shí)刻重采樣時(shí)域數(shù)據(jù)模塊的輸入數(shù)據(jù)，經(jīng)重采樣時(shí)域數(shù)據(jù)模塊處理后作為循環(huán)神經(jīng)網(wǎng)絡(luò)的隱藏狀態(tài)，并和下一時(shí)刻的G-Buffer信息一同作為下一時(shí)刻網(wǎng)絡(luò)的輸入數(shù)據(jù)。

圖2 本文算法的網(wǎng)絡(luò)結(jié)構(gòu)圖

實(shí)驗(yàn)部分使用的數(shù)據(jù)集是NVIDIA提供的Amazon Lumberyard Bistro[9]場(chǎng)景經(jīng)裁剪旋轉(zhuǎn)等數(shù)據(jù)增強(qiáng)技術(shù)處理后得到的1900段包含G-Buffer信息及超采樣反走樣結(jié)果的圖像序列數(shù)據(jù)集。其中每段圖像序列由7組連續(xù)的幀畫(huà)面組成。并按3:1:1的方式隨機(jī)分成訓(xùn)練集、驗(yàn)證集及測(cè)試集。且訓(xùn)練過(guò)程中迭代次數(shù)設(shè)置為300，批處理數(shù)量設(shè)置為8。

3 實(shí)驗(yàn)結(jié)果

為了驗(yàn)證本文算法的有效性，本文通過(guò)對(duì)比時(shí)序反走樣算法、超采樣反走樣算法的反走樣繪制結(jié)果及性能指標(biāo)來(lái)衡量本文算法的有效性。其中圖3是一個(gè)典型的反走樣效果對(duì)比圖，且從左到右分別為未反走樣的圖像、經(jīng)時(shí)序反走樣算法處理后的圖像、經(jīng)本文算法處理后的圖像及經(jīng)超采樣反走樣算法處理后的圖像。對(duì)比圖3中的四幅圖像，可以明顯看出，本文算法具有較好的反走樣效果，且這種反走樣效果優(yōu)于時(shí)序反走樣算法，又近似于超采樣反走樣算法取得的效果。表1則是本文算法與時(shí)序反走樣算法的在測(cè)試集上統(tǒng)計(jì)得到的平均性能對(duì)比結(jié)果，其中SSIM指標(biāo)越大，則說(shuō)明該算法的反走樣效果越接近于超采樣反走樣算法。從表1中明顯可以看到，本文算法的SSIM指標(biāo)遠(yuǎn)大于時(shí)序反走樣算法的SSIM指標(biāo)，即本文算法優(yōu)于時(shí)序反走樣算法。

表1 反走樣性能對(duì)比結(jié)果

圖3 反走樣效果對(duì)比圖

4 結(jié)語(yǔ)

本文提出了一種基于G-Buffer的深度學(xué)習(xí)反走樣算法，該算法通過(guò)重采樣時(shí)域數(shù)據(jù)、循環(huán)神經(jīng)網(wǎng)絡(luò)等方式實(shí)現(xiàn)了時(shí)域反走樣的目的，并利用G-Buffer數(shù)據(jù)來(lái)訓(xùn)練反走樣網(wǎng)絡(luò)的模型參數(shù)。實(shí)驗(yàn)結(jié)果證明，本文算法可有效解決幾何邊緣等高頻區(qū)域的走樣現(xiàn)象，并取得和超采樣反走樣算法類(lèi)似的效果。且這種反走樣效果優(yōu)于典型的時(shí)序反走樣算法。后續(xù)的研究中，將考慮使用網(wǎng)絡(luò)剪枝、深度學(xué)習(xí)推理加速等技術(shù)來(lái)提升本文算法的反走樣效率。