李 滔，董秀成，張曉華

（1.西華大學(xué)電氣與電子信息學(xué)院，四川 成都 610065；2.廣島工業(yè)大學(xué)，日本 廣島 7 315193）

隨著人工智能的發(fā)展，自動(dòng)駕駛、三維重建、人機(jī)交互等成為非常熱門的研究領(lǐng)域，這些領(lǐng)域都依賴于高精度、高質(zhì)量的深度信息。深度信息的獲取有立體匹配、激光掃描和深度相機(jī)拍攝三種途徑。立體匹配通過(guò)計(jì)算不同位置相機(jī)所拍攝的彩色圖像間視差圖來(lái)獲取深度信息，這種被動(dòng)獲取深度的方法運(yùn)算復(fù)雜度較高，算法魯棒性較低，且在遮擋區(qū)域和弱紋理區(qū)域的處理效果不太理想。激光設(shè)備能對(duì)單一場(chǎng)景中的深度信息進(jìn)行掃描，進(jìn)而獲取深度圖，但這種方法只能處理靜態(tài)的場(chǎng)景，且所需成本較高。近年來(lái)，便攜式消費(fèi)級(jí)深度相機(jī)（如ASUS Xtion 和Mesa SwissRange)等新型3D 傳感器的問(wèn)世和普及，以及微軟推出價(jià)格低廉的Kinect 等，為主動(dòng)地、快速地獲取場(chǎng)景深度信息提供了極大便利，因而受到了學(xué)術(shù)界和工業(yè)界的廣泛關(guān)注。

深度相機(jī)向目標(biāo)場(chǎng)景發(fā)射特定光，然后通過(guò)接收反射光來(lái)快速實(shí)時(shí)地計(jì)算場(chǎng)景深度。按照工作原理，深度相機(jī)可劃分為兩種類型。一種是基于飛行時(shí)間(TOF)的深度相機(jī)，它用調(diào)制光源照射場(chǎng)景目標(biāo)，并測(cè)量反射光的相位延遲來(lái)確定深度信息；另一種深度相機(jī)（如Kinect 1.0）是基于結(jié)構(gòu)光技術(shù)，根據(jù)物體表面引起的光信號(hào)變化（即結(jié)構(gòu)光散斑圖案變化）來(lái)計(jì)算物體的深度信息。

受感光元器件限制，深度相機(jī)所攝的深度圖像分辨率普遍較低，如SwissRange SR3 000 分辨率僅為176×144，PMD Camcube3.0 分辨率僅為200×200，微軟Kinect 1.0 分辨率僅為320×240，Kinect 2.0 分辨率也僅僅為512×424，遠(yuǎn)不及常規(guī)RGB 彩色圖像的分辨率。圖1(a)(b)是由Kinect 相機(jī)同時(shí)拍攝的一組深度圖像和彩色圖像數(shù)據(jù)[1]，其中圖1(a)為低分辨率深度圖像，分辨率為512×424，圖1(b)為對(duì)應(yīng)的高分辨率彩色圖像，分辨率為1920×1080。受分辨率限制，圖1(a)中很多深度細(xì)節(jié)無(wú)法辨識(shí)，如人右腳與地面的深度分界模糊不清。

面對(duì)應(yīng)用領(lǐng)域?qū)Ω哔|(zhì)量深度圖像的迫切需求，如何提高深度相機(jī)所攝深度圖像的空間分辨率成為一個(gè)亟待解決的問(wèn)題。當(dāng)前通過(guò)硬件設(shè)施來(lái)提高深度圖像的空間分辨率，成本消耗較高，并且還存在著一些技術(shù)瓶頸。而深度圖像超分辨率重建技術(shù)是一種能提高深度圖像分辨率的行之有效的方法，它以解析延拓、貝葉斯決策、鄰域關(guān)系分析、深度學(xué)習(xí)等理論為研究基礎(chǔ)，由一幅或多幅低分辨率深度圖像恢復(fù)出一幅高分辨率深度圖像。圖1(c)(d)展示了由TSDR 方法[1]和DepthSR-Net方法[2]重建得到的高分辨率深度圖像。通過(guò)對(duì)比圖1(a)和圖1(c)(d)，可以看出，重建圖像能有效解決深度細(xì)節(jié)辨別不清的問(wèn)題。深度圖像超分辨率重建技術(shù)，已經(jīng)成為計(jì)算機(jī)視覺(jué)和圖像處理領(lǐng)域的研究熱點(diǎn)。

圖1 Kinect 相機(jī)拍攝的數(shù)據(jù)及深度重建圖像

1 深度圖像超分辨率重建方法描述

通過(guò)全面梳理分析國(guó)內(nèi)外的研究現(xiàn)狀，可知深度圖像超分辨率重建方法有如圖2 所示的兩種分類依據(jù)。其中，按實(shí)現(xiàn)技術(shù)可將深度圖像超分辨率重建方法分為三類：基于濾波的方法、基于優(yōu)化的方法和基于學(xué)習(xí)的方法。表1 對(duì)這三類方法從理論基礎(chǔ)、方法優(yōu)缺點(diǎn)和應(yīng)用場(chǎng)景等幾個(gè)方面進(jìn)行了分析與比較。文章重點(diǎn)以第二種為分類依據(jù)，詳細(xì)描述深度圖像超分辨率的重建方法。

圖2 深度圖像超分辨率重建方法的分類

表1 按實(shí)現(xiàn)技術(shù)分類的深度圖像超分辨率重建方法對(duì)比

1.1 多幅深度圖像超分辨率重建

同場(chǎng)景的多幅深度圖像之間存在著互補(bǔ)的信息，可以對(duì)它們進(jìn)行融合從而獲取一幅高分辨率深度圖像。Schuon 等[20]提出了LidarBoost 方法，用數(shù)據(jù)項(xiàng)和滿足激光雷達(dá)特性的幾何先驗(yàn)項(xiàng)構(gòu)成優(yōu)化框架，由多幅角度差異較小的低分辨率深度圖像，重建得到高分辨率深度圖像。Izadi 等[21]提出了KinectFusion 方法，用Kinect 相機(jī)獲取低分辨率深度序列，然后將深度序列融合為實(shí)時(shí)的三維顯示。多幅深度圖像超分辨率重建方法的性能嚴(yán)重依賴于圖像間的配準(zhǔn)精度，當(dāng)配準(zhǔn)誤差較大、互補(bǔ)信息欠缺時(shí)，重建結(jié)果會(huì)出現(xiàn)模糊、偽影等瑕疵。

1.2 單幅深度圖像超分辨率重建

單幅深度圖像超分辨率重建是僅由一幅低分辨率深度圖像恢復(fù)出一幅高分辨率深度圖像，可分為基于濾波、基于優(yōu)化和基于學(xué)習(xí)三類方法。由于可用信息較少，單幅重建問(wèn)題具有嚴(yán)重的病態(tài)性。

基于濾波的單幅深度圖像超分辨率重建方法是利用局部或非局部鄰域關(guān)系，逐個(gè)估計(jì)高分辨率深度值。Hornacek 等[3]借助剛體運(yùn)動(dòng)下三維塊的自相似性實(shí)現(xiàn)深度圖像的濾波；隨后Lei 等[4]提出了一種綜合了深度平滑性、紋理相似性和視圖合成質(zhì)量等多種因素的深度圖像上采樣濾波器?；跒V波的方法運(yùn)算復(fù)雜度較低，但其恢復(fù)深度細(xì)節(jié)的能力有限，易造成重建的深度圖像中出現(xiàn)邊緣平滑、模糊等現(xiàn)象。

基于優(yōu)化的單幅深度圖像超分辨率重建方法將重建問(wèn)題轉(zhuǎn)化為如式(1)所示的代價(jià)函數(shù)最小化問(wèn)題。

其中，Y為觀測(cè)到的低分辨率深度圖像，X為待重建的高分辨率深度圖像，s是高低分辨率圖像間的縮放比例，代價(jià)函數(shù)第一項(xiàng)為度量重建誤差的數(shù)據(jù)項(xiàng)，第二項(xiàng)J(X)為X的先驗(yàn)項(xiàng)。通過(guò)優(yōu)化求解式(1)可同時(shí)估計(jì)所有的高分辨率深度值?；趦?yōu)化的方法通過(guò)使用各種先驗(yàn)知識(shí)來(lái)緩解重建問(wèn)題的病態(tài)性。如Aodha 等[8]從深度圖像集中學(xué)習(xí)先驗(yàn)信息，并基于圖像塊的馬爾科夫隨機(jī)場(chǎng)(markov random field,MRF)模型完成重建。Li 等[9]以文獻(xiàn)[8]的模型框架為基礎(chǔ)，添加了自相似結(jié)構(gòu)的集合約束。Xie 等[10]基于MRF 重建深度邊緣圖，然后以邊緣圖為先驗(yàn)來(lái)約束深度圖像超分辨率重建?；趦?yōu)化的方法運(yùn)算復(fù)雜度較高，且當(dāng)測(cè)試的深度圖像統(tǒng)計(jì)特性不符合所用先驗(yàn)知識(shí)時(shí)，重建性能會(huì)受到極大的影響。

傳統(tǒng)基于學(xué)習(xí)的單幅深度圖像超分辨率重建方法主要使用了稀疏編碼等策略來(lái)學(xué)習(xí)高低分辨率圖像間的關(guān)系。Ferstl 等[14]從外部訓(xùn)練庫(kù)中學(xué)習(xí)包含了邊緣先驗(yàn)的字典，然后使用變分稀疏編碼方法來(lái)推斷強(qiáng)邊緣先驗(yàn)。Xie 等[15]提出了一種魯棒的耦合字典學(xué)習(xí)方法，在字典學(xué)習(xí)過(guò)程中增加了局部坐標(biāo)約束來(lái)保持流形結(jié)構(gòu)、避免過(guò)擬合。Mandal 等[16]構(gòu)建了例子塊子字典，且施加了邊緣保持約束來(lái)完成重建。

近年來(lái)，深度學(xué)習(xí)理論通過(guò)模仿人腦的運(yùn)行機(jī)制來(lái)解釋數(shù)據(jù)，使機(jī)器自動(dòng)學(xué)習(xí)提取圖像的各級(jí)特征，避免了人工選取特征的過(guò)程。深度學(xué)習(xí)理論的提出，開(kāi)啟了學(xué)術(shù)界和工業(yè)界中深度學(xué)習(xí)應(yīng)用的浪潮?；谏疃葘W(xué)習(xí)的單幅深度圖像超分辨率重建，成為該領(lǐng)域的研究熱點(diǎn)之一。

單幅彩色圖像超分辨率重建是一門廣義的重建技術(shù)，其已應(yīng)用深度學(xué)習(xí)取得了突破性的進(jìn)展[22]，常用的網(wǎng)絡(luò)模型有前饋型深度卷積神經(jīng)網(wǎng)絡(luò)(deep convolutional neural network,DCNN)、深度殘差網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)、密集卷積網(wǎng)絡(luò)、生成對(duì)抗網(wǎng)絡(luò)等，涌現(xiàn)出了許多高性能的算法，如REDNet[23]，VDSR[24]，DBPN[25]，RDN[26]，IDN[27]，多尺度密集殘差網(wǎng)絡(luò)[28]，SFTMD[29]等。當(dāng)用深度圖像訓(xùn)練集重新訓(xùn)練這些網(wǎng)絡(luò)框架后，可以用它們來(lái)完成深度圖像超分辨率重建任務(wù)。

與彩色圖像相比，深度圖像包含的紋理細(xì)節(jié)更少，邊緣更銳化。針對(duì)深度圖像這一特性，基于深度學(xué)習(xí)的重建方法設(shè)計(jì)了特定的網(wǎng)絡(luò)結(jié)構(gòu)來(lái)提高重建性能?？紤]到總廣義變分先驗(yàn)?zāi)苡行コA梯效應(yīng)，且具有較好的邊緣結(jié)構(gòu)保持特性，Riegler等[30]在DCNN 后端融入總廣義變分約束，形成端到端的ATGV-Net。Song 等[17]提出了多級(jí)訓(xùn)練網(wǎng)絡(luò)，每一級(jí)網(wǎng)絡(luò)中都使用了真實(shí)圖像進(jìn)行監(jiān)督訓(xùn)練，從而形成強(qiáng)監(jiān)督的網(wǎng)絡(luò)結(jié)構(gòu)，然后采用多尺度融合的方式，逐步實(shí)現(xiàn)較大尺度的深度圖像采樣。Huang 等[31]使用具有層間密集連接和殘差學(xué)習(xí)能力的密集殘差塊構(gòu)造金字塔結(jié)構(gòu)，逐步重建不同尺度的深度圖像。

1.3 彩色引導(dǎo)下的深度圖像超分辨率重建

大多數(shù)深度相機(jī)（如Kinect）能同時(shí)拍攝一幅高分辨率彩色圖像和一幅深度圖像，從而為彩色引導(dǎo)下的深度圖像超分辨率重建提供了資源上的便利。彩色引導(dǎo)的重建方法依據(jù)的是深度圖像與配準(zhǔn)的彩色圖像之間存在著相似的結(jié)構(gòu)信息，即深度邊緣與亮度邊緣具有較強(qiáng)的共生關(guān)系。依據(jù)這種共生關(guān)系，將彩色引導(dǎo)圖像的結(jié)構(gòu)信息傳遞到深度圖像中，為深度圖像提供高質(zhì)量的邊緣重建引導(dǎo)，從而提升深度圖像的重建質(zhì)量。按實(shí)現(xiàn)技術(shù)，彩色引導(dǎo)下的深度圖像超分辨率重建也可以分為基于濾波、基于優(yōu)化和基于學(xué)習(xí)的方法。

基于濾波的方法在設(shè)計(jì)濾波器時(shí)，除了考慮深度鄰域關(guān)系外，還考慮了共生的結(jié)構(gòu)關(guān)系。如Kopf 等[32]結(jié)合基于深度圖像鄰域位置關(guān)系的高斯函數(shù)和基于引導(dǎo)圖像鄰域像素值的高斯函數(shù)，提出了聯(lián)合雙邊上采樣濾波器模型。Yang 等[5]建立了深度迭代修正模型，利用基于深度概率分布成本量的雙邊濾波器完成重建。He 等[6]建立了濾波圖像與引導(dǎo)圖像的局部線性模型，進(jìn)而提出了引導(dǎo)濾波器。文獻(xiàn)[7]在中值濾波器模型中融入聯(lián)合雙邊濾波框架，構(gòu)建了聯(lián)合雙邊中值濾波器，有效地抑制了深度異常值，產(chǎn)生了高魯棒的深度重建圖像。

基于優(yōu)化的方法推導(dǎo)出較多與共生關(guān)系相關(guān)的先驗(yàn)知識(shí)，其對(duì)應(yīng)的優(yōu)化函數(shù)可表示為

其中I表示高分辨率彩色引導(dǎo)圖像。Ferstl 等[11]建立了基于全廣義變分的重建模型，并用彩色信息相關(guān)的各向異性擴(kuò)散張量來(lái)加權(quán)全廣義變分正則化項(xiàng)。Yang 等[12]定義了自回歸模型，該模型所包含的自適應(yīng)預(yù)測(cè)器充分利用了彩色引導(dǎo)圖像和深度圖像的非局部相似性及局部相關(guān)性。Liu 等[13]在重建模型中使用了魯棒的平滑項(xiàng)約束。Gu 等[33]建立了任務(wù)驅(qū)動(dòng)的深度重建模型，利用更新的深度圖像對(duì)不同階段的引導(dǎo)參數(shù)進(jìn)行同步更新。Jiang 等[1]結(jié)合變換域和空間域的先驗(yàn)項(xiàng)完成深度圖像超分辨率重建。Liu 等[34]提出了內(nèi)部平滑先驗(yàn)和外部梯度一致性先驗(yàn)的聯(lián)合約束模型，其中外部梯度一致性先驗(yàn)確保了深度圖像的梯度接近于引導(dǎo)圖像的閾值化梯度。

基于學(xué)習(xí)的方法最初主要是研究低分辨率深度空間、高分辨率深度空間以及高分辨率彩色空間之間的稀疏表示關(guān)系，如對(duì)三個(gè)空間字典的聯(lián)合稀疏編碼[35－36]。近年來(lái)，基于學(xué)習(xí)的方法成功地將DCNN 應(yīng)用到了彩色引導(dǎo)下的深度圖像重建領(lǐng)域。如圖3 所示，Riegler 等[18]首次提出了實(shí)現(xiàn)非局部變分方法的深度原始對(duì)偶網(wǎng)絡(luò)(PDN)，結(jié)合PDN 與彩色引導(dǎo)下的全卷積網(wǎng)絡(luò)完成端到端的訓(xùn)練，其中PDN 用神經(jīng)網(wǎng)絡(luò)的形式實(shí)現(xiàn)了傳統(tǒng)的非局部變分約束，對(duì)我們后續(xù)將各種傳統(tǒng)先驗(yàn)約束擴(kuò)展至網(wǎng)絡(luò)實(shí)現(xiàn)提供了啟發(fā)和經(jīng)驗(yàn)。Hui 等[19]提出了如圖4 所示的多尺度引導(dǎo)卷積網(wǎng)絡(luò)(MSG-Net)，即深度分支采用了逐級(jí)的特征學(xué)習(xí)-上采樣這一過(guò)程，而強(qiáng)度分支采用了逐級(jí)的特征學(xué)習(xí)-下采樣這一過(guò)程，并用強(qiáng)度分支的特征圖引導(dǎo)深度分支的重建。Wen 等[37]用由粗到精的DCNN 網(wǎng)絡(luò)來(lái)學(xué)習(xí)不同核尺寸的濾波器，從而實(shí)現(xiàn)用數(shù)據(jù)驅(qū)動(dòng)訓(xùn)練得到的濾波器來(lái)替代人工設(shè)計(jì)的濾波器。Guo 等[2]為深度重建任務(wù)設(shè)計(jì)了殘差U-Net 結(jié)構(gòu)，并引入分層次特征驅(qū)動(dòng)的殘差學(xué)習(xí)。Zhao 等[38]提出了顏色-深度的條件生成對(duì)抗網(wǎng)絡(luò)，同時(shí)實(shí)現(xiàn)彩色圖像和深度圖像的超分辨率重建。Zuo 等先后提出了實(shí)現(xiàn)深度重建的多尺度融合殘差網(wǎng)絡(luò)[39]和殘差密集網(wǎng)絡(luò)[40]。于淑俠等[41－42]構(gòu)建了金字塔式雙通道卷積神經(jīng)網(wǎng)絡(luò)來(lái)增強(qiáng)深度圖像分辨率。

圖3 深度原始對(duì)偶網(wǎng)絡(luò)模型[35]

圖4 MSG-Net 模型[36]

2 深度圖像超分辨率重建的關(guān)鍵問(wèn)題

深度圖像的獲取與各種后端應(yīng)用的實(shí)時(shí)性緊密相關(guān)，同時(shí)深度圖像的質(zhì)量對(duì)后端應(yīng)用的性能也起著關(guān)鍵性的作用。深度相機(jī)雖然能夠?qū)崟r(shí)采集深度數(shù)據(jù)，但采集的數(shù)據(jù)分辨率較低、質(zhì)量不盡如人意。深度圖像超分辨率重建為提高深度數(shù)據(jù)的質(zhì)量提供了一個(gè)有效途徑，而如何利用好深度圖像的特性，正確使用彩色引導(dǎo)信息，提出一個(gè)具有高性能、實(shí)時(shí)性的深度圖像超分辨率重建算法是未來(lái)研究的難點(diǎn)。深度圖像超分辨率重建技術(shù)的研究，主要包括了以下三個(gè)關(guān)鍵問(wèn)題。

2.1 深度空洞對(duì)重建質(zhì)量的影響

以Kinect 成像原理為例，來(lái)了解深度圖像中空洞低質(zhì)因素的成因。Kinect 工作時(shí)的紅外光路如圖5 所示。當(dāng)發(fā)生如圖6 所示的情況時(shí)，紅外投影儀透射出的紅外光被目標(biāo)空間中的物體A 擋住，無(wú)法照射到其身后的區(qū)域，形成投影盲區(qū)，此外紅外相機(jī)無(wú)法獲取相機(jī)盲區(qū)返回的光脈沖或者散斑，在二者的綜合作用下，區(qū)域1 既沒(méi)有前景目標(biāo)A的深度信息反饋也沒(méi)有背景的深度信息反饋，在深度圖像中形成了深度空洞。

圖5 Kinect 紅外光路圖

圖6 深度空洞的成因

此外，當(dāng)目標(biāo)區(qū)域中物體表面過(guò)于光滑時(shí)，紅外線在物體表面發(fā)生鏡面反射；或當(dāng)物體表面的材質(zhì)是吸光材料時(shí)，經(jīng)過(guò)物體表面的紅外光會(huì)被吸收而不存在反射光。這兩種情況下，紅外相機(jī)都無(wú)法捕獲到相應(yīng)物體的反射光，在對(duì)應(yīng)的圖像區(qū)域形成深度空洞。

圖7(a)是文獻(xiàn)[12]模仿Kinect 降質(zhì)過(guò)程生成的深度測(cè)試圖像，其在深度邊緣區(qū)域具有大量的結(jié)構(gòu)性空洞，在平滑區(qū)域具有隨機(jī)空洞，采用MSGNet[36]和IDN[18]兩種方法對(duì)圖7(a)進(jìn)行超分辨率重建，重建結(jié)果分別為圖7(c)和圖7(d)，可以看出，深度空洞的存在嚴(yán)重影響了超分辨率重建的性能。

圖7 深度空洞影響重建質(zhì)量的示例圖

如果能有效消除深度空洞，將極大改善重建圖像的質(zhì)量?，F(xiàn)階段，較多學(xué)者都采用了預(yù)處理的方式，把深度圖像超分辨率重建及深度空洞修復(fù)作為兩個(gè)獨(dú)立的環(huán)節(jié)處理，先修復(fù)深度空洞[43－45]，然后進(jìn)行超分辨率重建。實(shí)際上，這兩個(gè)環(huán)節(jié)間存在著密切聯(lián)系，二者之間相互影響相互依賴。因此，如何有效融合二者信息，建立完整的端到端的修復(fù)和重建網(wǎng)絡(luò)模型，一次性地處理包含空洞的深度圖像，是需要進(jìn)一步研究的關(guān)鍵問(wèn)題。

2.2 深度圖像與彩色引導(dǎo)圖像的配準(zhǔn)

彩色引導(dǎo)下的深度圖像超分辨率重建，需要配準(zhǔn)同一場(chǎng)景同一視角下的深度圖像和彩色圖像，因此必須對(duì)深度相機(jī)和彩色相機(jī)進(jìn)行聯(lián)合標(biāo)定，獲取兩種相機(jī)的內(nèi)外參數(shù)和它們之間的對(duì)應(yīng)關(guān)系。聯(lián)合標(biāo)定是深度圖像超分辨率重建的基礎(chǔ)，它的準(zhǔn)確性決定了重建后深度圖像的質(zhì)量。如圖8[46]所示，配準(zhǔn)像素誤差越大，重建圖像的模糊和重影現(xiàn)象越嚴(yán)重。

圖8 不精確配準(zhǔn)的像素偏差對(duì)深度圖像超分辨率重建的影響

國(guó)內(nèi)外已有學(xué)者[47－50]對(duì)聯(lián)合標(biāo)定進(jìn)行了研究，并取得了一定的成果，如周杰等[50]針對(duì)深度相機(jī)具有低分辨率和較大徑向畸變的特點(diǎn)，采用了角點(diǎn)稀疏的棋盤格作為標(biāo)定板，以提高角點(diǎn)檢測(cè)的精度。但現(xiàn)有的聯(lián)合標(biāo)定研究中，大多數(shù)算法不能同時(shí)滿足精度和實(shí)時(shí)性的要求，并且容易受到深度噪聲和深度空洞的干擾。因此，抑制噪聲干擾，實(shí)現(xiàn)深度圖像和彩色圖像的精確配準(zhǔn)也是一個(gè)重要的研究方向。

2.3 紋理轉(zhuǎn)移和深度流失的消除

深度圖像的邊緣反映了目標(biāo)物體的幾何形狀，而彩色圖像是對(duì)場(chǎng)景的紋理和結(jié)構(gòu)信息的表達(dá)，因此，深度圖像的邊緣大多對(duì)應(yīng)了彩色圖像中的目標(biāo)邊緣而不是紋理邊緣，這意味著深度圖像和彩色圖像間的共生關(guān)系并不總是存在的。當(dāng)用彩色圖像來(lái)引導(dǎo)深度圖像重建時(shí)，違背共生關(guān)系的重建區(qū)域會(huì)出現(xiàn)紋理轉(zhuǎn)移或深度流失兩種失真。如圖9(a)l所示，當(dāng)目標(biāo)表面具有豐富的彩色紋理細(xì)節(jié)時(shí)（深度連續(xù)而彩色不連續(xù)），共生性的使用會(huì)導(dǎo)致紋理轉(zhuǎn)移(texture-transfer)，即物體表面的紋理細(xì)節(jié)會(huì)從彩色圖像復(fù)制到深度圖像中，使本應(yīng)該連續(xù)的深度出現(xiàn)了不連續(xù)的間斷；如圖9(b)所示，當(dāng)不同深度的相鄰目標(biāo)具有相同的顏色（深度不連續(xù)而彩色連續(xù)），共生性的使用會(huì)導(dǎo)致深度流失(depth-bleeding)，即本應(yīng)該出現(xiàn)的深度邊緣消失了。

圖9 違背共生關(guān)系時(shí)兩種失真的示例圖

對(duì)于彩色引導(dǎo)下的深度圖像超分辨率重建方法而言，紋理轉(zhuǎn)移和深度流失是不容忽視的問(wèn)題，不準(zhǔn)確的深度信息會(huì)使得后續(xù)應(yīng)用難以開(kāi)展。已經(jīng)有基于濾波和基于優(yōu)化的方法研究了如何規(guī)避或抑制這兩種失真，如Choi 等[51]首先將深度圖像分割為不同區(qū)域，每個(gè)區(qū)域?qū)?yīng)了不同的物體表面，然后用深度圖像分割結(jié)果去引導(dǎo)彩色圖像分割為連續(xù)區(qū)域和非連續(xù)區(qū)域。對(duì)于連續(xù)區(qū)域，高分辨率深度值直接由低分辨率深度插值得到；而對(duì)于非連續(xù)區(qū)域，則是在彩色圖像引導(dǎo)下用復(fù)雜的深度直方圖方法獲取高分辨率深度值。但當(dāng)前基于深度學(xué)習(xí)的方法對(duì)這方面的研究較少，如何設(shè)計(jì)特定的網(wǎng)絡(luò)結(jié)構(gòu)來(lái)解決彩色引導(dǎo)下深度重建的紋理轉(zhuǎn)移和深度流失問(wèn)題，是當(dāng)前迫切需要解決的一個(gè)關(guān)鍵任務(wù)。

3 應(yīng)用展望

深度圖像超分辨率重建是近年來(lái)計(jì)算機(jī)視覺(jué)和圖像處理等領(lǐng)域的研究熱點(diǎn)，不僅具有重要的理論意義，而且在實(shí)際應(yīng)用中也有著迫切的需求。例如在游戲領(lǐng)域，通過(guò)體感周邊設(shè)備來(lái)獲取玩家的姿態(tài)動(dòng)作，進(jìn)行人機(jī)交互操作，如果用超分辨率重建技術(shù)增強(qiáng)深度數(shù)據(jù)的質(zhì)量，進(jìn)而促進(jìn)姿態(tài)識(shí)別率的提高，能大大提升玩家的游戲體驗(yàn)。在三維重建方面，對(duì)于深度相機(jī)獲取的點(diǎn)云數(shù)據(jù)，利用超分辨率重建技術(shù)提高它的密集度和精度，從而恢復(fù)出更具真實(shí)感的三維物體表面模型，促進(jìn)三維重建在生物醫(yī)學(xué)、視頻監(jiān)控、刑事案件分析、增強(qiáng)現(xiàn)實(shí)等領(lǐng)域的應(yīng)用。在無(wú)人駕駛方面，利用深度信息來(lái)確定無(wú)人車輛的3D 位置，深度圖像超分辨率重建能夠幫助無(wú)人車輛獲得更高的定位精度，同時(shí)能進(jìn)行更準(zhǔn)確的環(huán)境描述和避障操作。深度圖像超分辨率重建相關(guān)技術(shù)的發(fā)展和成熟，全面促進(jìn)了其在各個(gè)計(jì)算機(jī)視覺(jué)領(lǐng)域的深入應(yīng)用，同時(shí)也給未來(lái)的研究工作提出了更高更新的要求。

4 結(jié)束語(yǔ)

本文以輸入圖像為分類，從多幅深度圖像、單幅深度圖像和彩色引導(dǎo)下的深度圖像分辨率重建三個(gè)方面系統(tǒng)地總結(jié)了目前深度圖像超分辨率重建的研究現(xiàn)狀，認(rèn)為深度空洞對(duì)重建質(zhì)量的影響、深度圖像與彩色引導(dǎo)圖像的配準(zhǔn)、紋理轉(zhuǎn)移和深度流失的消除等是現(xiàn)有研究存在的主要問(wèn)題。深度圖像超分辨率重建在游戲、三維重建以及無(wú)人駕駛等領(lǐng)域應(yīng)用前景廣闊，未來(lái)技術(shù)的突破能夠促進(jìn)該技術(shù)在計(jì)算機(jī)視覺(jué)領(lǐng)域的深度應(yīng)用。