孫 冬，李 萌，高清維*，盧一相，竺 德

(1.安徽大學 電氣工程與自動化學院,安徽 合肥 230601;2.安徽大學 網絡與信息中心,安徽 合肥 230601)

人們從外界獲取信息的75%以上來自于視覺，圖像是人類獲取信息的主要來源.而隨著移動通信和計算機技術的發(fā)展，遠程教育、在線點播、遠程醫(yī)療、多人在線視頻會議等各類新興應用的涌現，促進了生產力發(fā)展和社會進步.與此同時，人們對數字視頻圖像的質量也提出了更高的要求.清晰度和分辨率的提高能夠提供更好的圖像細節(jié)和質量，但高分辨率視頻在還原精細圖像內容的同時，也為整個視頻內容的生產和消費生態(tài)鏈增加了成本負擔，如圖像采集端更昂貴的成像、采集及存儲設備，媒體創(chuàng)作端用于視頻編輯的額外計算資源，通信網絡端所面臨更大的數據傳輸壓力及時延等，這些已經成為制約視頻圖像分辨率進一步提高的因素.為了解決上述問題，目前常用的做法是使用圖像后處理的方法，在用戶終端以插值[1-7,10-15]的方式對低分辨率圖像進行超分辨率重建，從而達到增強分辨率、提高清晰度的目的.這種基于軟件的方案不改變現有圖像的采集和傳輸系統(tǒng)框架，不增加硬件成本，因此在視頻通話、虛擬現實、增強現實、視頻游戲和標清視頻的高清化等方面擁有廣泛的應用價值.

圖像中的物體邊緣含有大量信息，并且人類視覺系統(tǒng)對此高度敏感[8]，因此邊緣結構的精確重建在圖像去噪、去模糊、修復、插值和超分辨率重建等逆問題求解中具有重要意義.針對這一特點，論文提出了一種基于自適應方向濾波的插值方案，該方案考慮了圖像的邊緣輪廓方向，通過構造和求解符合目標圖像先驗模型的正則化方程，對低分辨率圖像中的邊緣結構進行擬合與增強，實現對高分辨率目標圖像的估計.

1 方向正則性約束

方向正則性廣泛存在于含有結構特征的自然圖像中，通常表現為物體的邊緣結構和有規(guī)律的紋理，如圖1所示.

(a)包含1個主要方向(120°);(b)包含1個主要方向(40°);(c)包含2個主要方向(30,170°);(d)包含3個主要方向(40,80,165°).圖1 圖像的方向正則性

記fi∈Rn2為圖像f中以位置i為中心、尺寸為n×n的某個局部圖像塊，Lθ∈Rn2×n2為角度θ方向的濾波器對應的矩陣[3]，Lθfi為濾波輸出結果.顯然，當濾波角度與圖像塊中的主要方向平行時，Lθfi中的大多數元素為0，此時最為稀疏.由于自然圖像的復雜性，局部圖像塊fi可能包含不止一個主導方向(如圖1(c),(d)所示)，為了尋找這些方向，可以使用下列算法進行搜索.

主方向搜索算法：

目標：搜索圖像中某個局部塊的主方向

輸入：圖像塊fi

初始化：主方向角度集合S=?

候選主方向角集合Θ={θ1,θ2,…,θK}

最大主方向角個數P

初始濾波圖像d=fi

主循環(huán)(執(zhí)行P次)：

1. 遍歷Θ中的每個角度，計算d在每個方向上的濾波結果Lθ1d，Lθ2d，…,LθKd

3. 更新S←S∪{θopt}，Θ←Θ/{θopt}，d←Lθoptd.進行下一次循環(huán)

輸出：圖像塊fi的主方向角度集合S

在上述算法中，圖像濾波由方向可控的steerable濾波器[9]實現.在論文中，用于構造steerable方向濾波器的高斯核寬度W選擇為5，該數值由實驗測定.過寬的濾波核(W≥9)會導致表征方向信息的濾波圖像具有較粗的邊緣結構，不利于最優(yōu)角度的尋找，而過窄的濾波核(W<3)則會在濾波圖像中形成較多的雜紋干擾，無法突出圖像中的方向特點.此外，參數K決定了方向角搜索的間隔精度，該值越大，搜索精度越高，但相應的搜索時間也會隨之增加.根據實驗，當K>12時，其對最終插值性能的增益趨于0，因此論文簡單地將搜索間隔設置為10°，對應的K值為180°/10°=18.與之類似，最大主方向角個數P設置為2，實驗表明該取值可以兼顧插值算法的效率和性能.圖2為使用上述算法在測試圖像主方向上的搜索結果(為了顯示方便，取n=16°).

(a)barbara (P=1);(b)butterfly (P=2.差異不超過10°的相近方向已作合并處理).圖2 主方向上搜索結果

記低分辨率圖像塊yi=Hfi，其中H∈Rm2×n2為下采樣矩陣，yi∈Rm2.記下采樣因子為D，對應的低分辨率圖像塊滿足yi(h,v)=fi(h/D,v/D).在上述方向正則性的約束下，可以使用下列復原方程對原始高分辨圖像塊fi進行估計

(1)

根據實驗，當λ取值在0.005～0.02之間時，上述復原方程對于絕大部分的圖像均可以產生較好的插值結果.過大的λ值因過于強調復原像素的方向排列而導致出現人工涂抹的條紋痕跡，而過小的λ值不能對復原結果施加足夠的約束，導致邊緣和紋理的模糊.在論文中，取λ為0.01.

2 插值算法

為求解(1)式，令右端關于fi的導數為零，整理得

(2)

由H矩陣的結構[3]易知HTH具有對角陣的形式，如當D=2時，有

HTH=diag(En,0n,…,En,0n)∈Rn2×n2，

記

RΛRT=Rdiag(σ1,σ2,…，σK,0)RT

x=RTfi，

整理得

Λx=RTHTyi，

(3)

或寫成分塊矩陣的形式

葡萄糖代謝途徑中，丙酮酸作為重要的中間代謝產物，在乳酸脫氫酶的作用下脫氫生成乳酸，此外還可通過丙酮酸的代謝支流形成雙乙酰和乙醛。乳酸脫氫酶的酶活在整個儲藏期間基本處于下降趨勢，比酶活呈先下降后上升的趨勢，這說明乳酸脫氫酶的比酶活并沒有受到低p H高酸度的影響[27,28]。

(4)

其中：ΛM=diag(σ1,σ2,…,σM)∈RM×M，xA=[x1,x2,…,xM]∈RM和xB=[xM+1,xM+2,…,xn2]∈Rn2-M分別為x的前M個分量和后n2-M個分量組成的子向量.

再取

(5)

圖像插值算法：

目標：對輸入的低分辨率圖像進行插值，實現分辨率增強

主循環(huán)(執(zhí)行Iter次)：

a) 使用主方向搜索算法對圖像塊搜索主導方向，計算相應的方向濾波器矩陣Li

相應的流程如圖3所示.

圖3 插值算法流程框圖

T(N)=Iter·(T1(N)+T2(N))～O(N2).

(6)

該式表明，論文插值算法的時間復雜度與輸入圖像的尺寸同階.作為參考，在Intel Core i79 900K環(huán)境下，使用Visual Studio 2017編程分別將256×256，512×512和1 024×1 024尺寸的灰度圖像分別插值成512×512，1 024×1 024和2 048×2 048尺寸的圖像，所需時間分別為1.6，7.1，28.8 s，和(6)式的分析基本吻合.

最后，對于彩色圖像，可以考慮利用YCrCb色彩模型.首先對輸入圖像進行亮度和色度分解；再分別對亮度分量和色度分量進行插值和雙立方插值；最后再將各分量的插值結果合并回RGB空間，進而得到最終的插值輸出圖像.相應的流程如圖4所示.

圖4 彩色圖像插值流程框圖

3 實 驗

為驗證論文的插值算法的正確性和有效性，該節(jié)通過一組實驗，分別從主觀圖像質量和客觀PSNR(peak signal to noise radio)指標上對插值結果進行評價，并與其他3種算法進行對比，它們分別是：經典的雙立方圖像插值、基于自適應non-local稀疏先驗模型的圖像插值[13](single image interpolation via adaptive non-local sparsity-based modeling, 簡稱ANSM)和基于深度學習的圖像超級上采樣插值(deep learning super sampling, 簡稱DLSS)，其中雙立方圖像插值利用MATLAB自帶的插值函數interp2.m實現，ANSM由作者提供的軟件包實現，DLSS由nVidia公司提供的NGX軟件包實現.用于實驗的靜態(tài)圖像和視頻序列均來自標準測試圖像庫，其中低分辨率圖像由原始圖像分別在橫向和縱向經過直接下采樣得到.首先對低分辨率圖像進行6個像素的偶對稱邊界延拓，然后在插值結果中再對延拓部分進行裁剪.ANSM和DLSS算法中的參數均使用軟件包中提供的默認值,論文插值算法的參數選取在前文中已有討論，匯總如表1所示.

表1 插值算法的參數取值

圖5,6分別為對灰度圖像lena和butterfly進行2×2倍及3×3倍的插值結果，圖7為彩色視頻序列foreman在2×2倍分辨率增強下的插值結果(此處僅將論文方法與低分辨輸入圖像進行對比).為了對比方便，在圖5～7中，使用最鄰近插值的方式將低分辨率輸入圖像放大到原始圖像的尺寸進行顯示.

(a)低分辨率圖像；(b)雙立方插值；(c)ANSM；(d)DLSS；(e)論文方法.圖5 圖像lena及2×2倍增強結果

(a)低分辨率圖像；(b)雙立方插值；(c)ANSM；(d)DLSS；(e)論文方法.圖6 圖像butterfly及3×3倍增強結果

(a)低分辨率圖像;(b)論文方法.圖7 視頻序列foreman及2×2倍增強結果(第6, 15, 22, 28幀)

表2中，分別對視頻序列foreman, ice和soccer的插值指標進行匯總，進一步給出了論文方法和其他幾種圖像插值算法的PSNR指標對比，其中每個單元格的上下兩行數據分別對應2×2倍和3×3倍插值PSNR指標.PSNR指標值為前50幀的平均值.

表2 測試圖像及視頻序列的2×2倍和3×3倍插值PSNR指標對比

由實驗結果可以看到：

(1) 經典的雙立方插值算法在圖像的平坦區(qū)域可以產生較為光滑的結果，但是同樣也造成了圖像邊緣和紋理處的大量模糊和鋸齒效應(參見圖6(b)處的蝴蝶翅膀條紋).從本質上看，雙立方插值并沒有為圖像增加有效的細節(jié)信息，這是因為其采用的是一個過度簡化的分段光滑圖像模型，因此所取得的圖像質量也是最差的.

(2) 基于結構化稀疏表達模型的ANSM算法和基于深度學習的圖像超級上采樣方法DLSS取得的插值圖像質量與雙立方插值相比有了極大的提高，通過對圖5中的帽沿、圖6中的翅膀紋理和圖7中房屋木板邊緣的觀察可以看出，這兩種算法重建得到的圖像紋理清晰銳利，能夠很好地從混疊的低分辨率圖像中對原始的邊緣結構特征進行恢復.總體上看，ANSM方法較DLSS方法產生的圖像具有更清晰的邊緣，對混疊區(qū)域的插值效果也更好.但是，ANSM方法的缺點在于其計算量過大，DLSS方法同樣存在效率問題，為了達到較高的速度，往往需要GPU硬件的加速.另外，DLSS方法在對小輸入尺寸的圖像進行插值時，由于其性能不穩(wěn)定，可能會導致較差的輸出結果，因此目前該項技術主要使用在2 K及以上的高分辨率視頻及圖像的分辨率增強上.

(3) 從插值圖像的主觀視覺質量看，論文所提插值算法能夠取得類似于ANSM和DLSS方法的結果，邊緣和紋理區(qū)域較為清晰、細節(jié)豐富，平坦區(qū)域色彩過渡光滑自然，不存在鋸齒效應，視覺效果明顯提升，能夠在圖像的邊緣等其他高頻部分對相應的圖像結構和紋理進行較好的重建.與ANSM和DLSS方法相比，論文方法的優(yōu)點在于簡單，不需要求解復雜的優(yōu)化方程，計算量小，同時仍具有較好的插值精度，這與表2的PSNR結果是一致的.

4 結束語

插值是圖像處理中的一個重要問題，在公共安全、軍事遙感、醫(yī)學成像、消費電子領域中具有廣泛的應用.論文提出了一種基于局部方向正則化的快速圖像插值算法，該算法以低分辨率輸入圖像的雙立方預插為初始點，通過迭代的方式，首先對原始圖像的局部方向圖進行估算，然后通過構造和求解符合目標圖像先驗模型的正則化方程，對低分辨率圖像中的邊緣結構進行擬合與增強，實現對高分辨率目標圖像的重建.該方案原理簡單，完全在空域中實現，不涉及復雜優(yōu)化方程的求解，計算復雜度低，易于實現，可以有效地增強圖像的分辨率.論文為圖像的高精度快速插值提供了一種新方法.