楊秀紅，茍?zhí)锢?，薛怡，金海燕?，石爭(zhēng)浩，2

1.西安理工大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院，西安 710048；2.陜西省網(wǎng)絡(luò)計(jì)算與安全技術(shù)重點(diǎn)實(shí)驗(yàn)室，西安 710048

0 引言

張量作為向量和矩陣的多維擴(kuò)展，在現(xiàn)實(shí)生活中發(fā)揮著越來(lái)越重要的作用，例如，視頻圖像、高光譜成像（劉盛 等，2021）、磁共振成像（Yama 等，2020）和計(jì)算機(jī)斷層掃描（Zhang 等，2020b）等。然而，在實(shí)際應(yīng)用中，由于獲得的張量數(shù)據(jù)可能是不完整的，嚴(yán)重降低數(shù)據(jù)質(zhì)量以及限制應(yīng)用。張量補(bǔ)全（tensor completion，TC）旨在從不完整的觀測(cè)中恢復(fù)缺失條目，在計(jì)算成像中有許多應(yīng)用，如高光譜圖像恢復(fù)（楊潤(rùn)宇 等，2019）、彩色圖像/視頻補(bǔ)全（Jiang等，2023；Qin 等，2022）和人臉識(shí)別（Fu 等，2019）。對(duì)于這種不適定性逆問(wèn)題，當(dāng)考慮缺失元素和已觀測(cè)元素之間的關(guān)系時(shí)，與矩陣數(shù)據(jù)的結(jié)構(gòu)先驗(yàn)相比，張量數(shù)據(jù)的結(jié)構(gòu)先驗(yàn)信息是復(fù)雜的，往往難以確定（Cichocki 等，2017）。張量數(shù)據(jù)能夠描述真實(shí)世界中多個(gè)數(shù)據(jù)通道之間結(jié)構(gòu)特征的耦合，相對(duì)低維的相關(guān)特征信息被嵌入了更高維的度量中，因而結(jié)構(gòu)先驗(yàn)信息的表示比矩陣數(shù)據(jù)更加復(fù)雜。

張量分解可有效挖掘張量數(shù)據(jù)的內(nèi)在特征，但傳統(tǒng)分解方法誘導(dǎo)的張量秩函數(shù)無(wú)法探索張量不同模式之間的相關(guān)性；另外，傳統(tǒng)張量補(bǔ)全方法通常將全變分約束施加于整體張量數(shù)據(jù)，無(wú)法充分利用張量低維子空間的平滑先驗(yàn)。為了解決這兩個(gè)問(wèn)題，本文旨在有效提取關(guān)于潛在張量結(jié)構(gòu)的有用信息，以提高缺失元素的恢復(fù)性能。

1 相關(guān)研究現(xiàn)狀

張量秩最小化方法在TC 中有著廣泛的應(yīng)用。然而，與矩陣秩不同，張量秩的定義并不是唯一的?；诓煌膹埩糠纸?，張量秩有不同的定義。Tucker秩可以定義為張量沿著每個(gè)模式展開(kāi)矩陣秩的多線性組合。HaLRTC（high accuracy low-rank tensor completion）（Liu 等，2013）將矩陣核范數(shù)擴(kuò)展到高維張量，建立沿著張量每個(gè)模式方向的展開(kāi)矩陣秩之和（sum-of-nuclear-norms，SNN），并將SNN 作為Tucker 秩函數(shù)的凸近似，同時(shí)將張量補(bǔ)全表示為一個(gè)凸優(yōu)化問(wèn)題。Mu 等人（2014）證明了將SNN 作為張量秩函數(shù)的凸松弛是次優(yōu)的，因此為縮減SNN 與非凸模型之間的差距，提出一種更適合的凸松弛，在保持張量低秩性的同時(shí)，將張量展開(kāi)成一組更平衡的矩陣。然而，現(xiàn)有的方法與非凸模型相比，時(shí)間、計(jì)算復(fù)雜度仍然不是最優(yōu)的，并不適合處理大規(guī)模張量數(shù)據(jù)。Han等人（2017）受矩陣截?cái)嗪朔稊?shù)（Guo等，2017）啟發(fā)，提出一種張量截?cái)嗪朔稊?shù)，并在目標(biāo)函數(shù)中定義了一個(gè)多維離散余弦變換的1-范數(shù)約束的稀疏正則化項(xiàng)?；趶埩科娈愔捣纸猓╰ensor singular value decomposition，T-SVD）的多線性秩和張量管秩可用于構(gòu)造張量秩最小化模型，Song 等人（2020）提出基于變換的張量管秩，使用酉變換代替?zhèn)鹘y(tǒng)張量奇異值分解中的離散傅里葉變換，可以得到更低的張量管秩，對(duì)于魯棒性張量補(bǔ)全更加有效。張量管核范數(shù)的部分和（partial sum of tubal nuclear norm，PSTNN）（Jiang 等，2020）研究了T-SVD（tensor singular value decomposition）框架下的張量恢復(fù)問(wèn)題，即提出張量管核范數(shù)的部分和（PSTNN）作為張量管多秩的替代物，建立了基于PSTNN 的張量恢復(fù)模型。Chen等人（2021）提出一種基于自動(dòng)加權(quán)機(jī)制的張量鏈秩魯棒性補(bǔ)全模型，該模型可利用一個(gè)自動(dòng)加權(quán)機(jī)制來(lái)平衡同一張量中不同矩陣的重要性。傳統(tǒng)的基于張量環(huán)分解模型對(duì)于張量秩的選擇非常敏感，因此，Long等人（2021）提出了一種基于貝葉斯方法的低秩張量環(huán)補(bǔ)全方法，通過(guò)自動(dòng)學(xué)習(xí)數(shù)據(jù)的低秩結(jié)構(gòu)來(lái)恢復(fù)圖像。利用稀疏誘導(dǎo)的分層先驗(yàn)約束因子張量的水平切片和正向切片，采用貝葉斯推理得到張量環(huán)秩。然而這些傳統(tǒng)的方法只能獨(dú)立地利用張量每個(gè)模式的低秩性，無(wú)法有效利用張量多個(gè)維度之間緊密的多線性相互作用的先驗(yàn)知識(shí)。

低秩張量分解（low-rank tensor decomposition，LRTD）是TC 的另一條研究主線，它可以解決張量秩最小化的部分缺點(diǎn)。然而，LRTD 面臨的挑戰(zhàn)是設(shè)計(jì)一個(gè)合適的分解模型來(lái)表示不完整張量的低秩結(jié)構(gòu)。Tucker 分解（Tucker 等，1966）是指將一個(gè)張量分解為一個(gè)核張量以及一組因子矩陣的模式乘積之和。隨著張量缺失條目的增加，因子分解方案可能會(huì)因錯(cuò)誤預(yù)設(shè)秩大小，從而導(dǎo)致過(guò)擬合現(xiàn)象。為了解決這一難題，并實(shí)現(xiàn)在補(bǔ)全張量的同時(shí)捕獲底層的模型結(jié)構(gòu)。Chen 等人（2014）提出一種在張量補(bǔ)全的同時(shí)進(jìn)行張量分解的方法（simultaneous tensor decomposition and completion，STDC）。TRLRF（tensor ring low-rank factors）（Yuan 等，2019a）建立了多線性張量秩與TR（tensor ring）因子秩之間的理論關(guān)系，使得低秩約束可以隱式地在TR 潛在空間上進(jìn)行。Zeng（2021）通過(guò)對(duì)Tucker 分解的深入研究，提出一種新的基于多模式核張量分解的低秩張量補(bǔ)全模型，同時(shí)提出該模型的非凸松弛形式。統(tǒng)計(jì)先驗(yàn)的幫助下，最近的LRTD 方法利用貝葉斯框架來(lái)增強(qiáng)TC 模型，Zhang 等人（2019）提出一種基于自適應(yīng)低秩表示的張量補(bǔ)全模型，在貝葉斯框架中分別表示潛在的張量低秩和非低秩結(jié)構(gòu)。在T-SVD分解框架（Zhang 和Aeron，2017）中，張量數(shù)據(jù)可以用一個(gè)定義的張量乘積算子來(lái)表示，元素之間具有循環(huán)卷積和乘法運(yùn)算?；趶埩科娈愔捣纸猓↙u 等，2020；Zhang 等，2019）下張量多秩和張量管秩的定義，建立了張量恢復(fù)模型。張量鏈分解（Oseledets，2011）是一種高級(jí)張量網(wǎng)絡(luò)分解模型，可將高維張量分解為一系列三維核張量，這些核張量相互作用，在張量補(bǔ)全領(lǐng)域中有著廣泛的應(yīng)用。Yuan 等人（2019b）提出兩種基于張量鏈分解的張量補(bǔ)全算法，分別是張量鏈加權(quán)優(yōu)化（tensor train weighted optimization，TTWOPT）和張量鏈隨機(jī)梯度下降（tensor train stochastic gradient descent，TT-SGD）優(yōu)化張量鏈分解因子，用以捕獲張量數(shù)據(jù)的潛在特征，重構(gòu)缺失數(shù)據(jù)。然而，張量鏈分解和張量環(huán)分解只能建立相鄰兩個(gè)分解因子之間的聯(lián)系，并且對(duì)張量模式排列方式特別敏感，無(wú)法靈活地表示張量。因此，Zheng 等人（2021）提出全連接張量網(wǎng)絡(luò)分解。全連接張量網(wǎng)絡(luò)分解的優(yōu)勢(shì)在于能夠充分描述任意兩種張量模式之間的內(nèi)在關(guān)聯(lián)，并具有充分表征全局相關(guān)性和保持其換位不變性的能力。

低秩分解作為一種強(qiáng)大的張量分析工具，在深度學(xué)習(xí)領(lǐng)域也有著廣泛的應(yīng)用。Hou 等人（2017）為解決遙感圖像檢測(cè)問(wèn)題，提出了一種基于低秩的顯著性計(jì)算和深度特征表示方法。利用卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）提取超像素特征，并對(duì)兩幅輸入圖像的變化特征進(jìn)行低秩分解，生成顯著性映射，表示每個(gè)像素的變化概率。Luo 等人（2022）提出一種非線性多層神經(jīng)網(wǎng)絡(luò)，僅利用觀測(cè)張量來(lái)學(xué)習(xí)非線性變換。該網(wǎng)絡(luò)利用變換張量的低秩表示和觀測(cè)張量與重構(gòu)張量之間的數(shù)據(jù)擬合來(lái)學(xué)習(xí)非線性變換。Wang 等人（2022）提出了一種新的基于耦合非線性變換（coupled nonlinear transform，CoNoT）的低秩張量表示，以獲得更好的低秩近似，并使用CNN 作為CoNoT，它可以以無(wú)監(jiān)督的方式僅從觀察到的多維圖像中學(xué)習(xí)。針對(duì)現(xiàn)有張量補(bǔ)全方法在表征低秩結(jié)構(gòu)方面的能力有限問(wèn)題，Xue 等人（2022）提出一種基于稀疏性的多層張量分解（multilayer sparsity-based tensor decomposition，MLSTD）方法，以描述具有隱藏在張量中的隱式稀疏屬性的復(fù)雜層次知識(shí)，提高低秩張量補(bǔ)全的效果。Yu和Yang（2023）定義了一個(gè)新的非凸張量偽范數(shù)來(lái)代替張量核范數(shù)的加權(quán)和（weighted sum of the tensor nuclear norm，WSTNN）作為更緊秩近似，然后引入時(shí)空矩陣以利用低秩靜態(tài)背景和稀疏前景的固有時(shí)空特征，最后引入了一個(gè)非相干項(xiàng)來(lái)約束稀疏前景和動(dòng)態(tài)背景以提高可分性。

全變分（total variation，TV）（Chen 和Zhang 等，2021）正則化是一種圖像去噪和圖像恢復(fù)技術(shù)，通過(guò)對(duì)圖像灰度級(jí)梯度度量，可描述圖像的邊緣和紋理信息，為圖像處理（He 等，2019）和模式識(shí)別（Zhang等，2020a）應(yīng)用提供了新思路。在TC 問(wèn)題中，TV 項(xiàng)通常被納入到一個(gè)低秩框架中，以便表征在不同維度上的局部分段平滑特性和全局低秩結(jié)構(gòu)，比較典型的工作有MF-TV（matrix factorization-total variation）（Ji 等，2016）和LRTC-TV-II（low-rank tensor completion total variation-II）（Li 等，2017；Ko 等，2020）。Wang等人（2018）提出一種基于各向異性空間光譜全變分正則化（anisotropic spatial-spectral total variation，SSTV）與Tucker 分解的高光譜圖像去噪算法。在全變分的基礎(chǔ)之上，Yang 等人（2022）提出將分?jǐn)?shù)階有界變分空間中的分?jǐn)?shù)階全變分納入至低秩張量補(bǔ)全模型中，以便高效恢復(fù)高損失率的多通道視覺(jué)圖像。然而，基于TV的張量局部稀疏性的描述無(wú)法利用張量子空間稀疏先驗(yàn)知識(shí)。

本文在張量秩最小化基礎(chǔ)上，融入多模式張量分解技術(shù)描述全局低秩特性；對(duì)于張量局部稀疏性，本文在多模式張量分解框架中假設(shè)因子矩陣具有潛在的局部分段平滑特性，即利用因子梯度稀疏性衡量局部稀疏性。基于以上兩點(diǎn)，提出了一個(gè)結(jié)合全局低秩性與局部稀疏性的張量恢復(fù)模型，主要貢獻(xiàn)如下：1）受多模式核張量分解技術(shù)的啟發(fā)，將多模式張量分解技術(shù)與張量秩最小化思想相結(jié)合，可以有效利用張量不同模式之間的相關(guān)性。2）利用多模式張量分解模型的因子梯度稀疏先驗(yàn)作為有效約束，來(lái)表征張量的底層子空間局部結(jié)構(gòu)的稀疏性。3）提出一種稀疏先驗(yàn)多模式張量分解恢復(fù)模型，同時(shí)利用張量的全局低秩性與局部稀疏性來(lái)恢復(fù)受損的張量數(shù)據(jù)。其中，對(duì)原始張量施加核范數(shù)約束，以此捕獲張量的全局低秩性，并對(duì)因子矩陣施加因子梯度稀疏正則化約束，以便探索張量子空間的局部稀疏性，從而進(jìn)一步提高了張量恢復(fù)性能。

最終，本文采用一種基于乘子交替方向法（alternating direction method of multipliers，ADMM）（Boyd 等，2011）的有效優(yōu)化算法來(lái)求解所提模型，其中每個(gè)變量和相關(guān)參數(shù)都可以通過(guò)求解封閉子問(wèn)題進(jìn)行更新。

另外，本文模型可應(yīng)用于深度學(xué)習(xí)網(wǎng)絡(luò)的輕量化中。例如：對(duì)張量數(shù)據(jù)在局部稀疏性的約束下進(jìn)行低秩分解，采用結(jié)構(gòu)化蒸餾方式保留最主要的網(wǎng)絡(luò)參數(shù)，去除冗余參數(shù)，在盡量保持網(wǎng)絡(luò)性能的前提下，達(dá)到輕量級(jí)的目的，所以本文算法有著重要的研究?jī)r(jià)值。

2 相關(guān)工作

2.1 本文相關(guān)符號(hào)

為便于介紹本文方法以及張量代數(shù)，本小節(jié)統(tǒng)一規(guī)定所使用的符號(hào)。標(biāo)量表示為小寫字母，例如x，y；向量表示為粗體小寫字母，例如x，y；矩陣表示為粗體大寫字母，例如X，Y；張量表示為加粗花體字母，例如X，Y。對(duì)于兩個(gè)大小相同的N階張量，其內(nèi)積可定義為，其Frobenius 范數(shù)定義為‖X‖F(xiàn)=。

張量模式-n排列：給定一個(gè)三階張量其模式-n排列可定義為或permute(X，k)，的第i個(gè)模式-3切片是X沿著模式-i方向的切片，即，其逆運(yùn)算可定義為。

張量模式-n乘積：張量模式-n乘積可以看做是矩陣乘積向高維張量的擴(kuò)展，對(duì)于X∈和矩陣U∈的模式-n乘積可以表示為Z=X×nU，張量X的模式-n乘積的展開(kāi)形式可表示為。

2.2 相關(guān)工作

2.2.1 多模式張量分解

多模式張量分解可將整體張量沿著每個(gè)模式分解為一組低維張量和一組因子矩陣。對(duì)于一個(gè)三階張量X∈，其多模式張量分解可定義為

式中，Cn為因子張量，An為因子矩陣。多模式張量分解如圖1所示。

圖1 三階張量的多模式張量分解Fig.1 Multi-mode tensor factorization of a third-order tensor

2.2.2 張量秩最小化模型

基于張量秩最小化模型可表述為

式中，X是潛在的張量，M是觀測(cè)到的張量，Ω則是觀測(cè)元素的索引集。

張量秩有很多種形式，如Tucker秩、CP秩、TT秩和TR 秩等。由于直接描述張量秩是一個(gè)NP-hard問(wèn)題，在矩陣補(bǔ)全中常常利用矩陣非零奇異值的數(shù)量，即核范數(shù)來(lái)代替矩陣秩函數(shù)。因此將核范數(shù)的概念推廣至描述張量秩，優(yōu)化模型（2）可以表述為

式中，‖·‖*為在不同張量分解技術(shù)誘導(dǎo)下產(chǎn)生的張量秩函數(shù)，即張量核范數(shù)。

基于張量秩最小化模型本質(zhì)上是尋找張量秩函數(shù)的近似代替，將張量補(bǔ)全問(wèn)題優(yōu)化為張量核范數(shù)最小化問(wèn)題，并試圖在張量補(bǔ)全過(guò)程中，保持張量?jī)?nèi)部精細(xì)結(jié)構(gòu)。在恢復(fù)不完整張量時(shí)，基于張量秩最小化模型比基于張量分解模型在準(zhǔn)確度和效率方面表現(xiàn)更加突出。

3 本文方法

本節(jié)在張量秩最小化模型的基礎(chǔ)上，提出結(jié)合稀疏先驗(yàn)與多模式張量分解的低秩張量恢復(fù)（sparsity prior multi-modal tensor factorization completion，SMTFC）方法。該方法核心思想是在張量秩最小化的同時(shí)，利用多模式張量分解技術(shù)處理張量不同模式方向的相關(guān)性，對(duì)整體張量施加低秩約束，以此捕獲張量全局低秩特性，同時(shí)完成張量分解與張量恢復(fù)任務(wù)。此外，對(duì)多模式分解矩陣施加因子梯度平滑約束，以此探索張量低秩子空間的稀疏先驗(yàn)。

3.1 張量多模式相關(guān)性分析

傳統(tǒng)的基于張量秩最小化的低秩張量補(bǔ)全模型是在張量低秩屬性約束下，通過(guò)最小化張量秩優(yōu)化恢復(fù)張量，張量秩可以是Tucker秩、TNN等。大量研究表明，張量數(shù)據(jù)的各個(gè)模式間具有相關(guān)性（Zheng等，2020），例如，高光譜圖像是同一場(chǎng)景在不同光譜波段上產(chǎn)生的不同成像結(jié)果，這表明光譜圖像在光譜維度中存在較高的相關(guān)性；一段視頻包含多幀圖像，在時(shí)間維度上不同的幀存在著高度相關(guān)。如圖2所示，圖2（a）為256×256×80 的Urban 高光譜圖像，圖2（b）是圖2（a）沿著每個(gè)模式展開(kāi)矩陣的奇異值曲線。

圖2 張量不同模式之間的相關(guān)性Fig.2 Correlation between different modes of a tensor（（a）Urban hyperspectral image；（b）singular value curve plot for unfolding matrix along each mode of（a））

從圖2可以觀察到，3種模式展開(kāi)矩陣的奇異值都呈現(xiàn)銳減趨勢(shì)，且只有一小部分奇異值大于零，這意味著張量在每個(gè)模式方向都是相關(guān)的，同時(shí)也反映了其在每個(gè)模式方向上均位于低秩子空間上。但Tucker分解誘導(dǎo)的Tucker秩和T-SVD誘導(dǎo)的TNN無(wú)法靈活處理張量的多模式相關(guān)性，因此將多模式張量分解技術(shù)融入張量秩最小化模型中，優(yōu)化后的張量秩最小化模型可表示為

3.2 稀疏性分析

式（4）將低秩性推廣至沿著張量每個(gè)模式方向的全局空間，稱為張量全局低秩性，但其缺乏對(duì)張量局部信息的描述。對(duì)于一個(gè)張量，多模式張量分解框架中的每個(gè)因子矩陣都包含著與其相應(yīng)模式的對(duì)應(yīng)潛在信息，并揭示了模式內(nèi)部和模式之間有價(jià)值的相關(guān)輔助信息。自然的張量數(shù)據(jù)通常具有局部稀疏性，例如高光譜圖像中的道路和建筑等具有相似性，以及視頻的幀之間具有較強(qiáng)的連續(xù)性，沿著時(shí)域方向靜態(tài)背景的可重復(fù)性，這些均可以視為局部稀疏性。在數(shù)學(xué)上，對(duì)于給定的N階張量X∈，其張量子空間局部稀疏性可表示為

式中，Ln∈為平滑矩陣，Ln(i，i)=1，Ln(i，i+1)=-1，平滑矩陣其他元素為零。p是選擇稀疏性約束類型的參數(shù)，當(dāng)p=1 時(shí)，f(An)為基于拉普拉斯分布的稀疏先驗(yàn)，當(dāng)p=2 時(shí)，f(An)為基于高斯分布的稀疏先驗(yàn)。

為進(jìn)一步驗(yàn)證局部稀疏先驗(yàn)有效性，在一個(gè)開(kāi)源高光譜數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)。圖3 為一個(gè)三階張量的多模式張量分解因子梯度稀疏性示意圖。

圖3 三階張量的多模式張量分解因子梯度稀疏性示意圖Fig.3 Illustration of the gradient sparsity of the multi-mode tensor factorization factor for a third-order tensor

圖3 左側(cè)是大小為256×256×80 的Urban 高光譜數(shù)據(jù)集及其多模式張量分解示意圖，右側(cè)為因子梯度稀疏性示意圖。在圖3 中，因子梯度直方統(tǒng)計(jì)圖的絕大多數(shù)因子梯度值為零或接近零，可以證明多模式張量分解因子具有局部稀疏性。

綜上，本文在張量秩最小化模型的基礎(chǔ)上，結(jié)合多模式張量分解與局部稀疏先驗(yàn)優(yōu)化，構(gòu)建SMTFC模型，即在張量潛在子空間假設(shè)的基礎(chǔ)上，選擇局部稀疏性先驗(yàn)用以保留局部分段的相似性。

SMTFC模型的目標(biāo)函數(shù)表示為

式中，λn＞0，τn＞0為正則化參數(shù)，同樣利用Frobenius范數(shù)約束，從而防止在優(yōu)化迭代中過(guò)擬合。此外，與Xue等人（2022）方法相同，這里p=1。

4 整體算法流程

本節(jié)在稀疏先驗(yàn)與多模式張量分解的低秩張量恢復(fù)模型構(gòu)建基礎(chǔ)上，對(duì)張量恢復(fù)模型展開(kāi)討論，并對(duì)模型優(yōu)化求解過(guò)程進(jìn)行詳細(xì)闡述，以便實(shí)現(xiàn)基于稀疏先驗(yàn)與多模式張量分解的低秩張量恢復(fù)任務(wù)。

4.1 模型說(shuō)明

圖4 為SMTFC 模型的整體流程示意圖。如圖4所示，本文算法首先通過(guò)多模式張量分解將不完整張量分解為一系列低維因子張量與因子矩陣，使用張量核范數(shù)對(duì)整體張量進(jìn)行低秩約束，并利用張量奇異值分解對(duì)整體張量進(jìn)一步分解。與此同時(shí)，為進(jìn)一步探索張量潛在子空間的先驗(yàn)條件，對(duì)因子矩陣施加因子梯度稀疏正則化約束。通過(guò)對(duì)整體張量施加張量核范數(shù)約束，可有效捕獲張量全局低秩特性，利用多模式張量分解可有效處理張量不同模式之間的相關(guān)性，同時(shí)因子梯度稀疏先驗(yàn)可充分利用張量潛在信息，從而進(jìn)一步提高張量恢復(fù)性能。

圖4 SMTFC模型示意圖Fig.4 Illustration of SMTFC model

4.2 求解過(guò)程

與LRTC-3DTV 模型優(yōu)化求解過(guò)程相似，本節(jié)同樣采用ADMM 技術(shù)求解優(yōu)化該模型。在實(shí)際應(yīng)用中為方便后續(xù)的優(yōu)化求解，可以利用張量模式-n排列操作對(duì)原始張量進(jìn)行permute 運(yùn)算，即=permute(X，n)，n=1，2，3。將模式-n乘積轉(zhuǎn)化為模式-3 乘積，轉(zhuǎn)化后的模式-n分解可表示為。因此，通過(guò)permute 運(yùn)算優(yōu)化后的式（6）可表述為

利用增廣拉格朗日乘子法將式（8）優(yōu)化為增廣拉格朗日函數(shù)，即

式中，張量Wn，Tn以及矩陣均為拉格朗日乘子，ρ1，ρ2和ρ3為懲罰參數(shù)，隨后通過(guò)以下解決方案更新各個(gè)變量。

這個(gè)最小化問(wèn)題可以通過(guò)軟閾值收縮運(yùn)算解決，即

式中，shrinkage?(x)=sign(x).*max{|x|-?，0}，“.*”代表元素級(jí)乘積，x為矩陣中的一個(gè)元素。

對(duì)于上述優(yōu)化子問(wèn)題（13）可以視為sylvester 矩陣方程。

式中，F(xiàn)1為一維離散傅里葉變換（discrete fourier transform，DFT）矩陣。通過(guò)sylvester 矩陣方程快速求解法并結(jié)合式（13）可以求解式（12），即

式中，fold表示將H矩陣沿模-3折疊為張量。

上述優(yōu)化子問(wèn)題可以通過(guò)張量奇異值閾值算子（tensor singular value thresholding，t-SVT）解決，因此的求解方式可表示為

式中，D?(Z)=U *S?*VT，這里U，S，V為張量Z進(jìn)行T-SVD 后產(chǎn)生的張量，S?滿足以下形式：，fft為傅里葉變換，?為閾值。

5）更新變量X。通過(guò)固定其他變量，可得到關(guān)于X的優(yōu)化子問(wèn)題，即

因此，關(guān)于X的優(yōu)化子問(wèn)題可以利用如下優(yōu)化方案解決，即

更新拉格朗日乘子Wn、Tn以及矩陣，具體計(jì)算為

輸入：觀測(cè)張量M，正則化參數(shù)αn、λn，觀測(cè)張量條目索引Ω。

輸出：恢復(fù)張量X。

2）fork=1，2，…，Kdo；

7）更新變量X，通過(guò)式（21）求解；

10）end。

5 實(shí)驗(yàn)與結(jié)果分析

本文將在高光譜圖像（hyperspectral image，HSI）數(shù)據(jù)集、多光譜圖像（multispectral image，MSI）數(shù)據(jù)集、MRI（magnetic resonance imaging）數(shù)據(jù)集以及YUV（也稱YCbCr）視頻數(shù)據(jù)集上進(jìn)行對(duì)比實(shí)驗(yàn)。

1）實(shí)驗(yàn)環(huán)境。軟件環(huán)境為windows11 64 位，MATLAB R2021b，實(shí)驗(yàn)硬件環(huán)境為AMD Ryzen 7 6800H處理器和16.0 GB RAM內(nèi)存。

2）評(píng)估準(zhǔn)則。本文將恢復(fù)張量數(shù)據(jù)的所有通道的PSNR（peak signal-to-noise ratio）和SSIM（structural similarity）分別取平均值，記為MPSNR 和MSSIM。PSNR的定義為

式中，MAX表示圖像中最大的像素，MSE表示恢復(fù)圖像與原始圖像X的均方誤差。MSE定義為

式中，N代表圖像像素的總個(gè)數(shù)。

3）對(duì)比方法。選擇HaLRTC（Liu等，2013）、LRTCTV-II（Li等，2017）、MF-TV（Ji等，2016）、TRLRF（Yuan，2019a）、PSTNN（Jiang 等，2020）、LPRN（solve the nonconvex LRTC model）（Yu 和Yang，2023）、LGNet（Quan等，2022）和GP-WLRR（global prior refined weighted low-rank representation）（Liao等，2024）作為對(duì)比方法。其中，后兩種是深度學(xué)習(xí)的方法。在預(yù)訓(xùn)練參數(shù)的基礎(chǔ)上，LGNet和GP-WLRR使用高光譜圖像數(shù)據(jù)集、多光譜圖像數(shù)據(jù)集、YUV視頻圖像數(shù)據(jù)集、fastMRI醫(yī)學(xué)圖像數(shù)據(jù)集進(jìn)行參數(shù)微調(diào)，數(shù)據(jù)集均為200 幅圖像。設(shè)置LGNet 的學(xué)習(xí)率為0.000 2，epoch 為100；GP-WLRR的學(xué)習(xí)率為0.000 1，epoch為100。

4）參數(shù)設(shè)置。對(duì)于所有的張量恢復(fù)模型，迭代停止閾值條件均為ε=1.0×10-6，最大迭代次數(shù)K=300。本文方法懲罰參數(shù)=1.0×10-2，調(diào)優(yōu)參數(shù)β=1.1。與LRTC-TV-II相似，對(duì)于每組實(shí)驗(yàn)=1.0×103，=1，αn=。

5.1 高光譜圖像

測(cè)試圖像為Urban、Washington DC Mall 高光譜圖像數(shù)據(jù)集，均由Hydice 傳感器取得，其中原始Urban 圖像數(shù)據(jù)集大小為307×307×210，去除嚴(yán)重吸水波段后大小為307×307×162，原始Washington DC Mall 圖像數(shù)據(jù)集大小1 208×307×191。實(shí)驗(yàn)中Urban 和Washington DC Mall 高光譜圖像數(shù)據(jù)集大小為256×256×80。每個(gè)高光譜數(shù)據(jù)均可視為3 階張量，并將每個(gè)高光譜圖像進(jìn)行歸一化處理。圖5 為本次實(shí)驗(yàn)所使用到的高光譜圖像數(shù)據(jù)集。其中，圖5（a）（b）分別為高光譜圖像數(shù)據(jù)集Urban 和Washington DC Mall的第70波段圖像。

圖5 高光譜圖像數(shù)據(jù)集Fig.5 HSIs datasets（（a）Urban；（b）Washington DC Mall）

實(shí)驗(yàn)中設(shè)置的3 種丟失率（missing rate，MR）分別為80%、90%、95%。為了驗(yàn)證不同方法在高光譜圖像上的恢復(fù)性能，將從定量評(píng)價(jià)以及視覺(jué)評(píng)價(jià)的角度對(duì)不同的實(shí)驗(yàn)方法進(jìn)行評(píng)估。

在客觀評(píng)價(jià)指標(biāo)方面，表1 為在各丟失率下不同恢復(fù)方法在Urban 以及Washington DC Mall 上恢復(fù)張量的MPSNR、MSSIM 值。如表1 所示，在所有實(shí)驗(yàn)方法中，SMTFC 模型在客觀評(píng)價(jià)指標(biāo)上均獲得最佳的恢復(fù)精度。在統(tǒng)計(jì)意義上，SMTFC 模型獲得最佳的恢復(fù)性能。

表1 不同恢復(fù)方法在高光譜圖像上的定量比較Table 1 Quantitative comparison of different completion methods for HSIs

在主觀視覺(jué)效果方面，圖6 和圖7 顯示了當(dāng)MR為90%時(shí)，不同方法在高光譜圖像數(shù)據(jù)集Urban 和Washington DC Mall 的第70 光譜波段恢復(fù)結(jié)果的視覺(jué)評(píng)價(jià)，圖中數(shù)值為PSNR 值。以Washington DC Mall 為例，TRLRF 和PSTNN 可以獲得一定的視覺(jué)效果，而HaLRTC、LRTC-TV-II和MF-TV 由于在構(gòu)建張量恢復(fù)模型時(shí)采用了張量矩陣化思想，破壞了張量復(fù)雜的高維內(nèi)在結(jié)構(gòu)，導(dǎo)致恢復(fù)結(jié)果的邊緣模糊不清，無(wú)法精確恢復(fù)圖像。SMTFC 模型的PSNR 值最高，恢復(fù)圖像獲得了良好的視覺(jué)效果，將局部細(xì)節(jié)放大，SMTFC 模型可以有效保留圖像的邊緣結(jié)構(gòu)與精細(xì)的紋理結(jié)構(gòu)，獲得了最佳視覺(jué)效果。

圖6 不同方法在高光譜圖像數(shù)據(jù)集Urban上的視覺(jué)評(píng)價(jià)Fig.6 Visual evaluation of different completion methods on Urban dataset of HSIs

圖7 不同方法在高光譜圖像數(shù)據(jù)集Washington DC Mall上的視覺(jué)評(píng)價(jià)Fig.7 Visual evaluation of different completion methods on Washington DC Mall dataset of HSIs

5.2 多光譜圖像

本小節(jié)測(cè)試圖像來(lái)自CVAE（Columbia Imaging and Vision Laboratory），以Toy 和Feathers 為例，數(shù)據(jù)集尺寸均為256×256×31，將每個(gè)多光譜圖像進(jìn)行歸一化處理，MR同樣設(shè)置為80%、90%和95%。圖8為本次實(shí)驗(yàn)多光譜圖像數(shù)據(jù)集中Toy 和Feathers 的第30波段。

圖8 多光譜圖像數(shù)據(jù)集Fig.8 MSI datasets（（a）Toy；（b）Feathers）

在客觀評(píng)價(jià)指標(biāo)方面，表2 為在各丟失率下，不同方法在Toy 和Feathers 上恢復(fù)張量的MPSNR、MSSIM值。如表2所示，在所有實(shí)驗(yàn)方法中，SMTFC模型在客觀評(píng)價(jià)指標(biāo)上均獲得最佳的恢復(fù)精度。在統(tǒng)計(jì)意義上，SMTFC模型獲得最佳的恢復(fù)性能。

表2 不同恢復(fù)方法在多光譜圖像上的定量比較Table 2 Quantitative comparison of different completion methods for MSI

在主觀視覺(jué)效果方面，圖9 和圖10 顯示了在丟失率為90%的情況下，不同方法在圖像Toy和Feathers 第30 光譜波段的恢復(fù)結(jié)果。以Feathers 圖像為例，提出的SMTFC 模型的PSNR 值最高，并且在較高數(shù)據(jù)丟失率下，該模型仍能有效恢復(fù)羽毛的邊緣細(xì)節(jié)以及精細(xì)紋理結(jié)構(gòu)，其他方法無(wú)法恢復(fù)圖像的紋理結(jié)構(gòu)和邊緣信息。因此，提出的SMTFC 方法可以有效保留圖像的邊緣結(jié)構(gòu)與精細(xì)紋理結(jié)構(gòu)，在恢復(fù)多光譜圖像方面優(yōu)于其他方法。

圖9 不同恢復(fù)方法在多光譜圖像Toy上的視覺(jué)評(píng)價(jià)Fig.9 Visual evaluation of different completion methods on Toy of MSI

圖10 不同恢復(fù)方法在多光譜圖像Feathers上的視覺(jué)評(píng)價(jià)Fig.10 Visual evaluation of different completion methods on Feathers of MSI

5.3 視頻

測(cè)試數(shù)據(jù)為YUV 視頻，以Akyio 和Suzie 為例，測(cè)試數(shù)據(jù)尺寸為144×176×150。將每個(gè)視頻數(shù)據(jù)進(jìn)行歸一化處理，MR同樣設(shè)置為80%、90%和95%。圖11 為本次實(shí)驗(yàn)視頻數(shù)據(jù)集，其中圖11（a）（b）分別為Akyio和Suzie視頻數(shù)據(jù)的第1幀。

圖11 YUV視頻圖像數(shù)據(jù)集Fig.11 YUV video datasets（（a）Akyio；（b）Suzie）

表3為在丟失率為80%、90%、95%時(shí)，不同方法在Akyio 以及Suzie 視頻數(shù)據(jù)集上恢復(fù)張量的MPSNR、MSSIM 值。在所有實(shí)驗(yàn)方法中，對(duì)于不同丟失率的視頻圖像，提出的SMTFC 模型在Akyio、Suzie數(shù)據(jù)集上獲得了最佳的恢復(fù)精度。

表3 不同恢復(fù)方法在視頻數(shù)據(jù)集上的定量比較Table 3 Quantitative comparison of different completion methods for video datasets

在視覺(jué)評(píng)價(jià)方面，圖12 和圖13 顯示了在MR 為90%的情況下，不同恢復(fù)方法修復(fù)Akyio 和Suzie 視頻數(shù)據(jù)的第10幀圖像?？梢钥闯?，提出的SMTFC模型PSNR 值最高，有效保留了視頻中精細(xì)的紋理結(jié)構(gòu)與邊緣細(xì)節(jié)，獲得了良好的視覺(jué)效果。綜上所述，SMTFC 模型在恢復(fù)視頻圖像數(shù)據(jù)上優(yōu)于其他方法。

圖12 不同恢復(fù)方法在視頻數(shù)據(jù)Akyio上的視覺(jué)評(píng)價(jià)Fig.12 Visual evaluation of different completion methods on Akyio of video datasets

圖13 不同恢復(fù)方法在視頻數(shù)據(jù)Suzie上的視覺(jué)評(píng)價(jià)Fig.13 Visual evaluation of different completion methods on Suzie of video datasets

5.4 醫(yī)學(xué)圖像

本小節(jié)測(cè)試圖像模擬了正常大腦的磁共振成像，數(shù)據(jù)集大小為181×217×181，數(shù)據(jù)中每個(gè)像素的大小均在0至1之間。

在客觀指標(biāo)方面，表4 為在丟失率為80%、90%和95%時(shí)，不同恢復(fù)方法在醫(yī)學(xué)圖像數(shù)據(jù)集上的定量比較。在所有實(shí)驗(yàn)方法中，對(duì)于不同丟失率的醫(yī)學(xué)影像圖像，SMTFC 模型獲得了最佳的恢復(fù)精度。在統(tǒng)計(jì)意義上，SMTFC 獲得最佳的恢復(fù)性能。綜上所述，提出的SMTFC 模型在恢復(fù)醫(yī)學(xué)圖像數(shù)據(jù)上優(yōu)于其他方法。

表4 不同恢復(fù)方法在醫(yī)學(xué)圖像數(shù)據(jù)集上的定量比較Table 4 Quantitative comparison of different completion methods for medical images datasets

圖14 顯示了在丟失率為90%的情況下，不同恢復(fù)方法恢復(fù)醫(yī)學(xué)圖像數(shù)據(jù)的第10 個(gè)切片。如圖14所示，提出的SMTFC 模型恢復(fù)圖像的PSNR 值最高，LRTC-3DTV 模型恢復(fù)圖像的PSNR 值次高。SMTFC模型恢復(fù)的圖像主觀視覺(jué)效果最佳，而其他的實(shí)驗(yàn)方法在高丟失率的情況下無(wú)法有效恢復(fù)醫(yī)學(xué)圖像的精細(xì)的紋理信息與邊緣結(jié)構(gòu)。

圖14 不同恢復(fù)方法在醫(yī)學(xué)圖像數(shù)據(jù)集上的視覺(jué)評(píng)價(jià)Fig.14 Visual evaluation of different completion methods for medical images datasets

另外，表5 進(jìn)一步給出了SMTFC 和GP-WLRR在某些方面的對(duì)比結(jié)果。其中，GP-WLRR方法使用PyTorch 1.13.1 框架，開(kāi)發(fā)環(huán)境為PyCharm Community Edition 2021.1.3，本文SMTFC 方法運(yùn)行環(huán)境為MATLAB R2021b，不需要進(jìn)行神經(jīng)網(wǎng)絡(luò)預(yù)訓(xùn)練，經(jīng)過(guò)算法迭代即可得出結(jié)果。GP-WLRR 模型采用49.39 M 大小的數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練之后，還需要使用200 個(gè)張量數(shù)據(jù)進(jìn)行針對(duì)本任務(wù)的參數(shù)微調(diào)，而本文方法不必進(jìn)行微調(diào)。當(dāng)MR 為95%時(shí)，本文方法在4 種不同數(shù)據(jù)集上達(dá)到最高M(jìn)SSIM 的情況下，修復(fù)一個(gè)多維張量數(shù)據(jù)所需平均時(shí)間為310.83 s，GP-WLRR 為789.75 s。因?yàn)檫\(yùn)行環(huán)境不同無(wú)法嚴(yán)格進(jìn)行時(shí)間比對(duì)，但從一般意義上來(lái)說(shuō)，本文方法平均所需時(shí)間遠(yuǎn)少于GP-WLRR。

表5 本文方法與GP-WLRR比較Table 5 Comparison between SMTFC and GP-WLRR

6 結(jié)論

在傳統(tǒng)方法中，全變分施加于整體張量數(shù)據(jù)，無(wú)法探索張量低維子空間的平滑先驗(yàn)，并且傳統(tǒng)張量分解誘導(dǎo)的張量秩無(wú)法靈活處理不同模式下的相關(guān)性，導(dǎo)致張量恢復(fù)模型缺乏穩(wěn)定性。本文提出了一種基于稀疏先驗(yàn)與多模式張量分解的低秩張量恢復(fù)算法，能夠處理張量數(shù)據(jù)不同模式之間的相關(guān)性和張量子空間稀疏性。具體而言，在對(duì)原始張量施加核范數(shù)約束，恢復(fù)張量全局低秩性的同時(shí)，利用張量多模式分解將原始張量沿著每個(gè)模式方向分解為一個(gè)低維張量和一個(gè)因子矩陣，以便處理不同模式下的相關(guān)性，增加模型的穩(wěn)定性。其次，因子梯度稀疏正則化約束可以有效處理張量子空間稀疏性，也可為模型提供更多的輔助信息。將本文方法與8 種張量恢復(fù)方法在高光譜圖像、多光譜圖像以及醫(yī)學(xué)影像圖像上進(jìn)行對(duì)比實(shí)驗(yàn)，本文模型在4 種張量數(shù)據(jù)相比于傳統(tǒng)方法及LGNet 均獲得了最佳的實(shí)驗(yàn)結(jié)果，與深度學(xué)習(xí)方法GP-WLRR 的實(shí)驗(yàn)效果基本持平。本文模型可同時(shí)利用張量的全局低秩性與局部稀疏性，能夠?qū)Σ煌暾麖埩繑?shù)據(jù)進(jìn)行修復(fù)。本文模型對(duì)整體張量施加了張量核范數(shù)約束，可以有效利用張量的全局低秩性，然而，在優(yōu)化求解時(shí)，會(huì)使用到大量的張量奇異值分解操作，導(dǎo)致模型收斂速度減慢。在未來(lái)工作中，將考慮使用更加高效的張量秩函數(shù)，減少?gòu)埩科娈愔捣纸獯螖?shù)。