夏 虹，張雅倩，靳曉東，陳彥萍，高 聰，王忠民

(1.西安郵電大學(xué) 計算機(jī)學(xué)院，陜西 西安 710121；2.西安郵電大學(xué) 陜西省網(wǎng)絡(luò)數(shù)據(jù)分析與智能處理重點(diǎn)實驗室，陜西 西安 710121)

0 引 言

傳感設(shè)備和移動互聯(lián)設(shè)備的普遍應(yīng)用使得其產(chǎn)生的數(shù)據(jù)量飛快增長，關(guān)系錯綜復(fù)雜[1]。類型的多樣化和結(jié)構(gòu)的復(fù)雜化導(dǎo)致挖掘數(shù)據(jù)背后隱藏的信息變得困難，亟需引入一種高效的融合模型對這些多源異構(gòu)數(shù)據(jù)進(jìn)行統(tǒng)一表示?，F(xiàn)有的數(shù)據(jù)融合統(tǒng)一表示方法有本體論、語義網(wǎng)、大圖模型等，這些方法雖然在很多領(lǐng)域已經(jīng)有了廣泛的應(yīng)用，但其表示形式較為簡單，難以對高維空間中的跨領(lǐng)域異構(gòu)數(shù)據(jù)進(jìn)行表示。因此，基于張量的異構(gòu)數(shù)據(jù)統(tǒng)一表示方法開始被研究人員關(guān)注[2]。作為向量和矩陣向高階的擴(kuò)展，張量可以保持復(fù)雜數(shù)據(jù)的潛在結(jié)構(gòu)，能夠很好的描述和表示高維度、多樣化的海量數(shù)據(jù)。

數(shù)據(jù)的高維特征使計算處理的時間和空間復(fù)雜度急劇增加，隨之帶來的是“維度災(zāi)難”問題，所以在應(yīng)用之前如何對這些高維數(shù)據(jù)進(jìn)行降維處理是一個重要環(huán)節(jié)。已有的縮減維數(shù)的方法有相關(guān)系數(shù)矩陣、獨(dú)立成分分析、主成分分析、線性判別分析等，這些方法有一定的降維效果，但是會不可避免的破壞原始數(shù)據(jù)的內(nèi)在結(jié)構(gòu)，造成一定的損失?；趶埩繉Ω呔S數(shù)據(jù)強(qiáng)大的表示能力，一些工作[3-6]引入張量分解來獲取這些數(shù)據(jù)的低維特征，在降低計算復(fù)雜度的同時還可以維持原有數(shù)據(jù)的幾何結(jié)構(gòu)，減少損失。

由于各種不可避免的因素，如錯誤操作、缺少權(quán)限等，在實際應(yīng)用中獲取到的多維數(shù)據(jù)集往往是不完整的，如何利用已獲得的數(shù)據(jù)來估計缺失值是張量補(bǔ)全所要解決的問題。雖然矩陣補(bǔ)全[7-8]在過去的幾十年已經(jīng)得到廣泛的研究，含缺失值的張量也可以被展開為矩陣從而通過矩陣補(bǔ)全方法進(jìn)行恢復(fù)。但是這些方法會破壞張量的多維內(nèi)在結(jié)構(gòu)，并且當(dāng)引入更高維的大數(shù)據(jù)時會帶來指數(shù)級增長的計算復(fù)雜度，無法進(jìn)行高效的數(shù)據(jù)修補(bǔ)，因此需要利用張量全局結(jié)構(gòu)中的多維信息來補(bǔ)全缺失值。

近年來，張量研究在數(shù)據(jù)挖掘、圖像處理、服務(wù)質(zhì)量預(yù)測、交通流量預(yù)測等領(lǐng)域得到廣泛的關(guān)注。基于以上對張量分解和補(bǔ)全問題的簡單介紹，下文主要對相關(guān)方法及應(yīng)用進(jìn)行總結(jié)，為同行研究人員提供一個參考，以促進(jìn)未來的工作和應(yīng)用。

1 張量分解方法

最先提出的張量分解方法為CP分解和Tucker分解，它們將一個N階張量分解為若干因子矩陣來減小存儲空間并挖掘其核心要素。之后為了增強(qiáng)解釋能力并提高計算效率，張量網(wǎng)絡(luò)作為對傳統(tǒng)分解方法的推廣被提出，主要包括張量鏈和張量環(huán)，思想是將一個高階張量表示為一組稀疏的互相連接的低階張量，從而一個大規(guī)模高階張量優(yōu)化問題可以被轉(zhuǎn)化為小規(guī)模低階張量的處理問題，從而能夠減輕維度災(zāi)難的影響。本節(jié)介紹CP分解、Tucker分解、張量鏈分解以及張量環(huán)分解的過程及各自的優(yōu)缺點(diǎn)。

1.1 CP分解

CP分解[9]將高階張量表示為有限個秩為1的張量之和。三階張量的CP分解過程如圖1所示。對于一個N階張量，CP分解可表示為：

χ≈[λ;A(1),A(2),…,A(N)]≡

(1)

其中，°表示向量外積，R是張量的秩且分解后的因子矩陣A(n)∈RIn×R(n=1,2,…,N)。

圖1 三階張量χ∈RI1×I2×I3的CP分解過程

除了排列以及縮放的不確定性外，CP分解僅存在唯一可能的秩1張量的組合，數(shù)學(xué)表達(dá)形式簡單，分解過程簡便，可以大規(guī)模處理分布式數(shù)據(jù)集，但張量秩R的定義對分解結(jié)果影響較大，很難找到最優(yōu)解。

1.2 Tucker分解

Tucker分解[10]是將高階張量表示為一個核心張量和若干個張量模對應(yīng)的伴隨矩陣的乘積。三階張量Tucker分解過程如圖2所示。一個N階張量的Tucker分解表示為：

χ≈[G;A(1),A(2),…,A(N)]=

G×1A(1)×2A(2)…×NA(N)

(2)

其中,核心張量G包含原張量中的主要信息，分解得到的每個因子矩陣A(n)(n=1,2,…,N)表示第n階上的主成分。

圖2 三階張量χ∈RI1×I2×I3Tucker分解過程

分析以上兩種分解過程可以明顯看出，CP分解是Tucker分解的一種特殊情況，即當(dāng)Tucker分解中的核心張量G是對角的且每一階對應(yīng)的維數(shù)相等時，它也就變成了CP分解。與CP分解方法相比，Tucker分解更容易捕獲目標(biāo)張量中的潛在聯(lián)系，得到的核心張量的存儲空間相對于原始張量會大大減小，但其參數(shù)的數(shù)量與張量階成指數(shù)關(guān)系，時間復(fù)雜度與核心張量大小密切相關(guān)，因此不適合大規(guī)模數(shù)據(jù)的處理。

1.3 張量鏈分解

對于張量鏈分解(TT分解)[11]，其主要思想是使用張量的縮并運(yùn)算將一連串稀疏的低階張量(大多是2階或3階)進(jìn)行互連來表示一個高階張量，張量核的個數(shù)與張量的階數(shù)保持一致。圖3是一個N階張量的張量鏈分解過程，其數(shù)學(xué)表達(dá)式為：

χ=X(1)·X(2)·…·X(n)·…·X(N)

(3)

其中，·表示張量的縮并，即張量的單模乘。{r0,r1,…,rN}代表張量鏈的秩，且r0=rN=1。X(n)∈Rrn-1×In×rn(n=1,2,…,N)稱為核心張量(或張量核)。張量鏈中的元素定義為χ(i1,i2,…,iN)=X(1)(:,i1,:)X(2)(:,i2,:)…X(N)(:,iN,:)。

圖3 N階張量χ∈RI1×…×IN張量鏈分解過程

TT分解的原理是通過矩陣的序列乘積來近似張量中的每個元素，其中第一個和最后一個矩陣是向量，以確保標(biāo)量輸出。所以TT分解完全基于矩陣的QR或SVD分解序列，在處理一個高階張量時是穩(wěn)定的，且不需要進(jìn)行任何遞歸操作，分解后的參數(shù)級別和CP分解相同，所以它能夠解決維度災(zāi)難的問題。但是TT分解會受到以下幾點(diǎn)限制：(1)TT秩的限制，即r0=rN=1導(dǎo)致了有限的表示能力和靈活性。(2)TT秩總是有一個固定的模式，即邊界核越小，中間核越大，這不是特定張量的最佳模式。(3)張量核的多線性乘積有嚴(yán)格的順序約束，這使得優(yōu)化的張量核高度依賴于張量維數(shù)的排列，但尋找最優(yōu)排列是一個較為困難的問題。

1.4 張量環(huán)分解

一些學(xué)者考慮解決上述張量鏈分解的局限性。首先，需要針對TT秩的限制即r0=rN=1放寬條件，從而提高數(shù)據(jù)的表示能力。其次，應(yīng)減輕多線性乘積在張量核之間受排列順序的影響。第三，通過使模型對稱實現(xiàn)對張量核的循環(huán)移位和等價處理。為此，文獻(xiàn)[12]發(fā)現(xiàn)這些目標(biāo)可以通過使用跡操作來實現(xiàn)。由于這些張量核是循環(huán)互連的，看起來像一個環(huán)結(jié)構(gòu)，所以這種分解模式被稱為是張量環(huán)分解(TR分解)。

TR分解將一個高階張量表示為一連串循環(huán)相乘的三階張量。N階張量的張量環(huán)分解過程如圖4所示。其數(shù)學(xué)表達(dá)式為：

χ=tr(X(1),X(2),…,X(n),…,X(N))

(4)

其中與TT分解類似，X(n)∈Rrn-1×In×rn稱為核心張量，{r0,r1,…,rN}表示張量的秩，不同之處在于TR分解的秩約束為r0=rN，而不需要為1。張量環(huán)中的元素可以定義為χ(i1,i2,…,iN)=tr(X(1)(:,i1,:)X(2)(:,i2,:)…X(N)(:,iN,:))。

圖4 N階張量χ∈RI1×…×IN張量環(huán)分解過程

TR分解后得到的張量核都是三階張量，表示形式更加統(tǒng)一，存儲的變量數(shù)量較少，其分解格式是張量對張量的分解，因此它可以更好地保持原始數(shù)據(jù)的內(nèi)在結(jié)構(gòu)。TR分解的特點(diǎn)在于每個張量核在跡操作下都可以進(jìn)行循環(huán)移位和等價處理，而其他分解方式未能保持這一優(yōu)勢。

2 張量補(bǔ)全方法

在采集數(shù)據(jù)的過程中，一些無法避免的外在條件的干擾導(dǎo)致獲取的數(shù)據(jù)往往是不完整的。張量補(bǔ)全用來填補(bǔ)缺失的或未觀測到的條目。重構(gòu)張量分解后的低秩因子也可進(jìn)行張量補(bǔ)全，但是張量分解目的是從高維數(shù)據(jù)中提取出一個低秩結(jié)構(gòu)來降低計算復(fù)雜度，而張量補(bǔ)全是利用獲取到的低秩模型來估計缺失的數(shù)據(jù)。兩者目的的不同限制了一些傳統(tǒng)的分解方法的應(yīng)用，需要對其進(jìn)行改進(jìn)，并且這些方法需要手工設(shè)置張量秩。張量補(bǔ)全需要明確目標(biāo)張量中哪些數(shù)據(jù)是已觀測到的，在每次迭代過程中都需要估計丟失的信息。除了基于分解的方法外，Liu[13]在矩陣跡范數(shù)的基礎(chǔ)上對張量跡范數(shù)進(jìn)行定義，將張量秩最小化問題表述為凸優(yōu)化問題，提出了幾種低秩張量補(bǔ)全模型。雖然這些展開矩陣由于具有多線性相關(guān)性而不能獨(dú)立優(yōu)化，但這些方法可以在預(yù)先不設(shè)置張量秩的情況下來解決張量補(bǔ)全問題，減輕自定義張量秩的影響，這在實際操作中更易于處理。本節(jié)對幾種基于分解的和基于跡范數(shù)的補(bǔ)全方法進(jìn)行介紹。

2.1 基于分解的方法

基于分解的方法根據(jù)已觀測到的條目將目標(biāo)函數(shù)定義為最小化原始張量與分解重構(gòu)之間的誤差，然后通過對目標(biāo)函數(shù)進(jìn)行多次迭代優(yōu)化得到理想的潛在因子，利用這些潛在因素來預(yù)測缺失條目。下面列舉幾種基于分解的方法需要優(yōu)化的問題。

CP分解需要優(yōu)化的問題如下：

(5)

其中，χ和S是每個維度具有相同大小的n-模張量，在集合Ω中的元素是已給定的。

Tucker分解需要優(yōu)化的問題如下：

(6)

張量鏈分解需要優(yōu)化的問題如下：

(7)

張量環(huán)分解需要優(yōu)化的問題如下：

(8)

對以上幾種優(yōu)化問題的求解可以分為兩種情況。第一種情況是缺失值的輸入和模型參數(shù)的交叉估計同時完成，通常使用交替投影優(yōu)化來解決，如ALS優(yōu)化。這種方法操作簡單，但如果缺失比率逐漸增加，收斂速度可能會降低。第二種情況是忽略缺失值，只根據(jù)觀測到的部分?jǐn)?shù)據(jù)來建立模型，通常使用梯度優(yōu)化或概率方法來求解，對以上幾個目標(biāo)函數(shù)進(jìn)行加權(quán)優(yōu)化，在缺失率較高時有很好的補(bǔ)全效果。

2.2 基于跡范數(shù)的方法

基于跡范數(shù)最小化的方法被稱為低秩張量補(bǔ)全，是低秩矩陣補(bǔ)全的推廣，定義了張量跡范數(shù)，并將基于張量的非凸秩最小化問題定義為凸張量跡范數(shù)極小化問題。下面介紹基于跡范數(shù)的補(bǔ)全方法需優(yōu)化的問題及相應(yīng)求解算法。

基于秩最小化的張量補(bǔ)全模型需要優(yōu)化的問題如下：

(9)

(10)

本質(zhì)上，張量跡范數(shù)是沿所有模態(tài)展開所得的矩陣跡范數(shù)的凸組合。

Liu等人在文獻(xiàn)[13]中提出了幾種解決上述跡范數(shù)最小化問題的算法。2.2.1和2.2.2節(jié)分別介紹了簡單低秩張量補(bǔ)全算法和高精度低秩張量補(bǔ)全算法及各自的優(yōu)缺點(diǎn)。

2.2.1 簡單低秩張量補(bǔ)全

引入n個輔助矩陣M1,M2,…,Mn，可以將優(yōu)化問題轉(zhuǎn)化如下：

(11)

由于χ(i)=Mi的約束限制，矩陣跡范數(shù)項依然相互依賴難以解決。下式通過引入懲罰項βi(i=1,2,…,n)來獨(dú)立地解決每個子問題。

(12)

這是一個凸但不可微的優(yōu)化問題，能夠使用塊坐標(biāo)下降法來解決，在優(yōu)化其中一個塊變量的同時對其余塊變量進(jìn)行固定，因此將問題(12)轉(zhuǎn)化為對χ,M1,M2,…,Mn共n+1個塊的優(yōu)化求解。

在其余n個塊變量都固定的情況下，通過優(yōu)化求解問題(13)來得到最優(yōu)χ。

(13)

此問題的最優(yōu)解如下：

(14)

簡單低秩張量補(bǔ)全算法分割矩陣跡范數(shù)項之間的依賴關(guān)系，使它們能夠獨(dú)立求解，并通過使用塊坐標(biāo)下降法尋找全局最優(yōu)解。雖然該算法較易實現(xiàn)，但在實際操作過程中收斂速度較慢，并且擴(kuò)展到一般張量跡范數(shù)最小化問題也很困難，不具備通用性。

2.2.2 高精度低秩張量補(bǔ)全

(15)

上式對應(yīng)的拉格朗日函數(shù)如下：

(16)

由于交替方向乘子法(ADMM)能夠有效解決大規(guī)模目標(biāo)函數(shù)中含多個非光滑項的優(yōu)化問題，因此被用來求解函數(shù)(16)的極值。

更新χ需要求解以下優(yōu)化問題：

(17)

最優(yōu)χ可表示如下：

(18)

高精度低秩張量補(bǔ)全算法旨在解決沒有觀測噪聲的張量補(bǔ)全問題，使用ADMM方法直接處理等式約束，而不采用任何松弛技術(shù)，可以更快地實現(xiàn)較高的補(bǔ)全精度。

3 張量分解的應(yīng)用

目前各個領(lǐng)域所產(chǎn)生的數(shù)據(jù)規(guī)模逐漸變大，呈現(xiàn)出高維的特征。直接操作這些高維數(shù)據(jù)會導(dǎo)致計算復(fù)雜度急劇增加，并且可能出現(xiàn)“維度災(zāi)難”的問題。根據(jù)第1節(jié)中幾種方法的分析，張量分解的目的是對高維數(shù)據(jù)進(jìn)行降維處理和特征提取，解決傳統(tǒng)降維方法會破壞內(nèi)在信息和結(jié)構(gòu)的缺陷。第1節(jié)介紹的分解方法及推廣目前被應(yīng)用于很多領(lǐng)域，本節(jié)主要介紹張量分解方法在多源異構(gòu)大數(shù)據(jù)分析[3,4,14]、人臉識別[5,15-16]和數(shù)據(jù)壓縮[6,17-19]這三種應(yīng)用場景的最新進(jìn)展。

3.1 多源異構(gòu)大數(shù)據(jù)分析

日漸豐富的傳感設(shè)備及移動互聯(lián)設(shè)備從多個維度進(jìn)行數(shù)據(jù)的采集，得到海量的多源異構(gòu)數(shù)據(jù)。在數(shù)據(jù)量快速增長的時代，如何對海量、多源、異構(gòu)數(shù)據(jù)進(jìn)行統(tǒng)一表示以及降維處理是亟需解決的問題。目前基于本體論、語義網(wǎng)、大圖模型的表示方法僅在一定領(lǐng)域有好的效果，但不能在多數(shù)場景中通用，并且由于數(shù)據(jù)的高維性會丟失部分特征。為了減少存儲空間及后續(xù)的計算成本，解決“維度災(zāi)難”問題，還需要對這些統(tǒng)一表示后的高維數(shù)據(jù)進(jìn)行降維處理以獲取高質(zhì)量的核心數(shù)據(jù)。傳統(tǒng)的主成分分析、因子分析、獨(dú)立成分分析等方法僅適合處理低維數(shù)據(jù)，在高維數(shù)據(jù)處理方面效果不佳并會損壞內(nèi)部結(jié)構(gòu)，并且不能有效處理增量產(chǎn)生的流式數(shù)據(jù)。張量模型由于具有良好的統(tǒng)一表示能力和降維效果而在多源異構(gòu)大數(shù)據(jù)分析中受到關(guān)注。

Kuang[3]首先提出把從多個維度采集到的復(fù)雜異構(gòu)數(shù)據(jù)使用張量模型進(jìn)行統(tǒng)一表示，為結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)分別建立子張量，然后利用張量擴(kuò)展算子進(jìn)行融合。王在文獻(xiàn)[4]中提出了多種基于雅可比正交化的分布式增量高階奇異值分解方法，包括單模分解方法、樹形多模分解方法、基于RoundRobin環(huán)的分解方法以及嵌入式樹形多模分解方法。這些方法用來解決分布式以及增量處理中的張量展開問題。文獻(xiàn)[14]還將張量鏈分解引入大數(shù)據(jù)增量式降維問題中，分別介紹了基于奇異值分解和QR分解的增量式張量鏈分解方案，僅存儲更新后得到的低階核心張量來減小存儲空間并提高處理效率。

3.2 人臉識別

目前，在人們的日常生產(chǎn)生活中越來越多的用到人臉識別技術(shù)，如智能門禁、員工打卡、移動支付等。所以人臉識別研究在很多領(lǐng)域變得流行，并且現(xiàn)在已經(jīng)取得了一些顯著成果。人臉圖像信息通常以高維的形式呈現(xiàn)，如何從這些高維數(shù)據(jù)中進(jìn)行特征提取是人臉識別中的一個關(guān)鍵環(huán)節(jié)。傳統(tǒng)的基于向量的人臉識別方法如LDA、PCA、LPP以及基于矩陣的人臉識別方法如2D-LDA、2D-PCA、2D-LPP等會破壞人臉圖像原有的幾何結(jié)構(gòu)，并在降維的過程中會造成信息損失，所以一些研究人員考慮使用張量來建模人臉的彩色圖像信息，并基于張量分解方法來減小原始人臉圖像的維度數(shù)。

由于人臉圖像中的數(shù)據(jù)都是非負(fù)的，梁[5]在非負(fù)矩陣分解方法的基礎(chǔ)上提出了基于非負(fù)張量分解的人臉識別方法，能夠很好地捕獲人臉內(nèi)部核心信息，識別效率比NMF或PCA要高。宋等人[15]為了解決非負(fù)張量分解在提取人臉特征時冗余信息太多以及表達(dá)形式不夠簡單的問題，在此基礎(chǔ)上添加正交稀疏約束來獲得相關(guān)性較低的基圖像從而能夠獲得較好的識別效果。為了避免圖像增加時的重復(fù)運(yùn)算，文獻(xiàn)[16]提出了一種基于隨機(jī)增量張量奇異值分解的識別算法，將隨機(jī)張量模型與張量奇異值分解方法相結(jié)合，可以在已有的隨機(jī)奇異值分解結(jié)果的基礎(chǔ)上來進(jìn)行下一步的更新運(yùn)算。

3.3 數(shù)據(jù)壓縮

各個領(lǐng)域所產(chǎn)生數(shù)據(jù)的急劇增多帶來的是如何進(jìn)行有效存儲和傳輸?shù)膯栴}，數(shù)據(jù)壓縮技術(shù)被用來去除原始大規(guī)模數(shù)據(jù)中的冗余信息，在基本不損失核心信息的情況下來減少數(shù)據(jù)量或者重新組織數(shù)據(jù)從而提高處理以及存儲效率。目前需要處理的數(shù)據(jù)大都存在著天然的高維結(jié)構(gòu)，傳統(tǒng)的基于向量或矩陣的模型難以描述這些高維數(shù)據(jù)的空間結(jié)構(gòu)和相關(guān)性，一些研究提出基于張量模型的方法來解決數(shù)據(jù)壓縮問題，降低時間和空間復(fù)雜性，提升壓縮性能。

在視頻圖像壓縮研究中，李[6]將視頻數(shù)據(jù)用張量模型進(jìn)行表示，并使用張量迭代Tucker-ALS算法來減少原有視頻數(shù)據(jù)的維數(shù)，取得了很好的壓縮效果。針對配電網(wǎng)大數(shù)據(jù)的壓縮研究，趙[17]為了保持高維數(shù)據(jù)的空間結(jié)構(gòu)并解決海量異構(gòu)配電網(wǎng)數(shù)據(jù)的存儲問題，利用張量模型對智能配電網(wǎng)異構(gòu)數(shù)據(jù)進(jìn)行統(tǒng)一表示并提出了基于Tucker分解的多維配電網(wǎng)數(shù)據(jù)壓縮方法。在此基礎(chǔ)上，趙[18]還利用配電系統(tǒng)中數(shù)據(jù)量大且隨時間積累的特點(diǎn)，提出了一種基于增量張量分解的配電網(wǎng)流數(shù)據(jù)壓縮方法，使用實時新增數(shù)據(jù)來更新歷史壓縮結(jié)果。在高光譜圖像的壓縮問題中，Li[19]考慮高光譜圖像不同維度之間的關(guān)聯(lián)，提出了一種基于相關(guān)的Tucker分解方法來分別構(gòu)造核心張量和因子矩陣，可以被應(yīng)用于任何基于Tucker分解的n階張量中，壓縮性能得到提升。

4 張量補(bǔ)全的應(yīng)用

在獲取高維復(fù)雜數(shù)據(jù)的過程中，由于各種不可預(yù)測的情況，如錯誤操作、缺少權(quán)限等，其中某些元素會丟失，影響后續(xù)應(yīng)用。所以如何捕獲已有元素和缺失元素之間的潛在聯(lián)系，利用已獲取的數(shù)據(jù)預(yù)測缺失值成為一個亟需解決的問題。第2節(jié)介紹的張量補(bǔ)全及改進(jìn)方法已被應(yīng)用到很多領(lǐng)域的缺失值處理中。本節(jié)基于QoS缺失數(shù)據(jù)預(yù)測[20-23]、短時交通流量預(yù)測[24-27]、圖像恢復(fù)[28-31]三個應(yīng)用場景對張量補(bǔ)全進(jìn)展進(jìn)行探討。

4.1 QoS缺失數(shù)據(jù)預(yù)測

服務(wù)數(shù)量的急劇增多使得用戶在過去只能調(diào)用有限的服務(wù)并獲取對應(yīng)的QoS值。但依據(jù)稀疏的QoS數(shù)據(jù)很難進(jìn)行準(zhǔn)確的服務(wù)推薦或組合，所以QoS缺失值預(yù)測是進(jìn)行服務(wù)相關(guān)操作的重要環(huán)節(jié)。基于矩陣分解的QoS預(yù)測方法已經(jīng)取得很好的效果，但其只用到用戶和服務(wù)的二維信息，預(yù)測效果受限。在動態(tài)的互聯(lián)網(wǎng)環(huán)境下，受服務(wù)器負(fù)載限制、網(wǎng)絡(luò)狀態(tài)波動、用戶移動性需求等因素的影響，時間、位置和一些其它因素會導(dǎo)致QoS值發(fā)生變化，所以需要盡可能利用多維數(shù)據(jù)來預(yù)測未知QoS值。一些研究工作使用張量模型對高維QoS數(shù)據(jù)建模以考慮多個維度的信息來提高預(yù)測精度。

為了捕獲隱藏在時間模式下的潛在信息，Zhang[20]首先將基于用戶和服務(wù)的靜態(tài)矩陣模型擴(kuò)展到三維的用戶-服務(wù)-時間動態(tài)張量模型，并考慮QoS數(shù)據(jù)的非負(fù)性，使用非負(fù)CP分解算法來處理模型中的三元關(guān)系。除了CP分解，Zhang[21]還將Tucker分解應(yīng)用于QoS缺失數(shù)據(jù)預(yù)測問題，為了應(yīng)對QoS數(shù)據(jù)流動態(tài)傳入所帶來的挑戰(zhàn)，還引入了一種基于奇異值分解的增量張量分解方法來減少存儲空間并提高計算效率。文獻(xiàn)[22]根據(jù)用戶和服務(wù)的位置將已有的QoS數(shù)據(jù)分別建模為局部和全局三階張量，將位置聚類和分層張量分解相結(jié)合來實現(xiàn)QoS預(yù)測，該方法能有效提高預(yù)測精度并緩解數(shù)據(jù)稀疏性問題。上述只針對某一個維度進(jìn)行預(yù)測，而沒有考慮多維度(位置、時間等)之間的相關(guān)性，馬[23]利用張量對多維度的QoS數(shù)據(jù)進(jìn)行建模，通過高效求解張量分解優(yōu)化算法來實現(xiàn)好的預(yù)測效果。

4.2 短時交通流量預(yù)測

為了緩解城市中的交通擁堵的問題，幫助出行者更好地選擇出行線路，節(jié)省時間，短時交通流量預(yù)測是智能交通系統(tǒng)中一項重要的任務(wù)。已有的方法考慮交通數(shù)據(jù)的時間變化特性、空間相似性以及周期性進(jìn)行預(yù)測，但這些方法大多基于向量或矩陣形式，數(shù)據(jù)維度的約束導(dǎo)致難以同時描述交通數(shù)據(jù)多模式之間的潛在聯(lián)系，預(yù)測效果會受到一定的限制。所以張量開始被引入到短時交通流量預(yù)測問題中來封裝交通流量數(shù)據(jù)。文獻(xiàn)[32]將采集到的交通數(shù)據(jù)構(gòu)建為天-小時-時間三階張量的形式，在對丟失的交通數(shù)據(jù)進(jìn)行補(bǔ)全時，獲得了比向量和矩陣模型更好的效果。但在短時交通流量預(yù)測問題中，對未來數(shù)據(jù)的預(yù)測需要用到實時獲得的數(shù)據(jù)，并隨時間的推動來選擇預(yù)測區(qū)間，靜態(tài)交通數(shù)據(jù)補(bǔ)全方法難以描述交通數(shù)據(jù)的動態(tài)變化情況，所以研究者往往將交通數(shù)據(jù)構(gòu)建為動態(tài)張量形式，不僅保留了原始數(shù)據(jù)的多模式關(guān)系，還能體現(xiàn)交通流的動態(tài)特征。

段[24]根據(jù)交通數(shù)據(jù)的多模式特征構(gòu)建Time×Day×Week×Location四階張量，并引入滑動窗口來選取固定長度的張量流作為歷史數(shù)據(jù)，介紹了基于CP和Tucker分解的動態(tài)短時交通流量預(yù)測方法。除了基于這兩種分解方式的預(yù)測方法之外，耦合張量分解也被應(yīng)用到短時交通流量預(yù)測問題中。Zhou等人[25]選取交通流數(shù)據(jù)和平均車速數(shù)據(jù)分別構(gòu)造兩個張量并以“路段”模式耦合，提出了一種基于矩陣和張量的加權(quán)優(yōu)化算法來恢復(fù)交通流量數(shù)據(jù)，這是第一次為交通數(shù)據(jù)處理應(yīng)用引入一個新的代數(shù)框架，不同于傳統(tǒng)的單張量模型。為了進(jìn)一步改進(jìn)預(yù)測效果，文獻(xiàn)[26]提出了一種基于快速低秩張量補(bǔ)全的增量啟發(fā)式交通流量預(yù)測方法，該模型將增量張量結(jié)構(gòu)與快速低秩張量補(bǔ)全相結(jié)合，集成了交通流數(shù)據(jù)日、周、時間、空間等多模式的特征。Li等人[27]探討了在各種常見的缺失場景以及不同的缺失率下幾種經(jīng)典的張量補(bǔ)全算法是否以及如何影響最終的預(yù)測精度，這是第一篇分析丟失數(shù)據(jù)及其補(bǔ)全對交通流預(yù)測的詳細(xì)影響的論文。

4.3 圖像恢復(fù)

實際應(yīng)用中的圖像大多都存在高維特征，如高光譜圖像、醫(yī)療圖像、視頻等，這些多維圖像中包含著比傳統(tǒng)二維圖像更加豐富的信息，但在生成、存儲與傳輸?shù)倪^程中會受到很多外界條件的影響而不能準(zhǔn)確處理后續(xù)應(yīng)用，對這些高維圖像的處理問題大多是根據(jù)已觀測到的數(shù)據(jù)來進(jìn)行高質(zhì)量的圖像填充，將其還原到原來的真實圖像結(jié)構(gòu)。目前基于矩陣補(bǔ)全的方法要求圖像行列之間有高度相關(guān)性，并且在展開為向量之后會破壞圖像的內(nèi)部結(jié)構(gòu)，所以一些研究將張量補(bǔ)全方法應(yīng)用于圖像恢復(fù)問題中。

在高光譜圖像超分辨率研究中，由于需要將低空間分辨率的高光譜圖像和高空間分辨率的多光譜圖像進(jìn)行融合來捕獲兩者互補(bǔ)的因素，耦合張量分解方法常被應(yīng)用至該問題的研究中。Xu[28]提出了一種基于耦合CP分解的方法來探討高光譜和多光譜圖像之間的關(guān)系。Xu還使用耦合張量環(huán)分解來探討圖像的非局部自相關(guān)性和全局譜相關(guān)性，將兩類圖像融合表示為耦合張量環(huán)模型從而共享其中的潛在核張量之間的關(guān)系[29]。在醫(yī)療圖像處理方面，文獻(xiàn)[30]針對僅使用單一秩來解決動態(tài)MRI重建問題的缺陷，考慮同時最小化CP和Tucker秩來更好地利用動態(tài)MRI數(shù)據(jù)低秩分量的相關(guān)性。Cui等人[31]將基于分層概率模型的CP分解方法用于EEG缺失數(shù)據(jù)的恢復(fù)問題中，張量秩能夠被自動確定，而不用手工賦值。

5 存在問題與挑戰(zhàn)

雖然張量分解及補(bǔ)全方法在很多領(lǐng)域已經(jīng)取得了很好的成果，但在復(fù)雜的應(yīng)用場景下還存在一些問題與挑戰(zhàn)需要進(jìn)行深入的研究。(1)大多數(shù)已有的張量分解算法都是在單機(jī)模式下運(yùn)行的，但隨著大數(shù)據(jù)時代的發(fā)展，傳統(tǒng)單機(jī)模式已經(jīng)無法應(yīng)對復(fù)雜的海量數(shù)據(jù)，為了提高計算效率并保持分解精度，可以將已有的算法擴(kuò)展到分布式環(huán)境下運(yùn)行。(2)如何進(jìn)一步提高張量分解的降維效率和張量補(bǔ)全的預(yù)測精度并將其應(yīng)用于不同的場景是需要一直進(jìn)行探索的。(3)將張量模型與新興領(lǐng)域如邊緣計算、物聯(lián)網(wǎng)、車聯(lián)網(wǎng)或者新興技術(shù)如深度學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)等相結(jié)合來高效解決更多的問題也具有重要意義。相信在之后的研究發(fā)展中張量分解及補(bǔ)全相關(guān)算法會有更大的發(fā)展前景，能夠在最大程度上發(fā)揮張量模型的應(yīng)用價值。

6 結(jié)束語

張量模型具有對高維數(shù)據(jù)強(qiáng)大的表示和處理能力，該文總結(jié)了張量分解及補(bǔ)全中的幾種經(jīng)典方法，其中張量分解方法包括CP分解、Tucker分解、張量鏈分解以及張量環(huán)分解，分析這些方法的基本思想及優(yōu)缺點(diǎn)。張量補(bǔ)全方法從基于分解和基于跡范數(shù)兩方面進(jìn)行介紹，基于分解的方法利用張量分解得到的低秩結(jié)構(gòu)來估計缺失值，基于跡范數(shù)的方法需要解決跡范數(shù)最小化的優(yōu)化問題。接著從多源異構(gòu)大數(shù)據(jù)分析、人臉識別、數(shù)據(jù)壓縮三方面來總結(jié)張量分解的最新應(yīng)用。針對QoS缺失數(shù)據(jù)預(yù)測、短時交通流量預(yù)測、圖像恢復(fù)三個場景來介紹張量補(bǔ)全的最新算法。最后對張量分解及補(bǔ)全方法研究中存在的問題與挑戰(zhàn)進(jìn)行展望。