管嬌嬌，錢雪忠，周世兵，姜?jiǎng)P彬，宋 威

（江南大學(xué) 人工智能與計(jì)算機(jī)學(xué)院，江蘇 無錫 214122）

0 引言

在信息時(shí)代，數(shù)據(jù)呈指數(shù)級(jí)爆炸式增長，對(duì)模擬對(duì)象進(jìn)行合理的分類，減小數(shù)據(jù)的混淆程度格外重要。目前，聚類被廣泛應(yīng)用于數(shù)據(jù)挖掘、計(jì)算機(jī)視覺、模式識(shí)別和人工智能領(lǐng)域。一些著名的單視圖聚類算法如k-means算法、譜聚類算法發(fā)揮著越來越重要的作用；然而經(jīng)過多年的發(fā)展，傳統(tǒng)單視圖聚類研究幾乎達(dá)到了瓶頸，主要原因是從單個(gè)方面描述對(duì)象得到的數(shù)據(jù)不能準(zhǔn)確掌握對(duì)象的全面信息，特別是觀測(cè)不充分或數(shù)據(jù)嚴(yán)重受損的情況下。

多視圖數(shù)據(jù)的大量出現(xiàn)意味著從不同的角度描述相同的對(duì)象，不同的視圖可以提供互補(bǔ)信息。一個(gè)網(wǎng)頁可以劃分為兩個(gè)視圖，分別顯示出現(xiàn)在給定頁面上的單詞和在超鏈接中的單詞；同一個(gè)單詞可以使用多種語言描述，圖像可以使用形狀、顏色、紋理等描述。多視圖聚類假設(shè)所有視圖共享相同的底層聚類結(jié)構(gòu)，通過組合來自不同視圖的信息，試圖獲得比簡單特征串聯(lián)更準(zhǔn)確的聚類結(jié)果?，F(xiàn)有的多視圖聚類算法可以分為以下幾種：基于協(xié)同訓(xùn)練的多視圖聚類算法、基于多核學(xué)習(xí)的多視圖聚類算法、基于子空間的多視圖聚類算法。

基于協(xié)同訓(xùn)練的多視圖聚類算法旨在通過交替訓(xùn)練來最大化不同視圖之間的一致性，代表算法有：Co-reg（Coregularized multi-view spectral clustering）［1］假設(shè)每個(gè)樣本在所有視圖中共享同一個(gè)聚類結(jié)果，將不同視圖之間的拉普拉斯算子的特征向量最小化；Co-train（Co-training approach for multi-view spectral clustering）［2］假設(shè)最優(yōu)聚類會(huì)將同一個(gè)樣本的所有視圖劃分到同一個(gè)聚類中，利用其他視圖返回的聚類信息對(duì)圖結(jié)構(gòu)進(jìn)行交替修改。

基于多核學(xué)習(xí)的多視圖聚類算法把每個(gè)核看作一個(gè)視圖，將這些核進(jìn)行線性或非線性組合，以此提高聚類性能，代表算法有：SMSCK（Smoothness regularized Multiview Subspace Clustering with Kernel learning）［3］將多視圖數(shù)據(jù)點(diǎn)映射到高維核空間中，并引入平滑正則化項(xiàng)來提高聚類性能；一步核多視圖子空間聚類（One-step Kernel Multi-view Subspace Clustering，OKMSC）［4］將親和矩陣的非負(fù)性和判別性融合到計(jì)算過程中。

多視圖子空間聚類算法是由單視圖子空間聚類算法發(fā)展而來的，單視圖子空間聚類的代表性算法有：SSC（Sparse Subspace Clustering）［5］、LRR（Robust Recovery of subspace structures by Low-rank representation）［6］、LRSSC（Low-Rank Sparse Subspace Clustering）［7］等 。MVSC（Multi-View Subspace Clustering）［8］對(duì)每個(gè)視圖的子空間表示同時(shí)進(jìn)行聚類并保證了不同視圖之間的一致性。MLRSSC（Multi-view Low-Rank Sparse Subspace Clustering）［9］利用低秩正則化和稀疏正則化，從每個(gè)視圖的子空間表示學(xué)習(xí)一個(gè)共有表示矩陣，一步構(gòu)造親和矩陣。LMSC（Latent Multi-view Subspace Clustering）［10］通過挖掘多視圖數(shù)據(jù)的潛在表示，獲得了良好的聚類性能。DiMSC（Diversity-induced Multi-view Subspace Clustering）［11］利用希爾伯特施密特獨(dú)立準(zhǔn)則來探索多視圖數(shù)據(jù)的底層聚類結(jié)構(gòu)。ECMSC（Exclusivity-Consistency regularized Multi-view Subspace Clustering）［12］引入一個(gè)新的位置感知排他項(xiàng)，利用不同視圖之間的互補(bǔ)信息實(shí)現(xiàn)聚類。DALIGA（Direct Affinity Learning via Integrative Grassmann Alignment）［13］保留了視圖的幾何結(jié)構(gòu)，取得了較好的性能。LT-MSC（Low-rank Tensor constrained Multiview Subspace Clustering）［14］將不同視圖的子空間表示矩陣視為一個(gè)張量，使用低秩張量約束來捕獲多視圖數(shù)據(jù)的高階相關(guān)性。GLTA（Graph regularized Low-rank representation Tensor and Affinity matrix）［15］采用奇異值分解的張量核范數(shù)來探索高階相關(guān)性。GNLTA（Generalized Nonconvex Low-rank Tensor Approximation for multi-view subspace clustering）［16］采用低秩張量近似來捕獲多視圖之間的高階相關(guān)性，提出廣義非凸低秩張量范數(shù)。WTSNM（Weighted Tensor Schatten p-Norm Mininization）［17］提出加權(quán)增強(qiáng)張量核范數(shù)?；诘椭染仃嚪纸獾闹纫恢滦哉T導(dǎo)多視圖子空間聚類RC-MSC（Rank Consistency induced Multiview Subspace Clustering via low-rank matrix factorization）［18］追求視圖特定自表示系數(shù)矩陣之間的一致低秩結(jié)構(gòu)。MSCBDR（cauchy loss induced Block Diagonal Representation for robust Multi-view Subspace Clustering）［19］對(duì)嵌入在多視圖數(shù)據(jù)中的噪聲和離群值提供優(yōu)越的魯棒性。

然而，現(xiàn)有的方法大多在以下方面還存在不足：1）現(xiàn)有方法旨在解決線性子空間的聚類問題，但大多數(shù)真實(shí)世界的數(shù)據(jù)集可能表現(xiàn)出非線性；2）在原始特征空間中相近的兩個(gè)數(shù)據(jù)點(diǎn)在對(duì)應(yīng)的表示空間中不一定相近，這破壞了表示矩陣的幾何特性，影響聚類性能；3）來自不同視圖的數(shù)據(jù)通常具有不同的結(jié)構(gòu)，直接在歐氏空間中融合得到一致性親和矩陣過于單調(diào)，無法對(duì)學(xué)習(xí)到的子空間進(jìn)行對(duì)齊。因此，本文提出了基于格拉斯曼流形融合子空間的多視圖聚類算法。該算法利用局部流形結(jié)構(gòu)和內(nèi)核技巧來學(xué)習(xí)每個(gè)視圖對(duì)應(yīng)的子空間表示，然后將每個(gè)視圖的子空間表示矩陣在格拉斯曼流形上對(duì)齊，得到一致性親和矩陣，并通過譜聚類得到最終的聚類結(jié)果。

本文的主要工作有：1）提出基于格拉斯曼流形融合子空間的多視圖聚類算法；2）利用交替方向乘子法（Alternating Direction Method of Multipliers，ADMM）優(yōu)化本文模型。該模型有3 個(gè)優(yōu)點(diǎn)：一是將原始特征空間的數(shù)據(jù)點(diǎn)映射到高維核空間，并保留了局部流形結(jié)構(gòu)；二是對(duì)每個(gè)視圖學(xué)習(xí)到的子空間表示在格拉斯曼流形上對(duì)齊，得到一致性親和矩陣，保證了幾何一致性；三是對(duì)一致性親和矩陣施加秩約束，使一致性親和矩陣的連通分量等于聚類的個(gè)數(shù)。與核多視圖低秩稀疏子空間聚類（KMLRSSC）算法相比，所提算法的聚類精度在MSRCV1、Prokaryotic、Not-Hill 數(shù)據(jù)集上分別提高了20.83 個(gè)百分點(diǎn)、9.47 個(gè)百分點(diǎn)和7.33 個(gè)百分點(diǎn)。

1 相關(guān)工作

1.1 符號(hào)與定義

在本文中，標(biāo)量用小寫字母表示，向量用粗體小寫字母表示，矩陣用粗體大寫字母表示。表1 中列出了常用符號(hào)及其定義，其中矩陣的Frobenius 范數(shù)的符號(hào)定義為：‖· ‖F(xiàn)，矩陣的跡定義為tr (·)，矩陣的秩定義為rank (·)。

表1 常用符號(hào)及其定義Tab.1 Common symbols and their definitions

1.2 核學(xué)習(xí)

根據(jù)自表示性質(zhì)，每一個(gè)數(shù)據(jù)點(diǎn)都可以被表示為其他數(shù)據(jù)點(diǎn)的線性組合。這種線性組合表明了樣本之間的相似性，自表示矩陣可以通過求解式（1）得到：

但實(shí)際生活中，數(shù)據(jù)點(diǎn)之間的非線性關(guān)系廣泛存在，根據(jù)文獻(xiàn)［3］，內(nèi)核技巧可將原始數(shù)據(jù)空間中的非線性數(shù)據(jù)映射到高維核空間中，將輸入空間的非線性問題轉(zhuǎn)換成特征空間的線性分析問題。在式（1）的基礎(chǔ)上使用內(nèi)核技巧，得到：

?(X)是一個(gè)非線性特征映射，可以將數(shù)據(jù)映射到希爾伯特空間。假設(shè)核Gram 矩陣K=?(X)T?(X)，則式（2）可表示為：

1.3 局部流形結(jié)構(gòu)

假設(shè)xi和xj是特征空間的數(shù)據(jù)點(diǎn)，zi和zj是xi和xj對(duì)應(yīng)的表示。根據(jù)文獻(xiàn)［20］，在特征空間中相近的兩個(gè)點(diǎn)在表示空間中也應(yīng)有相近的表示，設(shè)S∈Rn×n為測(cè)量數(shù)據(jù)點(diǎn)之間的相似度，則有：

其中：Ls=D-S是拉普拉斯矩陣，D是度矩陣。當(dāng)Θ(Z)最小化時(shí)，sij越小將會(huì)導(dǎo)致zi和zj的表示越近。由式（4）可知，學(xué)習(xí)到的表示矩陣符合原始特征空間的相似關(guān)系。

1.4 格拉斯曼流形融合子空間

格拉斯曼流形［13］被定義為n維歐氏空間的g維線性空間的集合。格拉斯曼流形結(jié)構(gòu)的元素可以用一個(gè)標(biāo)準(zhǔn)正交矩陣U∈Rn×g來表示，其列可以張成對(duì)應(yīng)的g維線性子空間span(U)。兩個(gè)子空間的距離被定義為連接格拉斯曼流形的最短測(cè)地線的距離。兩個(gè)g維線性子空間span(U1) 和span(U2)之間的投影距離為：

2 基于格拉斯曼流形融合子空間的多視圖聚類

本章詳細(xì)講述基于格拉斯曼流形融合子空間的多視圖聚類算法的模型，該模型首先將核學(xué)習(xí)和局部流形學(xué)習(xí)相結(jié)合，將原始特征空間的數(shù)據(jù)點(diǎn)映射到高維核空間，并保證原始特征空間相近的點(diǎn)在表示空間中也相近；然后基于格拉斯曼流形將學(xué)習(xí)到的子空間表示融合得到一致性親和矩陣，并約束一致性親和矩陣有k個(gè)連通分量，保證幾何特性。

2.1 目標(biāo)函數(shù)

對(duì)于單一視圖Xv，通過核學(xué)習(xí)得到視圖的子空間表示矩陣Zv(v=1，2，…，nv)，在式（3）的基礎(chǔ)上加入局部流形結(jié)構(gòu)的學(xué)習(xí)，推廣到多視圖子空間有：

每個(gè)學(xué)習(xí)到的子空間表示Zv(v=1，2，…，nv)都是線性的，因此可以由一組基Uv張成。希望集成子空間到每一個(gè)子空間的測(cè)地線距離都最小化，即通過在格拉斯曼流形上將基向量對(duì)齊。集成子空間也是線性的，可以由一個(gè)基矩陣U張成。因此，在集成子空間中的樣本親和度由W=UUT給出。忽略常數(shù)項(xiàng)，可以得到：

與歐氏距離中常用的相似性度量方法相比，格拉斯曼流形上的投影距離度量子空間之間的關(guān)系具有穩(wěn)定性和魯棒性。結(jié)合式（8），提出基于格拉斯曼流形融合子空間的多視圖聚類算法，目標(biāo)函數(shù)如下：

其中：αv是子空間表示學(xué)習(xí)和親和矩陣學(xué)習(xí)之間的平衡參數(shù)，β是局部流形結(jié)構(gòu)學(xué)習(xí)的平衡參數(shù)。此外，希望一致性親和矩陣W應(yīng)該有精確的k個(gè)連通分量，即數(shù)據(jù)點(diǎn)可以直接劃分到k個(gè)聚類中，利用文獻(xiàn)［21］中的定理實(shí)現(xiàn)。

定理1拉普拉斯矩陣L的零特征值的重?cái)?shù)k等于相似圖矩陣S的連通分量的個(gè)數(shù)。

由定理1 可知，如果滿足約束rank (Lw)=n-k，則親和矩陣W恰好有k個(gè)連通分量。則式（9）的模型可重新表示為：

2.2 優(yōu)化過程

2.2.1 固定W、F，求解Zv

式（11）去除無關(guān)項(xiàng)，則對(duì)于單一視圖Zv有：

更新B1給定B2和Y2，將式（20）中的目標(biāo)函數(shù)最小化得到B1的更新規(guī)則如下：

更新Y2給定B1和B2，則Y2的更新規(guī)則如下：

2.2.3 固定Zv、W，求解F

固定Zv、W時(shí)，認(rèn)為式（11）的前三項(xiàng)為常數(shù)，則優(yōu)化式（11）等價(jià)于優(yōu)化：

通過計(jì)算Lw的前k個(gè)最小特征值對(duì)應(yīng)的特征向量，可以得到最優(yōu)解F。

2.2.4 實(shí)現(xiàn)細(xì)節(jié)

在對(duì)Zv子問題和W子問題的進(jìn)行交替方向最小化時(shí)，為了解決式（15）和（21）中的交互部分的問題，將式（15）中的更新修改為：

將式（21）中的更新修改為：

2.3 格拉斯曼流形融合子空間的多視圖聚類

基于格拉斯曼流形融合子空間的多視圖聚類算法如下。

算法1 基于格拉斯曼流形融合子空間的多視圖聚類算法。

3 實(shí)驗(yàn)與結(jié)果分析

3.1 實(shí)驗(yàn)設(shè)置

3.1.1 對(duì)比算法

將本文算法與單視圖聚類算法和多視圖聚類算法進(jìn)行比較，對(duì)比算法包括以下幾種。

1）單視圖算法：SC（Subspace Clustering）［23］對(duì)每個(gè)視圖執(zhí)行譜聚類算法，報(bào)告最優(yōu)結(jié)果作為實(shí)驗(yàn)結(jié)果。

2）多視圖算法：Co-reg［1］、Co-train［2］、MLRSSC［9］、KMLRSSC（Kernel Multi-view Low-Rank Spare Subspace Clustering）［9］、MLAN（Multi-view Learning with Adaptive Neighbors）［24］、LMSC［10］、DiMSC［11］、ECMSC［12］和DALIGA［13］。

3.1.2 數(shù)據(jù)集概述

本文在6 個(gè)公開數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)，分別是：MSRCV1數(shù)據(jù)集、Yale 數(shù)據(jù)集、Prokaryotic 數(shù)據(jù)集［9］、HW2sources 數(shù)據(jù)集、Not-Hill 數(shù)據(jù)集［25］和WebKB 數(shù)據(jù)集。#dv表示第v個(gè)視圖的維數(shù)，具體情況如表2 所示。

表2 實(shí)驗(yàn)數(shù)據(jù)集Tab.2 Experimental datasets

1）MSRCV1 數(shù)據(jù)集。該數(shù)據(jù)集選取了樹、建筑、飛機(jī)、牛、人臉、汽車和自行車的7 類圖像共210 個(gè)樣本，提取6 種圖像特征組成視圖，詳見http：//research.microsoft.com/en-us/projects/objectclassrecognition。

2）Yale 數(shù)據(jù)集：該數(shù)據(jù)集包含165 張GIF 格式的15 個(gè)人的灰度圖像。每個(gè)人有11 張圖片，每張圖片對(duì)應(yīng)不同的面部表情或配置：中光、戴眼鏡、開心、左光、不戴眼鏡、正常、右光、悲傷、困倦、驚訝和眨眼，提取3 種圖像特征作為視圖，詳見http：//cvc.yale.edu/projects/yalefaces/yalefaces.html。

3）Prokaryotic 數(shù)據(jù)集。該數(shù)據(jù)集中有3 個(gè)視圖，每個(gè)視圖包含551 種原核生物種類。此數(shù)據(jù)集和其他數(shù)據(jù)集的區(qū)別在于不同的聚類中物種的數(shù)量有很大不同，即33 個(gè)物種在一個(gè)大的簇中，35 個(gè)物種在一個(gè)小的簇中。

4）HW2sources 數(shù)據(jù)集。手寫數(shù)字?jǐn)?shù)據(jù)集（HW_2）包含2 000 個(gè)樣本，實(shí)驗(yàn)中的兩個(gè)視圖來自于MNIST 手寫數(shù)據(jù)集（0～9）和USPS 手寫數(shù)據(jù)集（0～9），詳見https：//cs.nyu.edu/～roweis/data.html。

5）Not-Hill 數(shù)據(jù)集。該數(shù)據(jù)集包含4 660 張面部圖像，這里選擇5 個(gè)類別的面部圖像，每個(gè)類別抽取110 張人臉圖像組成3 個(gè)視圖用于實(shí)驗(yàn)。

6）WebKB 數(shù)據(jù)集。該數(shù)據(jù)集由4 個(gè)類別的203 個(gè)網(wǎng)頁組成。每個(gè)網(wǎng)頁都由頁面的內(nèi)容、超鏈接的錨文件和標(biāo)題中的文本來組成3 個(gè)視圖。

3.1.3 算法參數(shù)

對(duì)比算法的參數(shù)設(shè)置如表3 所示，其中SC、Co-train 和MLAN 算法沒有參數(shù)。由于沒有視圖重要性的先驗(yàn)信息，因此假設(shè)α=αv。在核學(xué)習(xí)中，使用高斯核K(x，y)=，其中h在對(duì)｛0.5，1，5，10，50｝中搜索，其他參數(shù)保持不變。設(shè)置最大迭代次數(shù)為100，并報(bào)告最佳結(jié)果。

表3 對(duì)比算法參數(shù)設(shè)置Tab.3 Parameters setting of algorithms to be compared

3.1.4 評(píng)價(jià)指標(biāo)

根據(jù)文獻(xiàn)［26］，利用標(biāo)準(zhǔn)化交互信息（Normalized Mutual Information，NMI）、精度（Accuracy，ACC）、蘭德調(diào)整系數(shù)（Adjusted Rand Index，ARI）、F-score、Precision 和Recall六個(gè)指標(biāo)來評(píng)價(jià)聚類性能，每一個(gè)指標(biāo)都度量聚類的特定屬性，對(duì)于這些指標(biāo)，值越高表示性能越好。

由于譜聚類算法都是基于k-means 算法的，不同初始化可能產(chǎn)生不同的結(jié)果，因此對(duì)實(shí)驗(yàn)運(yùn)行20 次，并報(bào)告平均值和標(biāo)準(zhǔn)差。表4 給出了不同算法在6 個(gè)公開數(shù)據(jù)集上的聚類結(jié)果。在大多數(shù)情況下，本文算法都取得了較好的性能。

3.2 實(shí)驗(yàn)結(jié)果及分析

3.2.1 與經(jīng)典算法進(jìn)行比較

1）在大多數(shù)的情況下，本文算法優(yōu)于對(duì)比算法或足以與對(duì)比算法相媲美，特別是在MSRCV1 數(shù)據(jù)集、HW2sources 數(shù)據(jù)集和Prokaryotic 數(shù)據(jù)集上的實(shí)驗(yàn)效果。在MSRCV1 數(shù)據(jù)集上，本文算法相較于次優(yōu)算法分別提高了6.47（NMI）、7.62（ACC）、8.53（ARI）、7.25（F-score）、8.69（Recall）、5.62（Precision）個(gè)百分點(diǎn)。在HW2sources 數(shù)據(jù)集上，本文算法相較于次優(yōu)算法分別提高了3.41（NMI）、7.86（ACC）、8.09（ARI）、7.24（F-score）、9.97（Recall）、4.14（Precision）個(gè)百分點(diǎn)。在Prokaryotic 數(shù)據(jù)集上，本文算法相較于次優(yōu)算法分別提高了7.14（NMI）、9.13（ACC）、11.08（ARI）、7.90（F-score）、7.13（Precision）個(gè)百分點(diǎn)，僅在Recall 指標(biāo)上低于MLAN 算法。

2）在Prokaryotic數(shù)據(jù)集上，基于單視圖的譜聚類算法優(yōu)于大多數(shù)多視圖方法，這一結(jié)果可能是因?yàn)樵肼暬虍惓Ｖ狄鹨晥D多樣性，多視圖聚類受到較差視圖的影響導(dǎo)致結(jié)果不佳。在其余5個(gè)數(shù)據(jù)集上，大多數(shù)多視圖算法優(yōu)于單視圖算法。

3）對(duì)比多視圖子空間算法，DiMSC 和ECMSC 在WebKB和Prokaryotic 數(shù)據(jù)集上效果不佳，可能是因?yàn)镈iMSC 旨在從不同的視圖中學(xué)習(xí)互補(bǔ)信息，如果視圖之間存在較大的不一致，則DiMSC 可能得出不正確的結(jié)果；ECMSC 算法效果較差可能是因?yàn)閮蓚€(gè)數(shù)據(jù)集的多視圖特征來自于多個(gè)來源，而不是像Yale 數(shù)據(jù)集中多視圖特征是人工從同一對(duì)象中提取的。MLRSSC、KMLRSSC、DALIGA 算法采用低秩稀疏正則化，但均忽略了數(shù)據(jù)的局部流形結(jié)構(gòu)，可能會(huì)獲得較差的性能。

4）在表4 中，WebKB 數(shù)據(jù)集由大學(xué)計(jì)算機(jī)科學(xué)系收集的網(wǎng)頁組成，包含203 個(gè)網(wǎng)頁，分為4 個(gè)類別。每個(gè)網(wǎng)頁由頁面的內(nèi)容、超鏈接的錨文本和標(biāo)題中的文本組成。N/A 表示W(wǎng)ebKB 數(shù)據(jù)集不適用于LMSC 和ECMSC 算法，得不到有效的聚類結(jié)果。

表4 MSRCV1、Yale、Prokaryotic、HW2sources、Not-Hill、WebKB數(shù)據(jù)集上不同算法的聚類表現(xiàn)Tab.4 Clustering performance on MSRCV1，Yale，Prokaryotic，HW2sources，Not-Hill，WebKB datasets among different algorithms

續(xù)表

3.2.2 收斂性和計(jì)算復(fù)雜度

根據(jù)文獻(xiàn)［27］，交替方向乘子法的全局收斂性在理論上保證了式（11）中的線性約束凸優(yōu)化問題。本文算法的時(shí)間復(fù)雜度為Ο(nvTn3)，其中：nv是視圖個(gè)數(shù)，T是迭代次數(shù)，n是樣本個(gè)數(shù)。

為了更直觀顯示本文算法的收斂性，式（11）中目標(biāo)函數(shù)的值隨著迭代次數(shù)的變化如圖1 所示。在經(jīng)過20 次迭代后，本文算法的目標(biāo)函數(shù)值達(dá)到穩(wěn)定狀態(tài)。相較于對(duì)比算法，以MSRCV1 數(shù)據(jù)集為例，MLRSSC 算法在第76 次時(shí)達(dá)到收斂，LMSC 在129 次迭代時(shí)收斂，其余算法迭代次數(shù)均在10～30，很明顯，本文算法收斂效率比較高，這也進(jìn)一步表明了基于格拉斯曼流形融合子空間的多視圖聚類的有效性。

圖1 本文算法在6個(gè)數(shù)據(jù)集上的收斂曲線Fig.1 Convergence curves on 6 datasets of the proposed algorithm

3.2.3 參數(shù)敏感性分析

圖2為本文算法在MSRCV1、Yale、Prokaryotic數(shù)據(jù)集上的ACC值，因篇幅有限，未畫出其余數(shù)據(jù)集的參數(shù)分析圖。本文算法總共有α、β和γ這3個(gè)平衡參數(shù)需要調(diào)整。3個(gè)參數(shù)均從｛1E-7，1E-6，1E-5，…，1E-1，1｝中選取。根據(jù)文獻(xiàn)［28］，首先，固定參數(shù)α和β，采用不同的γ值來觀察γ對(duì)聚類指標(biāo)ACC的影響。從圖2第一行可知，當(dāng)γ＞1E-3時(shí)，ACC顯著下降。這是因?yàn)棣锰螅恢滦皂?xiàng)可能會(huì)破壞每個(gè)視圖的多樣性；說明合適的γ取值可以讓一致性項(xiàng)發(fā)揮更好的作用，促進(jìn)一致性親和矩陣的連通分量等于聚類個(gè)數(shù)。圖2第二行顯示了在固定γ（這里選取γ=0.001）時(shí)，不同的α和β的ACC值。結(jié)果表明，本文算法對(duì)α和β敏感，不同的數(shù)據(jù)集需要不同的參數(shù)組合才能達(dá)到最佳性能。合適的α和β可以使原始特征空間的相近的點(diǎn)在子空間中也相近，同時(shí)促進(jìn)子空間表示在格拉斯曼流形上進(jìn)行對(duì)齊。實(shí)際應(yīng)用中，由于γ對(duì)聚類性能不敏感，所以可以先確定γ的取值，再通過交叉驗(yàn)證找到最優(yōu)的α和β。

圖2 本文算法在MSRCV1、Yale、Prokaryotic數(shù)據(jù)集上的參數(shù)敏感性Fig.2 Sensitivity of parameters on MSRCV1、Yale、Prokaryotic datasets of the proposed algorithm

在本文算法的實(shí)驗(yàn)中，MSRCV1 數(shù)據(jù)集最優(yōu)參數(shù)的取值為｛0.01，0.001，0.001｝，Yale 數(shù)據(jù)集最優(yōu)參數(shù)的取值為｛0.1，0.001，0.001｝，Prokaryotic 數(shù)據(jù)集最優(yōu)參數(shù)的取值為｛0.1，0.001，0.001｝，WebKB 數(shù)據(jù)集最優(yōu)參數(shù)的取值為｛1，0.01，0.1｝，HW2sources 數(shù)據(jù)集 最優(yōu)參 數(shù)的取值為｛1，0.001，0.001｝，Not-Hill 數(shù)據(jù)集最優(yōu)參數(shù)的取值為｛1，0.001，0.001｝。

3.2.4 t-SNE可視化

本節(jié)使 用 t-SNE（t-distributed Stochastic Neighbor Embedding）可視化直觀比較本文算法得到的一致性親和矩陣和LMSC 算法得到的一致性潛在表示。LMSC算法既不能捕獲多視圖數(shù)據(jù)點(diǎn)之間的非線性關(guān)系，在學(xué)習(xí)潛在表示時(shí)也不能保留原始特征空間的局部性，所以選擇該算法做可視化的對(duì)比實(shí)驗(yàn)。使用t-SNE將LMSC算法獲得的潛在表示和本文算法獲得的一致性親和矩陣映射到一個(gè)2D空間，并繪制成圖。由于篇幅限制，僅給出MSRCV1、Prokaryotic 和HW2sources 數(shù)據(jù)集的t-SNE圖。從圖3可以看出，本文算法相較于LMSC算法更好地揭示了聚類的底層結(jié)構(gòu)，即本文算法得到的聚類邊界比LMSC算法得到的聚類邊界清晰。可視化的結(jié)果進(jìn)一步證明了捕獲非線性關(guān)系和保留局部結(jié)構(gòu)的重要性。

圖3 本文算法與LMSC算法在MSRCV1、Prokaryotic、HW2sources數(shù)據(jù)集上的可視化Fig.3 Visualization on MSRCV1、Prokaryotic、HW2sources datasets of the proposed algorithm and LMSC algorithm

4 結(jié)語

本文提出了一種新的多視圖子空間聚類算法，將核學(xué)習(xí)和局部流形學(xué)習(xí)相結(jié)合，得到每個(gè)視圖的子空間表示矩陣，保證了原始特征空間中相近的數(shù)據(jù)點(diǎn)在子空間中也相近；然后將這些子空間表示矩陣在格拉斯曼流形上對(duì)齊，得到一致性親和矩陣，并對(duì)一致性親和矩陣施加秩約束，使一致性親和矩陣的連通分量數(shù)等于聚類個(gè)數(shù)，從而提高聚類性能。本文提出的算法在6 個(gè)公開數(shù)據(jù)集上均取得了較好的效果，相較于其他9 種聚類算法，本文算法在6 個(gè)聚類指標(biāo)上取得了更優(yōu)的聚類結(jié)果。實(shí)驗(yàn)結(jié)果驗(yàn)證了基于格拉斯曼流形融合子空間的多視圖聚類算法的有效性和良好性能。

本文算法雖然具有較好的聚類性能，但還有以下幾個(gè)問題有待解決：

1）本文算法的時(shí)間復(fù)雜度很大程度上取決于樣本的大小。在未來的研究中，可以利用基于錨圖［29］的策略來提高本文算法的可擴(kuò)展性。

2）根據(jù)文獻(xiàn)［30］，在網(wǎng)頁聚類和疾病診斷等實(shí)際應(yīng)用中，不同視圖的樣本可能會(huì)缺失；如何將本文算法擴(kuò)展到不完整多視圖聚類將成為未來的一項(xiàng)重要工作。

3）基于低秩張量表示的多視圖學(xué)習(xí)被廣泛研究，例如文獻(xiàn)［17］，如何在本文算法的基礎(chǔ)上加入張量核范數(shù)來探索高階相關(guān)性，從而進(jìn)一步提高算法效率也值得深入探索。