畢安琪　王士同（江南大學(xué)數(shù)字媒體學(xué)院無錫214122）

?

基于Kullback-Leiber距離的遷移仿射聚類算法

畢安琪*王士同
（江南大學(xué)數(shù)字媒體學(xué)院無錫214122）

針對(duì)遷移聚類問題，該文提出一種新的基于Kullback-Leiber距離的遷移仿射聚類算法（TAP_KL）。該算法從概率角度重新解釋AP算法的目標(biāo)函數(shù)，并借助于信息論中最常見的一種距離度量，即Kullback-Leiber距離，測(cè)量源域與目標(biāo)域代表點(diǎn)的相似性。另外，通過詳細(xì)分析TAP_KL算法與AP算法的目標(biāo)函數(shù)，得出一個(gè)重要結(jié)論，即可以將源域與目標(biāo)域的相似性嵌入到目標(biāo)域數(shù)據(jù)集相似性矩陣的計(jì)算中，從而直接利用AP算法的優(yōu)化算法優(yōu)化TAP_KL算法的目標(biāo)函數(shù)，解決基于代表點(diǎn)的遷移聚類問題。最后，通過基于4個(gè)數(shù)據(jù)集的仿真實(shí)驗(yàn)，進(jìn)一步驗(yàn)證了TAP_KL算法在解決遷移聚類問題時(shí)的有效性。

仿射聚類算法；遷移學(xué)習(xí)；人臉數(shù)據(jù)集；概率框架；KL距離

1　引言

近年來，國(guó)內(nèi)外研究學(xué)者從不同角度對(duì)遷移學(xué)習(xí)的研究已經(jīng)取得了眾多重要研究成果［18］-，包括遷移SVM（Support Vector Machine）算法［12］，、遷移Adaboost算法［34］-，以及基于流形結(jié)構(gòu)的MMDE（M axim um M ean D iscrepancy Em bedd ing）算法［56］-。然而聚類算法作為機(jī)器學(xué)習(xí)和模式識(shí)別領(lǐng)域的一個(gè)重要研究方向，現(xiàn)階段對(duì)于遷移聚類算法的研究并不充分，取得的成果也不多［8］。聚類算法的目標(biāo)是將相似的數(shù)據(jù)聚集為一個(gè)數(shù)據(jù)簇，并使差異較大的數(shù)據(jù)分別屬于不同的數(shù)據(jù)簇。目前廣泛使用的聚類算法，包括K-均值算法［9，10］、譜聚類算法［11，12］、仿射聚類（A ffinity，Propagation，AP）［1319］-以及模糊聚類方法［20］都是在數(shù)據(jù)量足夠充分的前提下，才能保證算法得到可靠的、有效的聚類結(jié)果。因此，這些算法都不適用于遷移學(xué)習(xí)的場(chǎng)景中，本文就是針對(duì)遷移聚類問題進(jìn)行研究探討。

聚類算法的一個(gè)重要研究方向就是從已經(jīng)存在的樣本點(diǎn)中選擇算法所得的數(shù)據(jù)簇類中心，這類算法統(tǒng)稱為基于代表點(diǎn)的聚類算法，其中最具代表性的算法包括AP算法［13］，EEM算法（Enhanced α-Expansion Move）［18，19］等。研究指出，基于代表點(diǎn)的聚類算法的目標(biāo)函數(shù)均可以看作是馬爾科夫隨機(jī)場(chǎng)（M arkov Random Field，MRF）的能量函數(shù)，相應(yīng)地，AP算法與EEM算法本質(zhì)上是在優(yōu)化相同的目標(biāo)函數(shù)，其中AP算法使用的優(yōu)化算法是基于樣本點(diǎn)之間的信息傳遞，而EEM算法則基于Graph-Cuts。另一方面，基于代表點(diǎn)的聚類算法的一個(gè)重要優(yōu)勢(shì)在于算法可以根據(jù)數(shù)據(jù)集自動(dòng)完成聚類，而不要求預(yù)設(shè)數(shù)據(jù)簇的總數(shù)。對(duì)于現(xiàn)有的遷移學(xué)習(xí)算法，一個(gè)重要的問題是如何基于源域與目標(biāo)域數(shù)據(jù)的相似性，更好地借助于源域數(shù)據(jù)的研究成果完成對(duì)目標(biāo)域數(shù)據(jù)的研究。在基于代表點(diǎn)的聚類算法中，進(jìn)一步可以認(rèn)為源域與目標(biāo)域的相似性表現(xiàn)為源域與目標(biāo)域代表點(diǎn)集合的相似性。具體地，本文首先從概率角度重新解釋AP算法的目標(biāo)函數(shù)，通過定義樣本點(diǎn)和代表點(diǎn)的概率關(guān)系，以及代表點(diǎn)集合的先驗(yàn)概率，為度量源域與目標(biāo)域代表點(diǎn)集合的相似性提供前提條件；其次，借助于信息論中最常見的一種距離度量，即Kullback-Leiber距離（KL距離），在概率框架下測(cè)量源域與目標(biāo)域代表點(diǎn)的相似性，提出了TAP_KL算法的目標(biāo)函數(shù)；最后，通過詳細(xì)分析TAP_KL算法與AP算法的目標(biāo)函數(shù)，得出一個(gè)重要結(jié)論，即可以將源域與目標(biāo)域的相似性嵌入到目標(biāo)域數(shù)據(jù)集相似性矩陣的計(jì)算中，從而直接借助AP算法的優(yōu)化策略解決新的目標(biāo)函數(shù)。

2　 AP算法

2007年，文獻(xiàn)［13］中指出，在聚類算法中，若取得的類中心點(diǎn)是從已存在的樣本點(diǎn)中選擇的，則稱這類聚類算法為基于代表點(diǎn)聚類算法，并稱這些類中心點(diǎn)為代表點(diǎn)。同時(shí)，文獻(xiàn)［13］提出一種典型的基于代表點(diǎn)聚類算法，即AP聚類算法，其目標(biāo)函數(shù)可以表示為

將上述目標(biāo)函數(shù)的優(yōu)化過程可以看作MRF的能量函數(shù)最小化過程，事實(shí)上，所有的基于代表點(diǎn)聚類算法的目標(biāo)函數(shù)優(yōu)化問題都可以看作是MRF的能量函數(shù)尋優(yōu)問題。AP算法使用基于信息傳遞的LBP（Loopy Belief Propagation）優(yōu)化算法來優(yōu)化式（1）。在具體優(yōu)化過程中，算法首先定義2個(gè)矩陣分別存儲(chǔ)樣本點(diǎn)傳遞給代表點(diǎn)的信息和代表點(diǎn)傳遞給樣本點(diǎn)的信息，具體定義為

AP算法不需要提前預(yù)設(shè)聚類總數(shù)，算法能夠根據(jù)數(shù)據(jù)集的相似性矩陣，自動(dòng)計(jì)算出合適的聚類總數(shù)，從而獲取有效的聚類結(jié)果；另一方面，實(shí)驗(yàn)證明AP算法所得到的聚類性能相當(dāng)有效與穩(wěn)定?；谶@兩個(gè)優(yōu)勢(shì)，近年來AP算法得到了國(guó)內(nèi)外研究者的廣泛關(guān)注，并已經(jīng)取得了若干重要研究成果，其中包括半監(jiān)督AP算法［14］，遞增式AP算法［16，17］等。為了解決遷移聚類問題，本文在保留原始AP算法以上兩個(gè)優(yōu)勢(shì)的基礎(chǔ)上，提出了一種改進(jìn)的AP算法，即基于Kullback-Leiber距離的遷移仿射聚類算法。

3　基于Kullback-Leiber距離的遷移仿射聚類算法

遷移聚類問題涉及到兩個(gè)數(shù)據(jù)集，即源域數(shù)據(jù)集與目標(biāo)域數(shù)據(jù)集。因此，如何準(zhǔn)確地度量目標(biāo)域與源域數(shù)據(jù)集之間的相似性，以及目標(biāo)域數(shù)據(jù)集樣本間的相似性，是亟待解決的問題。另一方面，概率框架能夠準(zhǔn)確地體現(xiàn)數(shù)據(jù)的分布特征，而在信息論中已知若干種距離可用來度量?jī)蓚€(gè)概率分布的相似性。

因此，本文首先利用概率的信息表征特征，引入概率框架重新解釋AP算法目標(biāo)函數(shù)的合理性及有效性，其次，在新的目標(biāo)函數(shù)的基礎(chǔ)上，利用Kullback-Leiber距離度量源域數(shù)據(jù)集與目標(biāo)域數(shù)據(jù)集的相似性，進(jìn)而發(fā)現(xiàn)可以將源域與目標(biāo)域的相似性嵌入到目標(biāo)域數(shù)據(jù)集的相似性矩陣的計(jì)算中，并借助AP算法的優(yōu)化算法解決遷移仿射聚類問題。

3.1 AP算法的概率框架下解釋

在信息論中，概率能夠更好地體現(xiàn)數(shù)據(jù)的分布特征。而在遷移學(xué)習(xí)中，較準(zhǔn)確的表示源域和目標(biāo)域的數(shù)據(jù)分布是解決其他問題的基礎(chǔ)和前提。因此，本節(jié)首先引入相關(guān)的概率定義，然后表明在高斯概率假設(shè)下，可誘導(dǎo)出等價(jià)的AP算法的目標(biāo)函數(shù)。換句話說，通過引入概率框架，我們可以重新解釋AP聚類算法的目標(biāo)函數(shù)，進(jìn)而給出AP算法基于概率框架的目標(biāo)函數(shù)。該概率框架為之后解決遷移學(xué)習(xí)中的聚類問題提供了可靠的基礎(chǔ)。

令E表示代表點(diǎn)的下標(biāo)集合，基于樣本點(diǎn)與代表點(diǎn)間的相似度，定義樣本點(diǎn)選擇作為代表點(diǎn)的概率為

其次，若當(dāng)前代表點(diǎn)集合中存在某代表點(diǎn)選擇除自己以外的其他代表點(diǎn)，則當(dāng)前代表點(diǎn)集合無效，即與AP算法的目標(biāo)函數(shù)類似，在概率框架下也可以通過定義來避免這類無效的代表點(diǎn)集合的產(chǎn)生。因此，代表點(diǎn)集合的先驗(yàn)概率為

由于聚類過程要求算法找到一個(gè)有效的代表點(diǎn)集合，并使以上兩項(xiàng)概率值最大。因此，從概率角度重新解釋AP算法，得到的新的目標(biāo)函數(shù)為

其中，N表示數(shù)據(jù)集中樣本點(diǎn)的個(gè)數(shù)，E表示每個(gè)樣本點(diǎn)所選擇的代表點(diǎn)下標(biāo)集合。進(jìn)一步簡(jiǎn)化目標(biāo)函數(shù)式（7），并忽略常數(shù)項(xiàng)的影響，可以認(rèn)為式（7）與AP算法的目標(biāo)函數(shù)式（1）是等價(jià)的。

因此，本節(jié)通過從概率角度重新考慮基于代表點(diǎn)的AP聚類算法，推導(dǎo)出了同樣的AP算法的目標(biāo)函數(shù)，這將為有效利用AP算法解決遷移聚類問題提供了前提條件；也就是在解決遷移聚類問題的時(shí)候，可以進(jìn)一步利用概率來度量源域與目標(biāo)域樣本的關(guān)系。

3.2基于Kullback-Leiber距離的遷移仿射聚類算法TAP_KL

在試圖利用AP聚類框架解決遷移聚類問題的時(shí)候，選擇一種可以測(cè)量源域與目標(biāo)域數(shù)據(jù)分布的距離公式具有重要作用。盡管我們可以采用其他的方法（如卡方檢驗(yàn)（Chi-Square），Hausdorff距離）來研究遷移聚類。但這里我們選擇KL距離，其原因是：（1）KL距離是信息論中最常見的一種距離度量方法。（2）基于KL距離，我們發(fā)現(xiàn)所得到的目標(biāo)函數(shù)可以直接使用AP算法的優(yōu)化算法，而不需要重新構(gòu)建新的優(yōu)化算法。這也是本文的貢獻(xiàn)之一。KL距離是信息論中最常見的一種距離度量，這種距離從統(tǒng)計(jì)學(xué)角度測(cè)量?jī)蓚€(gè)概率分布之間的相似性。假設(shè)存在兩個(gè)概率分別為P和Q，則概率分布P到概率分布Q的KL距離定義為

基于代表點(diǎn)的遷移聚類算法要求目標(biāo)域產(chǎn)生的代表點(diǎn)集合與源域的代表點(diǎn)集合盡可能相似。具體地，首先目標(biāo)域中的樣本點(diǎn)px從源域代表點(diǎn)集合中選擇最合適的代表點(diǎn)

進(jìn)一步簡(jiǎn)化式（10），并忽略對(duì)優(yōu)化過程無影響的常數(shù)項(xiàng)，得到目標(biāo)函數(shù)為

上述目標(biāo)函數(shù)式（11）與AP算法的目標(biāo)函數(shù)具有高度的相似性，因此可以借鑒AP算法的優(yōu)化算法來優(yōu)化式（11）。

3.3 TAP_KL與AP算法

3）開關(guān)量接點(diǎn)豐富，繼電保護(hù)測(cè)試儀7路接點(diǎn)輸入和2對(duì)空接點(diǎn)輸出，輸入接點(diǎn)為空接點(diǎn)和0～250V接點(diǎn)兼容；同時(shí)其自我保護(hù)結(jié)構(gòu)設(shè)計(jì)具備一定散熱性，本身具有可靠完善的多種保護(hù)措施和電源軟啟動(dòng)，因此，微機(jī)繼電保護(hù)裝置整體性價(jià)比較高。

另一方面，從樣本間相似性角度來說，AP算法的目標(biāo)函數(shù)可以表示為

式（13）則等價(jià)于TAP_KL的目標(biāo)函數(shù)式（12）。

綜上所述，通過使用不同的相似性度量手段，式（13）分別擴(kuò)展為AP算法的目標(biāo)函數(shù)式（1）和式（12）。在AP的優(yōu)化過程中，通過定義2個(gè)矩陣傳遞樣本間的信息，2個(gè)矩陣A和R的定義如式（2）所示，其迭代公式如（4），A和R均與數(shù)據(jù)集的相似性矩陣S有關(guān)。因此，在優(yōu)化TAP_KL算法的目標(biāo)函數(shù)式（14）時(shí)，只需將新的相似性矩陣S代入矩陣A和R的計(jì)算中，而其他設(shè)置不變。由于新的相似性矩陣定義中嵌入了度量源域與目標(biāo)域相似性的一項(xiàng)此時(shí)優(yōu)化算法得到的結(jié)果既考慮了目標(biāo)域樣本間的相似性，也考慮了源域與目標(biāo)域之間的相似性。TAP_KL算法的具體聚類步驟如表1所示。

表1　 TAP_KL算法

TAP_KL算法在解決遷移聚類問題的時(shí)候，（1）繼承了AP算法的優(yōu)勢(shì)，即不需要預(yù)設(shè)所得數(shù)據(jù)簇總數(shù)；（2）由于將源域與目標(biāo)域的相似性嵌入到目標(biāo)域相似性矩陣的計(jì)算中，TAP_KL算法不需要重新構(gòu)建新的優(yōu)化算法，而是直接利用AP算法的優(yōu)化算法解決遷移聚類問題，算法的時(shí)間和空間復(fù)雜度均不會(huì)增加。因此，TAP_KL算法在保持了與AP算法一致的時(shí)間與空間復(fù)雜度時(shí)，有效地解決遷移聚類問題。

4　仿真實(shí)驗(yàn)

本文通過若干仿真實(shí)驗(yàn)，進(jìn)一步驗(yàn)證TAP_KL算法的有效性，為構(gòu)建合理的遷移數(shù)據(jù)集，實(shí)驗(yàn)中選取了4個(gè)真實(shí)數(shù)據(jù)集，并將其與AP算法、TSC（Transfer Spectral Clustering）算法［8］比較。

4.1數(shù)據(jù)集與評(píng)價(jià)標(biāo)準(zhǔn)

本文主要使用兩個(gè)評(píng)價(jià)指標(biāo)來測(cè)試TAP_KL算法的聚類性能，即芮氏指標(biāo)（Rand Index，RI）［21］與歸一化互信息（Normalized Mutual Inform ation，NM I）［19］。RI和NM I的值均在［0，1］區(qū)間內(nèi)，且其值越接近1，算法所得的聚類性能越好。由于人臉數(shù)據(jù)集呈現(xiàn)出明顯的非線性流形結(jié)果，且同一個(gè)類別的人臉圖像，在不同的光照條件以及面部表情時(shí)，能夠擁有很高的相似性。因此，本文采用如表2所示的Extend Yale B，Yale和O livetti 3個(gè)人臉數(shù)據(jù)集作為實(shí)驗(yàn)數(shù)據(jù)集［22，23］。另一方面，為了從不同類型數(shù)據(jù)集驗(yàn)證算法的有效性，本文還采用了MNIST手寫體數(shù)據(jù)［24］。對(duì)于Extend Yale B和MNIST數(shù)據(jù)集，隨機(jī)選取部分樣本作為源域，剩余的少部分樣本構(gòu)成目標(biāo)域；對(duì)于樣本量不充分的Yale與O livetti數(shù)據(jù)集，實(shí)驗(yàn)中通過圖片順時(shí)針旋轉(zhuǎn)5°、逆時(shí)針旋轉(zhuǎn)5°、縮放0.9倍、縮放1.1倍，人為構(gòu)造源域與目標(biāo)域數(shù)據(jù)集［7，25］。為了更準(zhǔn)確的分析比較各類聚類算法的聚類性能，本節(jié)中的實(shí)驗(yàn)結(jié)果均是隨機(jī)進(jìn)行30次所得。

表2　各數(shù)據(jù)集描述

表3　參數(shù)設(shè)置

4.2實(shí)驗(yàn)結(jié)果分析

需要說明的是，與文獻(xiàn)［19］中的實(shí)驗(yàn)部分一致，針對(duì)Yale和O livetti數(shù)據(jù)集，首先對(duì)圖像進(jìn)行高斯核濾波處理，高斯核參數(shù)為0.5，其次對(duì)圖像進(jìn)行均值為0，方差為0.1的歸一化處理。TAP_KL算法和AP算法中的偏向參數(shù)α的設(shè)置將會(huì)影響算法所得的簇總數(shù)，α越大，算法所得的簇總數(shù)越少，反之，越小的α將導(dǎo)致越多的簇總數(shù)。綜合數(shù)據(jù)集的真實(shí)類標(biāo)以及文獻(xiàn)［13］中偏向參數(shù)α的設(shè)置辦法，本節(jié)中實(shí)驗(yàn)參數(shù)如表3所示。另外，TSC算法要求預(yù)先設(shè)定算法所得的簇總數(shù)，以及其他若干參數(shù)，由于篇幅原因，表3并沒有標(biāo)識(shí)出TSC算法的所有參數(shù)，涉及的有關(guān)參數(shù)的設(shè)置均遵循文獻(xiàn)［8］。

針對(duì)正則化參數(shù)λ對(duì)TAP_KL算法聚類性能的影響，目標(biāo)函數(shù)式（17）中第1，第2項(xiàng)擁有同樣的量綱，因此λ的取值不必太大，λ可以在｛1，2，3，4，5，6，7，8，9，10｝范圍內(nèi)進(jìn)行網(wǎng)格尋優(yōu)。表4中列出了λ∈｛1，3，5，7，10｝時(shí)，基于各數(shù)據(jù)集的TAP_KL算法的聚類結(jié)果，并從平均值及標(biāo)準(zhǔn)差的角度進(jìn)行說明。分析表中數(shù)據(jù)可知，λ從｛1，2，3，4，5，6，7，8，9，10｝范圍內(nèi)進(jìn)行網(wǎng)格尋優(yōu)是可靠的。

為了公正、準(zhǔn)確地分析比較各類聚類算法，實(shí)驗(yàn)中的各類算法都在數(shù)據(jù)集中運(yùn)行多次，借助多個(gè)聚類評(píng)價(jià)指標(biāo)，并通過t檢驗(yàn)（t-test）統(tǒng)計(jì)分析各類算法在不同數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果?；?個(gè)數(shù)據(jù)集的各類算法的聚類結(jié)果具體如表5-表7所示，以TAP_KL算法為基準(zhǔn)，采用t檢驗(yàn)統(tǒng)計(jì)分析各算法的聚類性能，所得結(jié)果如表8所示，其中所有參數(shù)設(shè)置均如表3所示。值得指出的是，當(dāng)表8中的p值小于0.05時(shí)，統(tǒng)計(jì)學(xué)中認(rèn)為成對(duì)比較的兩類實(shí)驗(yàn)結(jié)果具有顯著性不同。由于O livetti數(shù)據(jù)集的高維度以及高類別數(shù)，基于O livetti數(shù)據(jù)集的TSC算法運(yùn)行時(shí)間過長(zhǎng)，因此本文未將其與TAP_KL算法比較。分析各算法的聚類性能，所得實(shí)驗(yàn)結(jié)論如下：

（1）分析表5-表7，考慮到TAP_KL算法在聚類性能RI與NM I的表現(xiàn)，在源域樣本數(shù)充分而目標(biāo)域樣本數(shù)不足的情況下，TAP_KL算法能夠借助源域的聚類結(jié)果完成目標(biāo)域的聚類任務(wù)，并得到可靠的聚類結(jié)果。

（2）由于目標(biāo)域的數(shù)據(jù)集不充分，原始AP算法所得的聚類性能低于遷移聚類算法的性能，尤其是基于人臉數(shù)據(jù)集的實(shí)驗(yàn)中，當(dāng)λ取值合理時(shí)，根據(jù)表8中TAP_KL算法與AP算法的t檢驗(yàn)統(tǒng)計(jì)分析結(jié)果，TAP_KL算法的性能完全優(yōu)于原始的AP算法；

表4　 TAP_KL算法在不同λ時(shí)的聚類結(jié)果

表5　各算法基于數(shù)據(jù)集聚類性能比較

表6　各算法基于Yale數(shù)據(jù)集聚類性能

表7　各算法基于Olivetti數(shù)據(jù)集的聚類性能

表8　各數(shù)據(jù)集t檢驗(yàn)結(jié)果

（3）在與TSC算法的比較中，值得指出的是，TSC算法需要預(yù)設(shè)數(shù)據(jù)集的簇總數(shù)。在這個(gè)前提下，表8中TAP_KL算法與TSC算法的t檢驗(yàn)統(tǒng)計(jì)分析結(jié)果顯示，在解決本節(jié)中涉及到的4個(gè)數(shù)據(jù)集的遷移聚類問題時(shí)，TAP_KL算法的性能優(yōu)于TSC算法。

5　結(jié)束語

本文針對(duì)遷移聚類問題，提出了一種新的基于Kullback-Leiber距離的遷移仿射聚類算法，即TAP_KL算法。相對(duì)于其他聚類算法，本文研究了基礎(chǔ)的AP算法，并進(jìn)行改進(jìn)以解決遷移聚類問題。TAP_KL算法首先從概率角度重新解釋AP算法的目標(biāo)函數(shù)。其次借助于信息論中的KL距離，測(cè)量源域與目標(biāo)域代表點(diǎn)集合的相似性。最后，通過詳細(xì)分析TAP_KL算法與AP算法的目標(biāo)函數(shù)，得出一個(gè)重要結(jié)論，即可以將源域與目標(biāo)域的相似性嵌入到目標(biāo)域數(shù)據(jù)集相似性矩陣的計(jì)算中，從而直接利用AP算法的優(yōu)化算法解決新的遷移聚類問題。仿真實(shí)驗(yàn)分析進(jìn)一步驗(yàn)證了TAP_KL算法在解決遷移聚類問題時(shí)的有效性。雖然本文所提算法在解決遷移聚類問題時(shí)體現(xiàn)了較高的可靠性，算法仍然存在一些需要解決的問題。例如，算法的聚類性能并不十分穩(wěn)定，在多次重復(fù)的隨機(jī)實(shí)驗(yàn)中出現(xiàn)了一定的差別及較高的標(biāo)準(zhǔn)差，如何提高算法的穩(wěn)定性是一個(gè)非常重要的工作，我們將在未來的工作中做更深入的研究。另外，信息論中存在多種距離度量方法，其他距離是否可以度量源域與目標(biāo)域的相似性，并進(jìn)而發(fā)展出一種新的遷移聚類算法也是我們?cè)谝院蟮墓ぷ髦袝?huì)關(guān)注的方向。

［1］LONG M，WANG J，DING G，et al.Adaptation regularization:A general framework for transfer learning［J］. IEEE Transactions on Know ledge and Data Engineering，2014，26（5）:1076-1089.doi:10.1109/TKDE.2013.111.

［2］畢安琪，王士同.基于SVC和SVR約束組合的遷移學(xué)習(xí)分類算法［J］.控制與決策，2014，29（6）:1021-1026.doi:10.13195 /j.kzyjc.2013.0520.

BIAnqiand WANG Shitong.Transfer classification learning based on com bination of both SVC and SVR’s constraints［J］. Con tro land Decision，2014，29（6）:1021-1026.doi:10.13195/j. kzyjc.2013.0520.

［3］PATRICIA N and CAPUTO B.Learning to learn，from transfer learning to domain adap tation:A unifying perspective［C］.Proceedings of the IEEE Conference on Com puter Vision and Pattern Recognition，Columbus，OH，USA，2014:1442-1449.doi:10.1109/CVPR.2014.187.

［4］XU Z J and SUN S L.M ulti-sou rce transfer learning w ith m ulti-view adaboost［J］.Neural Inform ation Processing，2012，7665:332-339.doi:10.1007/978-3-642-34487-9_41.

［5］PAN S J L，KWOK JT，and YANG Q.Transfer learning via dimensionality reduction［C］.Proceedings of the 23rd International Conference on A rtificial Intelligence，CA，USA: 2008:677-682.

［6］PAN S J L，NIX C，SUN J T，et al.Cross dom ain sentim ent classification via spectral feature alignment［C］.Proceedings of the 19th International Con ference on World W ide W eb（WWW-10）.New York，USA，2010，751-760.doi:10. 1145/1772690.1772767.

［7］蔣亦樟，鄧趙紅，王士同.M L型遷移學(xué)習(xí)模糊系統(tǒng)［J］.自動(dòng)化學(xué)報(bào)，2012，38（9）:1393-1409.doi:10.3724/SP.J.1004.2012. 01393.

JIANG Yizhang，DENG Zhaohong，and WANG Shitong. Mam dani-Larsen type transfer learning fuzzy system［J］.Acta Automatica Sinica，2012，38（9）:1393-1409.doi:10. 3724/SP.J.1004.2012.01393.

［8］JIANG W H and CHUNG F L.Transfer spectral clustering［C］.Proceedings of the 2012 European Conference on M achine Learn ing and Princip les and Practice of Know ledge Discovery in Databases，Berlin，Heidelberg，2012:789-803. doi:10.1007/978-3-642-33486-3_50.

［9］LIM J，NG M K，CHEUNG Y M，et al.Agglom erative fuzzy K-means clustering algorithm w ith selection of number of clusters［J］.IEEE Transactions on Know ledge and Data Engineering，2008，20（11）:1519-1534.doi:10.1109/TKDE. 2008.88.

［10］KRISHMA K and MURTY M N.Genetic K-m eans algorithm［J］.IEEE Transactions on Systems，Man，and Cybernetics，Part B，1999，29（3）:433-439.doi:10.1109/3477. 764879.

［11］ERSAHIN K，CUMM ING I G，and WARD R K. Segmentation and classification of Polarimetric SAR data using spectral graph partitioning［J］.IEEE Transactions on Geoscience and Rem ote Sensing，2010，48（1）:164-167.doi: 10.1109/TGRS.2009.2024303.

［12］LAUER F and SCHNORR C.Spectral clustering of linear subspaces for motion segmentation［C］.Proceedings of the 12th IEEE International Conference of Com puter V ision，Kyoto，Japan，2009:678-685.doi:10.1109/ICCV.2009. 5459173.

［13］FREY B J and DUECK D.Clustering by passing messages between data points［J］.Science，2007，315（5814）:972-976.

［14］肖宇，于劍.基于近鄰傳播算法的半監(jiān)督聚類［J］.軟件學(xué)報(bào)，2008，19（11）:2803-2813.doi:10.3724/SP.J.1001.2008.02803.

XIAO Yu and YU Jian.Sem i-supervised clustering based on affinity propagation algorithm［J］.Journal of Software，2008，19（11）:2803-2813.doi:10.3724/SP.J.1001.2008.02803.

［15］儲(chǔ)岳中，徐波，高有濤.基于近鄰傳播聚類與核匹配追蹤的遙感圖像目標(biāo)識(shí)別方法［J］.電子與信息學(xué)報(bào)，2014，36（12）: 2923-2928.doi:10.3724/SP.J.1146.2014.00422.

CHU Yuezhong，XU Bo，and GAO Youtao.Technique of remote sensing image target recognition based on affinity propagation and kernel m atching pursuit［J］.Journal of Electronics&Inform ation Techno logy，2014，36（12）: 2923-2928.doi:10.3724/SP.J.1146.2014.00422.

［16］SUN L and GUO C H.Incremental affinity propagation clustering based on message passing［J］.IEEE Transactions on Know ledge and Data Engineering，2014，26（11）:2731-2744. doi:10.1109/TKDE.2014.2310215.

［17］SHI X H，GUAN R C，WANG L P，et al.An increm ental affinity p ropagation algorithm and its applications for text clustering［C］.Proceedings International Joint Con ference on Neural Networks，Atlanta，GA，USA，2009:2914-2919.doi: 10.1109/IJCNN.2009.5178973.

［18］ZHENG Yun and CHEN Pei.Clustering based on enhanced α-expansion move［J］.IEEE Transactions on Know ledge and Data Engineering，2013，25（10）:2206-2216.doi:10.1109/ TKDE.2012.202.

［19］畢安琪，董愛美，王士同.基于概率和代表點(diǎn)的數(shù)據(jù)流動(dòng)態(tài)聚類算法［J］.計(jì)算機(jī)研究與發(fā)展，2016，53（5）:1029-1042.

BIAnqi，DONG Aimei，and WANG Shitong.A dynam ic data stream clustering algorithm based on probability and exem p lar［J］.Journal ofCom puter Research and Developm en t，2016，53（5）:1029-1042.

［20］孫力娟，陳小東，韓崇，等.一種新的數(shù)據(jù)流模糊聚類方法［J］.電子與信息學(xué)報(bào)，2015，37（7）:1620-1625.doi:10.11999/ JEIT 141415.

SUN Lijuan，CHEN Xiaodong，HAN Chong，etal.New fuzzyclustering algorithm for data stream［J］.Journal of Electronics&Information Techno logy，2015，37（7）: 1620-1625.doi:10.11999/JEIT 141415.

［21］JIANG Y Z，CHUNG F L，WANG S T，et al.Collaborative fuzzy clustering from mu ltip le weighted views［J］.IEEE Transactions on Cybernetics，2015，45（4）:688-701.doi:10. 1109/TCYB.2014.2334595.

［22］CAID，HE X F，HAN JW，et al.O rthogonal Lap lacian faces for face recognition［J］.IEEE Transactions on Image Processing，2006，15（11）:3608-3614.doi:10.1109/TIP.2006. 881945.

［23］張景祥，王士同，鄧趙紅，等.融合異構(gòu)特征的子空間遷移學(xué)習(xí)算法［J］.自動(dòng)化學(xué)報(bào)，2014，40（2）:236-246.doi: 10.3724/SP.J.1004.2014.00236.

ZHANG Jingxiang，WANG Shitong，DENG Zhaohong，et al. A subspace transfer learning algorithm integrating heterogeneous features［J］.Acta Automatica Sinica，2014，40（2）:236-246.doi:10.3724/SP.J.1004.2014.00236.

［24］LE C Y，BOTTOU L，BENGIO Y，et al.Gradient-based learn ing app lied to docum ent recognition［J］.Proceedings of the IEEE，1998，86（11）:2278-2324.doi:10.1109/5.726791.

［25］REN J，SHIX，F(xiàn)ANW，et al.Type independent correction of sam p le selection bias via structural discovery and rebalancing［C］.Proceedings of the 8th SIAM International Conference on Data M ining，A tlanta，GA，USA，2008: 565-576.doi:10.1137/1.9781611972788.52.

畢安琪：女，1989年生，博士生，研究方向?yàn)槟Ｊ阶R(shí)別、人工智能、遷移學(xué)習(xí)等.

王士同：男，1964年生，教授，研究方向?yàn)槟Ｊ阶R(shí)別、人工智能、模糊系統(tǒng)等.

Transfer Affinity Propagation Clustering Algorithm Based on Kullback-Leiber Distance

BIAnqi WANG Shitong
（Schoo l of Digital M edia，Jiangnan University，W uxi 214122，China）

For solving the clustering p rob lem of transfer learning，a new algorithm called Transfer A ffinity Propagation clustering algorithm is proposed based on Ku llback-Leiber distance（TAP_KL）.Based on the probabilistic framework，a new interpretation of the ob jective function of A ffinity Propagation（AP）clustering algorithm is proposed.By leveraging Kullback-Leiber distance which is usually used in information theory，TAP_KL measures the sim ilarity relationship between source data and target data.Moreover，TAP_KL algorithm can embed the sim ilarity relationship to the calculation of sim ilarity matrix of target data.Thus，the op tim ization framework of AP can be directly used to optim ize the new target function of TAP_KL.In this case，TAP_KL builds a sim ple algorithm framework to solve the transfer clustering p roblem，in which the algorithm just needs tomodify the sim ilarity matrix to solve the transfer clustering prob lem.The experimental results based on both 4 datasets show the effectiveness of the p roposed algorithm TAP_KL.

A ffinity Propagation（AP）clustering algorithm；Transfer learning；Face datasets；Probabilistic framework；Kullback-Leiber distance（KL）

s:The National Natural Science Foundation of China（61170122，71272210），Jiangsu G raduate Student Innovation Projects（KYLX_1124），The Science and Technology P rogram Shandong Provinceial H igher Education（J14LN 05）

TP391.4

A

1009-5896（2016）08-2076-09

10.11999/JEIT 151132

2015-10-10；改回日期：2016-04-17；網(wǎng)絡(luò)出版：2016-06-03

畢安琪angela.sue.bi@gm ail.com

國(guó)家自然科學(xué)基金（61170122，61272210），江蘇省2014年度普通高校研究生科研創(chuàng)新計(jì)劃項(xiàng)目（KYLX_1124），山東省高等學(xué)?？萍加?jì)劃項(xiàng)目（J14LN05）