王天池,俞 璐
(陸軍工程大學(xué),江蘇 南京 210001)
在現(xiàn)代戰(zhàn)場(chǎng)通信對(duì)抗中,作為“千里眼、順風(fēng)耳”的通信偵察技術(shù)早已是各國(guó)爭(zhēng)相進(jìn)行研究與攻關(guān)的關(guān)鍵領(lǐng)域。輻射源個(gè)體識(shí)別(Specific Emitter Identification)作為通信偵察的一種技術(shù)手段,在現(xiàn)代戰(zhàn)場(chǎng)上發(fā)揮著至關(guān)重要的作用。
輻射源個(gè)體識(shí)別技術(shù)能夠提高戰(zhàn)備防御能力,在識(shí)別敵方設(shè)備、分析敵方目標(biāo)個(gè)體、分析戰(zhàn)場(chǎng)電磁態(tài)勢(shì)、獲取有價(jià)值的情報(bào)等方面,均有著十分重要的應(yīng)用。輻射源個(gè)體識(shí)別是將輻射源電磁特征與輻射源個(gè)體相匹配的技術(shù)。不同輻射源個(gè)體之間,制造工藝、電子元件非線性的差異及信號(hào)調(diào)制方式的不同,導(dǎo)致了同一輻射源所發(fā)射信號(hào)的內(nèi)在特征的不同。輻射源個(gè)體識(shí)別是通過(guò)提取通信輻射源發(fā)送信號(hào)中的細(xì)微特征,來(lái)識(shí)別不同的通信輻射源個(gè)體的方法[1,2]。
由于通信輻射源數(shù)據(jù)采集和標(biāo)注成本高,構(gòu)建通信輻射源數(shù)據(jù)集非常困難,而且數(shù)據(jù)量過(guò)小易導(dǎo)致訓(xùn)練時(shí)發(fā)生過(guò)擬合,造成模型識(shí)別精度較低。遷移學(xué)習(xí)[3](Transfer Learning)不要求源域與目標(biāo)域數(shù)據(jù)同分布,大大減輕了傳統(tǒng)模型對(duì)數(shù)據(jù)量和數(shù)據(jù)分布的敏感性,可以一定程度上解決通信輻射源數(shù)據(jù)集不全面、不充足等問(wèn)題。
傳統(tǒng)機(jī)器學(xué)習(xí)從訓(xùn)練數(shù)據(jù)中學(xué)習(xí)知識(shí)產(chǎn)生模型,模型對(duì)測(cè)試數(shù)據(jù)進(jìn)行識(shí)別,因此基于傳統(tǒng)機(jī)器學(xué)習(xí)的通信輻射源個(gè)體識(shí)別方法要求訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)要在相同的特征空間,并具有相同的分布。在缺少同特征空間、同分布的訓(xùn)練數(shù)據(jù)時(shí),遷移學(xué)習(xí)從不同的特征空間及數(shù)據(jù)分布的源域中學(xué)習(xí)知識(shí)向目標(biāo)任務(wù)遷移[3],可以有效解決目標(biāo)域數(shù)據(jù)集構(gòu)建困難造成的訓(xùn)練問(wèn)題?;谶w移學(xué)習(xí)的通信輻射源個(gè)體識(shí)別基本原理如圖1 所示。圖1 中“○”表示一個(gè)數(shù)據(jù)集,“■”和“▲”表示采集到的帶標(biāo)簽數(shù)據(jù),“◇”為采集到的不帶標(biāo)簽的數(shù)據(jù)。
圖1 基于遷移學(xué)習(xí)的通信輻射源個(gè)體識(shí)別基本原理
基于遷移學(xué)習(xí)的通信輻射源個(gè)體識(shí)別的基本思想是,由于通信輻射源信號(hào)采集環(huán)境復(fù)雜,不同環(huán)境采集難度不一,通過(guò)在較易環(huán)境中采集大量數(shù)據(jù),構(gòu)建標(biāo)簽,建立數(shù)據(jù)集作為源域,將不帶標(biāo)簽的待測(cè)信號(hào)數(shù)據(jù)作為目標(biāo)域。對(duì)于通信輻射源個(gè)體識(shí)別問(wèn)題來(lái)說(shuō),這里的源域和目標(biāo)域?qū)儆谕卣骺臻g、不同分布數(shù)據(jù),符合遷移學(xué)習(xí)的基本設(shè)定。遷移學(xué)習(xí)將從源域中學(xué)到的知識(shí)遷移到目標(biāo)域訓(xùn)練任務(wù)中去,從而提升模型的魯棒性。在基于遷移學(xué)習(xí)的通信輻射源個(gè)體識(shí)別任務(wù)中,遷移學(xué)習(xí)就是將從不同信道采集到的數(shù)據(jù)中學(xué)到的知識(shí)遷移到待測(cè)信號(hào)訓(xùn)練任務(wù)中去。
從通信輻射源個(gè)體識(shí)別問(wèn)題本身出發(fā),對(duì)于同一通信輻射源而言,即使發(fā)送的信號(hào)經(jīng)歷了不同的環(huán)境,其所帶的“指紋特征(Fingerprint Feature)”是不變的。因此,對(duì)于同一輻射源在不同信道環(huán)境下發(fā)射的信號(hào),即使信號(hào)數(shù)據(jù)的特征空間及邊緣分布有所偏差,但是在低維上仍是“相近的”,這進(jìn)一步證明了遷移學(xué)習(xí)在通信輻射源個(gè)體識(shí)別任務(wù)上的可行性。
機(jī)器學(xué)習(xí)技術(shù)在分類、回歸和聚類等眾多領(lǐng)域得到了廣泛的應(yīng)用,并取得了顯著的成果。在分類領(lǐng)域,對(duì)數(shù)據(jù)進(jìn)行分類時(shí),首先需要對(duì)分類器進(jìn)行訓(xùn)練。對(duì)于傳統(tǒng)機(jī)器學(xué)習(xí)方法或經(jīng)典深度學(xué)習(xí)算法,訓(xùn)練集和測(cè)試集應(yīng)具有相同的特征空間并服從相同的分布。對(duì)于已訓(xùn)練好的分類器,如果新數(shù)據(jù)不滿足與訓(xùn)練集同分布這個(gè)條件,那么需要對(duì)新數(shù)據(jù)進(jìn)行重新標(biāo)注,用于分類器的重新訓(xùn)練。在很多領(lǐng)域,標(biāo)注新數(shù)據(jù)的成本往往很高,這在實(shí)際項(xiàng)目中難以實(shí)現(xiàn)。在這種情況下,為了降低標(biāo)注新數(shù)據(jù)的成本,遷移學(xué)習(xí)作為一種新的機(jī)器學(xué)習(xí)范式逐漸受到了人們重視。Pan 等人[3]系統(tǒng)地研究了遷移學(xué)習(xí)的發(fā)展情況,并歸納總結(jié)了遷移學(xué)習(xí)的類型和應(yīng)用場(chǎng)景。他們從3 個(gè)維度將遷移學(xué)習(xí)進(jìn)行了分類:根據(jù)源域與目標(biāo)域的特征空間和標(biāo)記空間的一致性,將遷移學(xué)習(xí)分為同構(gòu)遷移學(xué)習(xí)與異構(gòu)遷移學(xué)習(xí);根據(jù)遷移的領(lǐng)域?qū)傩?,將其分為歸納式遷移學(xué)習(xí)、直推式遷移學(xué)習(xí)、無(wú)監(jiān)督遷移學(xué)習(xí),總結(jié)如表1 所示;根據(jù)遷移學(xué)習(xí)的實(shí)現(xiàn)方法,將其細(xì)分為基于實(shí)例、基于特征表示、基于參數(shù)以及基于關(guān)系知識(shí)的遷移學(xué)習(xí)。基于實(shí)例和特征表示的遷移學(xué)習(xí)方法在歸納式、直推式、無(wú)監(jiān)督遷移學(xué)習(xí)中均有應(yīng)用,基于參數(shù)和關(guān)系的知識(shí)遷移學(xué)習(xí)方法只在直推式遷移學(xué)習(xí)中研究過(guò)。
表1 遷移學(xué)習(xí)不同方法的聯(lián)系及相關(guān)領(lǐng)域
本文主要基于遷移學(xué)習(xí)的實(shí)現(xiàn)方法對(duì)國(guó)內(nèi)外遷移學(xué)習(xí)具有代表性的研究成果進(jìn)行分類討論。
基于實(shí)例的遷移學(xué)習(xí)方法主要應(yīng)用于源域和目標(biāo)域不完全相同分布而不能直接重用于目標(biāo)域訓(xùn)練任務(wù)的場(chǎng)景,該方法通過(guò)重采樣或改變樣本存在形式等方式來(lái)減少源域和目標(biāo)域的差異。
Jiang 等人[4]提出了利用源域和目標(biāo)域兩者的條件概率P(ys|xs)和P(yt|xt)的差異,來(lái)去除源域訓(xùn)練樣本中影響目標(biāo)域“正確”訓(xùn)練的“錯(cuò)誤”樣本,然后利用新的源域樣本訓(xùn)練分類器,并對(duì)目標(biāo)域中的數(shù)據(jù)添加標(biāo)簽。最后,結(jié)合新源域與目標(biāo)域作為訓(xùn)練集來(lái)共同訓(xùn)練分類器。
Dai 等人[5]提出了一種稱為TrAdaBoost的遷移學(xué)習(xí)算法,是AdaBoost算法的拓展。TrAdaBoost 旨在解決當(dāng)源域與目標(biāo)域中存在不同分布的數(shù)據(jù)時(shí),AdaBoost算法對(duì)分類器產(chǎn)生負(fù)面影響的問(wèn)題,屬于歸納式遷移學(xué)習(xí)范疇。該算法通過(guò)給同分布樣本增加訓(xùn)練權(quán)重,不同分布的“負(fù)作用”樣本降低權(quán)重的方式,最大化減輕因不同分布的數(shù)據(jù)樣本對(duì)分類器造成的負(fù)面影響。具體算法如下:
Cheng 等人[6]基于TrAdaBoost算法提出了一種加權(quán)多源的遷移學(xué)習(xí)算法。該算法首先利用源域和目標(biāo)域組成的多個(gè)訓(xùn)練樣本集來(lái)訓(xùn)練多個(gè)弱分類器,并根據(jù)訓(xùn)練效果給每個(gè)弱分類器分配權(quán)重,將多個(gè)弱分類器的加權(quán)和作為候選分類器;其次根據(jù)候選分類器的分類損失,更新源域和目標(biāo)域的樣本權(quán)重;最后,多個(gè)弱分類器根據(jù)新的樣本權(quán)重重新訓(xùn)練,并形成新的弱分類器權(quán)重,以上步驟迭代進(jìn)行。
Antunes 等人[7]基于文獻(xiàn)[6]中加權(quán)多源TrAda Boost算法,提出了一種改進(jìn)的遷移學(xué)習(xí)方法。該方法引入每個(gè)數(shù)據(jù)點(diǎn)重要性的權(quán)重,考慮了目標(biāo)數(shù)據(jù)和源數(shù)據(jù)之間的平衡,同時(shí)比較了目標(biāo)域和源域數(shù)據(jù)量不同比重對(duì)算法效果的影響,在目標(biāo)域數(shù)據(jù)比重較大時(shí)取得比基礎(chǔ)算法更好的效果。
Ren 等人[8]提出了一種基于模糊近鄰密度聚類與重采樣的遷移學(xué)習(xí)算法,該方法區(qū)別于其他遷移學(xué)習(xí)方法,不是直接估計(jì)不同的分布,而是通過(guò)聚類分析探索數(shù)據(jù)結(jié)構(gòu),然后利用獲得的結(jié)構(gòu)信息生成新的訓(xùn)練集,用于重采樣策略下的目標(biāo)學(xué)習(xí)?;诰垲惙治龊椭夭蓸拥倪w移學(xué)習(xí)過(guò)程如圖2 所示,圖中有兩類樣本“○”和“□”,“○”采樣后標(biāo)記為“●”,“□”采樣后標(biāo)記為“■”。該算法首先通過(guò)對(duì)整個(gè)數(shù)據(jù)集進(jìn)行聚類分析,找到數(shù)據(jù)結(jié)構(gòu)信息,如圖2(b);其次從每個(gè)子類中,按照相同的比例,通過(guò)一定的重采樣策略,生成一組新的與目標(biāo)域數(shù)據(jù)分布偏差較小的訓(xùn)練樣本,用于目標(biāo)域?qū)W習(xí),如圖2(c)。如圖2(d)所示,該算法性能較對(duì)數(shù)據(jù)直接估計(jì)分布的方法有了很大的提升。
Sharma 等人[9]首先證明了不同源域樣本對(duì)目標(biāo)模型遷移學(xué)習(xí)效果不同的假設(shè),其次提出了一種基于實(shí)例的無(wú)監(jiān)督遷移學(xué)習(xí)算法,用于改善源域到目標(biāo)域的遷移過(guò)程中,由于訓(xùn)練樣本導(dǎo)致的模型衰弱的問(wèn)題。算法通過(guò)提取源域和目標(biāo)域中相似和不同的樣本,利用多樣本對(duì)比損失來(lái)驅(qū)動(dòng)領(lǐng)域?qū)R,并結(jié)合類別之間的類內(nèi)聚類和類間分離,從而減少噪聲分類器邊界,提高可遷移性和準(zhǔn)確性。
基于特征表示的遷移學(xué)習(xí)方法的主要思想是通過(guò)尋找“域不變”的特征表示去最小化域間差異以及分類或回歸模型誤差。此類遷移學(xué)習(xí)方法也稱作域適應(yīng)方法,這類方法通常結(jié)合對(duì)抗學(xué)習(xí)、度量學(xué)習(xí)等方法來(lái)獲取“域不變”特征。
Pan 等人[10]提出了一種稱為遷移成分分析(Transfer Component Analysis,TCA)的遷移學(xué)習(xí)算法。該算法針對(duì)源域與目標(biāo)域數(shù)據(jù)處于不同數(shù)據(jù)分布的情況,先將兩個(gè)領(lǐng)域的數(shù)據(jù)一起映射到一個(gè)高維的再生核希爾伯特空間,達(dá)到降維的效果,接著利用最大均值差異(Maximum Mean Discrepancy,MMD)最小化源域和目標(biāo)域的數(shù)據(jù)分布距離,最大程度地保留源域和目標(biāo)域的共同屬性,即“域不變”特征表示。該算法中將源域和目標(biāo)域數(shù)據(jù)降維映射到再生希爾伯特空間生成MMD 距離的公式為:
式中:n1為源域數(shù)據(jù)數(shù)量;n2為目標(biāo)域數(shù)據(jù)數(shù) 量;為第i個(gè)源域數(shù)據(jù);為 第i個(gè) 目標(biāo)數(shù)據(jù);?表示假設(shè)存在的一個(gè)特征映射使得P(?(xsrc))≈P(?(xtar));H 表示再生希爾伯特空間條件。
Long等人[11]在文獻(xiàn)[10]中TCA算法的基礎(chǔ)上,提出了聯(lián)合分布自適應(yīng)(Joint Distribution Adaptation,JDA)遷移學(xué)習(xí)算法,證明了域之間的差異來(lái)自邊緣分布和條件分布。JDA算法在TCA算法的基礎(chǔ)上同時(shí)最小化邊緣分布和條件分布的差異,最終生成對(duì)分類有效的“域不變”特征表示。
Wang 等人[12]在文獻(xiàn)[11]中JDA算法的基礎(chǔ)上,進(jìn)一步改進(jìn)并提出了平衡分布自適應(yīng)(Balanced Distribution Adaptation,BDA)算法,證明了JDA算法中提到的邊緣分布和條件分布兩種分布并不是同等重要的假設(shè)。BDA算法可以自適應(yīng)地衡量邊緣分布和條件分布對(duì)目標(biāo)任務(wù)的重要性,并分配權(quán)重,從而更加合理地進(jìn)行域之間特征的對(duì)齊。此外,基于BDA 方法提出了加權(quán)平衡分布自適應(yīng)(Weighted Balanced Distribution Adaptation,W-BDA)算法來(lái)進(jìn)一步解決遷移學(xué)習(xí)中的類不平衡問(wèn)題。
Wang 等人[13]進(jìn)一步對(duì)邊緣分布和條件分布適配對(duì)遷移任務(wù)的重要性展開(kāi)了研究,提出了動(dòng)態(tài)分布適應(yīng)(Dynamic Distribution Adaptation,DDA)遷移學(xué)習(xí)方法,該方法能夠定量評(píng)估兩個(gè)分布的相對(duì)重要性。此外,基于DDA 方法提出了兩種新的遷移學(xué)習(xí)算法:用于傳統(tǒng)遷移學(xué)習(xí)的流形動(dòng)態(tài)分布自適應(yīng)(Manifold Dynamic Distribution Adaptation,MDDA)算法,基于深度遷移學(xué)習(xí)的動(dòng)態(tài)分布自適應(yīng)網(wǎng) 絡(luò)(Dynamic Distribution Adaptation Network,DDAN)算法。
Ghifary 等人[14]提出了一種域自適應(yīng)神經(jīng)網(wǎng)絡(luò)(Domain adaptive Neural Networks,DaNN)模型,該模型只有特征提取層和MMD 適配層。通過(guò)特征提取層提取的特征,結(jié)合MMD 進(jìn)行數(shù)據(jù)分布距離的計(jì)算,將其與源域數(shù)據(jù)的分類損失相結(jié)合作為網(wǎng)絡(luò)損失進(jìn)行訓(xùn)練,從而保證在提高訓(xùn)練精度的同時(shí),使網(wǎng)絡(luò)能夠?qū)W到更多“域不變”的特征表示。
Tzeng 等人[15]則基于DaNN的思想將MMD 適配層引入AlexNet 網(wǎng)絡(luò),并將其添加到最后一個(gè)全連接層之前,即特征提取層之后。與DaNN 一樣通過(guò)將MMD 距離引入網(wǎng)絡(luò)損失中,減少特征提取層提取源域與目標(biāo)域特征的差異,也就是更多地提取“域不變”特征。此外,該模型利用AlexNet 網(wǎng)絡(luò)更高的表征能力進(jìn)一步提升了神經(jīng)網(wǎng)絡(luò)解決遷移學(xué)習(xí)問(wèn)題的能力。
Long 等人[16]首先證明了不同的特征提取層提取的特征分布適配對(duì)目標(biāo)任務(wù)的影響,其次在特定的特征提取層引入多核最大均值差異(Multi-kernel MMD,MK-MMD),用于抵消不同核對(duì)數(shù)據(jù)分布衡量準(zhǔn)確性的誤差,并提出了一種基于深度自適應(yīng)網(wǎng)絡(luò)(Deep Adaptation Networks,DAN)的神經(jīng)網(wǎng)絡(luò)模型,網(wǎng)絡(luò)模型結(jié)構(gòu)圖如圖3 所示。
圖3 基于AlexNet的DAN 模型[16]
Ganin 等人[17]首先證明了在域適應(yīng)過(guò)程中,若由提取的特征無(wú)法分辨是源域樣本還是目標(biāo)域樣本,那么該特征更能體現(xiàn)類別特征而不是域特征,即“域不變”特征的假設(shè);其次提出了一種基于對(duì)抗的深度遷移網(wǎng)絡(luò)(Domain Adversarial Neural Networks,DANN)模型。該模型通過(guò)利用源域樣本有監(jiān)督地訓(xùn)練特征提取器,之后域分類器判斷經(jīng)過(guò)特征提取的源域和目標(biāo)域樣本特征到底是來(lái)自源域還是目標(biāo)域,并計(jì)算損失Ldomain,再引入梯度反轉(zhuǎn)使得Ldomain向相反方向傳播,達(dá)到混淆域分類器的目的,同時(shí)設(shè)置類別分類器對(duì)源域進(jìn)行測(cè)試,計(jì)算分類損失Llabel。該模型的訓(xùn)練目標(biāo)就是最大化域分類損失Ldomain和最小化類別分類損失Llabel。模型總體損失函數(shù)為:
式中:參數(shù)γ為可人為調(diào)整控制訓(xùn)練的傾向性;參數(shù)ρ為當(dāng)前訓(xùn)練輪數(shù)與訓(xùn)練總輪數(shù)的比值。設(shè)置參數(shù)λ的目的是讓DANN 在訓(xùn)練初期將更多的注意力放到學(xué)習(xí)源域特征上,使模型更好地收斂。DANN網(wǎng)絡(luò)模型結(jié)構(gòu)如圖4 所示。
圖4 基于對(duì)抗的深度遷移網(wǎng)絡(luò)(DANN)模型[17]
Tzeng 等[18]人基于文獻(xiàn)[17]中的DANN 和生成對(duì)抗網(wǎng)絡(luò)(Generative Adversarial Networks,GAN)的思想提出了一種對(duì)抗鑒別域適應(yīng)(Adversarial Discriminative Domain Adaptation,ADDA)遷移學(xué)習(xí)域適應(yīng)模型。由于他們先證明了DAAN 中源域和目標(biāo)域特征提取器參數(shù)共享會(huì)導(dǎo)致模型在目標(biāo)域上性能的下降的假設(shè),因此ADDA 采取了部分參數(shù)與源域共享的方式,并在鑒別器損失設(shè)計(jì)上,ADDA 區(qū)別于DANN。ADDA 鼓勵(lì)域鑒別器能夠準(zhǔn)確分開(kāi)源域和目標(biāo)域樣本,同時(shí)又鼓勵(lì)目標(biāo)域特征提取器提取的特征能夠混淆域鑒別器識(shí)為源域,以實(shí)現(xiàn)對(duì)抗思想。該模型在域偏移較大任務(wù)上取得了較好的效果。
Yu 等人[19]基于文獻(xiàn)[17]中的DANN 模型,提出了動(dòng)態(tài)對(duì)抗自適應(yīng)網(wǎng)絡(luò)(Dynamic Adversarial Adaptation Network,DAAN)遷移學(xué)習(xí)域適應(yīng)模型。該模型結(jié)合文獻(xiàn)[13]中提出的邊緣分布和條件分布適配在域適應(yīng)過(guò)程中有著不同重要性的基本假設(shè),為對(duì)抗遷移模型同時(shí)引入全局域鑒別器和局部域鑒別器兩個(gè)鑒別器,目的就是在域適應(yīng)的過(guò)程中同時(shí)適配源域和目標(biāo)域的邊緣分布和條件分布。模型總損失包括類別分類損失Llabel,全局域鑒別器分類損失Lglobal和局部域鑒別器域鑒別損失Llocal,模型總體損失函數(shù)為:
式中:參數(shù)γ為可人為調(diào)整控制訓(xùn)練的傾向性;參數(shù)ρ為當(dāng)前訓(xùn)練輪數(shù)與訓(xùn)練總輪數(shù)的比值,參數(shù)λ為動(dòng)態(tài)權(quán)重因子,目的是在模型訓(xùn)練初期更加注重放到學(xué)習(xí)源域特征上;參數(shù)ω為動(dòng)態(tài)可學(xué)習(xí)參數(shù),目的是動(dòng)態(tài)評(píng)估邊緣分布和條件分布的相對(duì)重要性,在訓(xùn)練過(guò)程中發(fā)揮了平衡兩個(gè)分布對(duì)源域和目標(biāo)域之間的域適應(yīng)的作用,使模型更加具有魯棒性。DAAN 網(wǎng)絡(luò)模型結(jié)構(gòu)如圖5 所示。
圖5 動(dòng)態(tài)對(duì)抗自適應(yīng)網(wǎng)絡(luò)(DAAN)[19]
基于參數(shù)的遷移學(xué)習(xí)假設(shè)源任務(wù)和目標(biāo)任務(wù)之間共享模型的部分參數(shù),通過(guò)源域任務(wù)的先驗(yàn)知識(shí)總結(jié),幫助完成目標(biāo)任務(wù)。
Evgeniou 等人[20]提出了一種在正則化框架下的支持向量機(jī)參數(shù)的遷移學(xué)習(xí)方法。該方法把支持向量機(jī)(Support Vector Machines,SVM)中的參數(shù)w針對(duì)每個(gè)任務(wù)分為共同項(xiàng)和特殊項(xiàng),然后對(duì)SVM的學(xué)習(xí)目標(biāo)進(jìn)行擴(kuò)展,得到參數(shù)w實(shí)現(xiàn)遷移學(xué)習(xí)。
Bonilla 等人[21]提出了一種用帶高斯過(guò)程的層次貝葉斯模型解決多任務(wù)學(xué)習(xí)問(wèn)題的方法,該模型在任務(wù)上用自由形式的協(xié)方差矩陣使相互依賴的內(nèi)部任務(wù)模型化,通過(guò)共享協(xié)方差函數(shù)實(shí)現(xiàn)參數(shù)共享,從而實(shí)現(xiàn)任務(wù)間的知識(shí)遷移。
Karbalayghareh 等人[22]提出了一種貝葉斯遷移學(xué)習(xí)算法,該算法通過(guò)模型參數(shù)的聯(lián)合先驗(yàn)密度將源域和目標(biāo)域相關(guān)聯(lián),為源域和目標(biāo)域中的高斯特征標(biāo)簽分布的精度矩陣定義了一個(gè)聯(lián)合Wishart 分布,以充當(dāng)傳遞源域有用信息的橋梁,并通過(guò)改進(jìn)目標(biāo)后驗(yàn)來(lái)幫助目標(biāo)域中的分類。此外,利用多元統(tǒng)計(jì)將矩陣參數(shù)的超幾何函數(shù)以封閉形式導(dǎo)出后驗(yàn)和后驗(yàn)預(yù)測(cè)密度,從而得到最優(yōu)貝葉斯遷移學(xué)習(xí)(Optimal Bayesian Transfer Learning,OBTL)分類器。
基于關(guān)系知識(shí)(Relational Knowledge)的遷移學(xué)習(xí)方法的基本假設(shè)是源域和目標(biāo)域中某些數(shù)據(jù)之間關(guān)系是相似的。這類方法不要求各領(lǐng)域的數(shù)據(jù)是獨(dú)立同分布的,而是將數(shù)據(jù)間的關(guān)系從源域遷移到目標(biāo)域,也就是在關(guān)系領(lǐng)域上解決遷移學(xué)習(xí)問(wèn)題。
Mihalkova 等人[23]提出用馬爾科夫邏輯網(wǎng)絡(luò)(Markov Logic Network,MLN)在關(guān)系領(lǐng)域上遷移關(guān)系知識(shí),該方法基于相關(guān)的兩個(gè)領(lǐng)域存在一種從源域到目標(biāo)域的實(shí)體之間的關(guān)系映射。該算法構(gòu)造了一個(gè)基于加權(quán)對(duì)數(shù)似然度的從源域到目標(biāo)域的映射,在目標(biāo)域上進(jìn)行修正,修改后的MLN 可以直接用作目標(biāo)域的關(guān)系模型來(lái)使用,實(shí)現(xiàn)基于關(guān)系知識(shí)的遷移。
Wang 等人[24]提出了基于圖的知識(shí)遷移方法。該方法將所有數(shù)據(jù)建立為一個(gè)混合圖,然后利用相似矩陣對(duì)類標(biāo)的相似性進(jìn)行傳播,最后通過(guò)構(gòu)造圖的不同部分的相似矩陣實(shí)現(xiàn)關(guān)系知識(shí)的遷移。
基于遷移學(xué)習(xí)的通信輻射源識(shí)別問(wèn)題逐漸受到了人們的關(guān)注,但是實(shí)際上,將應(yīng)用在其他領(lǐng)域的遷移學(xué)習(xí)方法應(yīng)用在通信輻射源識(shí)別任務(wù)上時(shí),往往得不到較好的效果,這和遷移學(xué)習(xí)本身的能力與通信輻射源數(shù)據(jù)的特點(diǎn)有很大的關(guān)系,為此一些學(xué)者通過(guò)結(jié)合通信輻射源數(shù)據(jù)的特點(diǎn),來(lái)改進(jìn)合適的遷移學(xué)習(xí)方法,并在識(shí)別任務(wù)上取得了一定的成果。
陸鑫偉[25]設(shè)計(jì)了一種基于遷移成分分析(Transfer Component Analysis,TCA)的徑向基函數(shù)(Radial Basis Function,RBF)深度遷移學(xué)習(xí)模型。該作者借鑒了參考文獻(xiàn)[26]和文獻(xiàn)[27]的思路,研究了集成學(xué)習(xí)理論以及在遷移學(xué)習(xí)框架下的TrAdaBoost算法,設(shè)計(jì)了一種基于文獻(xiàn)[10]和文獻(xiàn)[28]的改進(jìn)Boosting 遷移學(xué)習(xí)算法,實(shí)驗(yàn)結(jié)果表明該算法對(duì)通信輻射源識(shí)別任務(wù)準(zhǔn)確率有所提升。最后,該作者研究了Boosting算法中的基分類器訓(xùn)練樣本分布修正函數(shù)對(duì)分類正確率的影響。
秦嘉[29]結(jié)合文獻(xiàn)[14]中將MMD 度量作為監(jiān)督學(xué)習(xí)中的正則化項(xiàng),以減少潛在空間中源域和目標(biāo)域之間的分布不匹配的問(wèn)題,設(shè)計(jì)了一種深度遷移學(xué)習(xí)模型,用于解決因信道噪聲干擾,待識(shí)別(目標(biāo)域)信號(hào)與訓(xùn)練(源域)信號(hào)的分布產(chǎn)生偏差,從而導(dǎo)致識(shí)別率低的問(wèn)題,并且分析了由高信噪比信號(hào)訓(xùn)練的深度學(xué)習(xí)模型,在識(shí)別低信噪比信號(hào)時(shí)識(shí)別精度不高的原因。此外,在研究了深度學(xué)習(xí)模型如何提取通信輻射源特征并識(shí)別的基礎(chǔ)上,分析了不同網(wǎng)絡(luò)層和分布距離度量函數(shù)對(duì)通信輻射源信號(hào)分類效果的影響,并在不同噪聲條件下進(jìn)行遷移比較,實(shí)驗(yàn)結(jié)果表明選取合適的網(wǎng)絡(luò)層和分布距離度量函數(shù)能夠明顯提升識(shí)別準(zhǔn)確率。
茍嫣[30]考慮到通信輻射源源域樣本遷移到目標(biāo)域的過(guò)程中,不同的信號(hào)樣本實(shí)例訓(xùn)練模型的成效有較為明顯的差別,也就是對(duì)遷移學(xué)習(xí)效果有不同的影響,因此提出對(duì)不同的源域?qū)嵗x予不同的權(quán)重值,該權(quán)重值表示訓(xùn)練樣本在目標(biāo)模型中的重要性[31],并結(jié)合極限學(xué)習(xí)機(jī)(Extreme Learning Machine,ELM)思想[32],提出了一種加權(quán)的遷移極限學(xué)習(xí)機(jī)算法。該算法在小樣本條件下,有效提升了通信輻射源個(gè)體識(shí)別的精度,且比傳統(tǒng)算法均有所提升,證實(shí)了該算法的有效性。
劉劍鋒等人[33]受文獻(xiàn)[34]工作的啟發(fā),首先做出域內(nèi)可聚類性、類間緊密性兩種假設(shè);其次結(jié)合領(lǐng)域自適應(yīng)和無(wú)監(jiān)督聚類算法[35]的思想,定義目標(biāo)域聚類約束和類間緊密性約束,聯(lián)合建立優(yōu)化模型,提出了一種基于遷移學(xué)習(xí)和無(wú)監(jiān)督學(xué)習(xí)的輻射源個(gè)體識(shí)別算法。該算法將不同信噪比下信號(hào)的特征對(duì)齊,使在特定信噪比下訓(xùn)練的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)到與信道噪聲無(wú)關(guān)的射頻指紋特征,從而實(shí)現(xiàn)對(duì)其他信噪比情況下的信號(hào)的高準(zhǔn)確率識(shí)別。
經(jīng)過(guò)充分的文獻(xiàn)閱讀與數(shù)據(jù)分析,可以看出在特定條件下,基于遷移學(xué)習(xí)的通信輻射源識(shí)別方法的相關(guān)研究取得了一些成績(jī),但是該方向仍然存在很多值得進(jìn)一步探索和研究的問(wèn)題,主要有以下幾個(gè)方面:
(1)目前,國(guó)內(nèi)外對(duì)本課題的研究幾乎都是在實(shí)驗(yàn)室仿真條件下進(jìn)行實(shí)驗(yàn),很難保證在復(fù)雜的戰(zhàn)場(chǎng)電磁環(huán)境下,能夠取得較好的識(shí)別效果。在戰(zhàn)場(chǎng)復(fù)雜多變的信道環(huán)境下,輻射源指紋受擾動(dòng)影響大,加大了知識(shí)遷移的難度,從而導(dǎo)致遷移學(xué)習(xí)系統(tǒng)魯棒性不強(qiáng),因此如何結(jié)合遷移學(xué)習(xí)進(jìn)行各維度特征提取是一個(gè)重要的課題。
(2)遷移學(xué)習(xí)方法在通信輻射源個(gè)體識(shí)別的應(yīng)用上仍然存在著問(wèn)題和方法結(jié)合不夠深入的狀況,相關(guān)研究更多的是針對(duì)特定樣本進(jìn)行算法分析與設(shè)計(jì),因此如何通過(guò)樣本驅(qū)動(dòng)的方式結(jié)合遷移學(xué)習(xí)進(jìn)行通信輻射源識(shí)別,成為該領(lǐng)域的一個(gè)新的研究思路。
(3)遷移學(xué)習(xí)研究目前與深度學(xué)習(xí)緊密相關(guān),神經(jīng)網(wǎng)絡(luò)的可解釋性現(xiàn)在作為研究熱點(diǎn)受到廣大學(xué)者關(guān)注,如何針對(duì)通信輻射源識(shí)別的領(lǐng)域特點(diǎn),在深度遷移學(xué)習(xí)可解釋性上找到解決問(wèn)題的關(guān)鍵點(diǎn),是非常值得關(guān)注的一個(gè)方向。
本文對(duì)遷移學(xué)習(xí)和基于遷移學(xué)習(xí)的通信輻射源識(shí)別方法進(jìn)行了介紹,對(duì)一些具有代表性的成果進(jìn)行了闡述,并探討了相關(guān)方法的算法性能和優(yōu)缺點(diǎn),總結(jié)了基于遷移學(xué)習(xí)的通信輻射源識(shí)別技術(shù)優(yōu)勢(shì)和難點(diǎn),最后為該領(lǐng)域下一步的研究提供了思路和參考。