趙季紅,喬琳琳,王 穎
(1.西安郵電大學(xué) 通信與信息工程學(xué)院,陜西 西安 710121; 2.西安交通大學(xué) 電子信息工程學(xué)院,陜西 西安 710049;3.北京郵電大學(xué) 信息安全中心,北京 100876)
隨著無線通信技術(shù)的飛速發(fā)展,要求未來的網(wǎng)絡(luò)能夠為各種場景提供不同的服務(wù)。網(wǎng)絡(luò)切片作為未來關(guān)鍵技術(shù),可以將物理網(wǎng)絡(luò)劃分為多個虛擬網(wǎng)絡(luò)切片,從而提高網(wǎng)絡(luò)資源利用率,降低網(wǎng)絡(luò)運營商的成本和能耗,提高網(wǎng)絡(luò)用戶的體驗質(zhì)量[1-2]。面向多用戶的網(wǎng)絡(luò)切片在建立的過程中,需要考慮網(wǎng)絡(luò)場景的復(fù)雜多變且新型業(yè)務(wù)不斷出現(xiàn),而其中關(guān)鍵及難點問題之一是如何識別出各種網(wǎng)絡(luò)業(yè)務(wù)的類型。
網(wǎng)絡(luò)業(yè)務(wù)分類一直是業(yè)界和學(xué)術(shù)界關(guān)注的焦點。目前主要的業(yè)務(wù)分類方法可以歸納總結(jié)為基于端口識別的深度包檢測(Deep Packet Inspection,DPI)、基于統(tǒng)計特征和協(xié)議的業(yè)務(wù)分類方法[3]。此外,考慮效率低下和缺乏準(zhǔn)確性,基于機(jī)器學(xué)習(xí)算法的方法已經(jīng)被廣泛應(yīng)用于網(wǎng)絡(luò)業(yè)務(wù)分類[4]。這些方法通常依賴于監(jiān)督學(xué)習(xí)方法,如支持向量機(jī)(Support Vector Machines,SVM),k-近鄰(k-Nearest Neighbor,KNN),隨機(jī)森林(Random Forest,RF) 或依賴于無監(jiān)督聚類方法,如k-均值。然而,上述相對簡單的方法無法捕捉到當(dāng)今互聯(lián)網(wǎng)流量中存在的更復(fù)雜的模式,因此其準(zhǔn)確性不高。
隨著深度學(xué)習(xí)方法在圖像分類和語音識別等領(lǐng)域的成功應(yīng)用,其能夠?qū)W習(xí)復(fù)雜的模式和執(zhí)行自動特征提取,研究人員提出了利用深度學(xué)習(xí)方法對流量進(jìn)行分類[5]。文獻(xiàn)[6]使用再生內(nèi)核希爾伯特空間(Reproducing Kernel Hilbert Space,RKHS)將每個流的時間序列特征轉(zhuǎn)換成二維圖像,產(chǎn)生的圖像被用作卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)模型的輸入,將CNN模型與經(jīng)典的機(jī)器學(xué)習(xí)方法進(jìn)行了比較,包括SVM和決策樹,CNN模型的精度達(dá)到99%以上,優(yōu)于經(jīng)典的機(jī)器學(xué)習(xí)方法。文獻(xiàn)[7]同樣采用CNN模型進(jìn)行流量分類,將許多統(tǒng)計特征重新排列成二維圖像作為模型的輸入,最終以高精度進(jìn)行分類。但該模型需要觀察整個數(shù)據(jù)流獲得統(tǒng)計特征,不能用于在線應(yīng)用程序。文獻(xiàn)[8]提出了使用CNN、長時記憶(Long Short-Time Memory,LSTM)模型對業(yè)務(wù)進(jìn)行分類,當(dāng)“CNN+LSTM”體系結(jié)構(gòu)使用時間序列特征時,其精度能夠達(dá)到96%左右。雖然上述深度學(xué)習(xí)方法可以達(dá)到高精度,但其缺點主要是需要大量的標(biāo)記訓(xùn)練數(shù)據(jù)。在網(wǎng)絡(luò)業(yè)務(wù)分類任務(wù)中,標(biāo)記數(shù)據(jù)是一項耗時及繁瑣的任務(wù)。此外,在受控環(huán)境中觀察到的數(shù)據(jù)流可能與實際流量有很大的不同,使得標(biāo)記數(shù)據(jù)獲得的推斷不準(zhǔn)確。文獻(xiàn)[9]解決了需要大量標(biāo)記數(shù)據(jù)集的需求。此方法由半監(jiān)督學(xué)習(xí)方法組成,利用CNN模型從采樣數(shù)據(jù)包中預(yù)測幾個統(tǒng)計特征,使用采樣數(shù)據(jù)包的時間序列特征,然后采用新的圖層替換最后幾層,最后使用少部分標(biāo)記數(shù)據(jù)集進(jìn)行重新訓(xùn)練。其優(yōu)點是不需要花費人工標(biāo)記預(yù)訓(xùn)練的數(shù)據(jù)集,當(dāng)整個流程可用時,可以輕松地計算統(tǒng)計特征。但是此方法需要采用采樣數(shù)據(jù)包,在執(zhí)行分類之前先觀察大部分流量,同樣不適合在線應(yīng)用。
針對上述方法存在的問題,擬提出一種基于多任務(wù)學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)(Multi-Task Learning-Convolutional Neural Network,MTL-CNN)方法,在執(zhí)行帶寬需求、持續(xù)時間和業(yè)務(wù)類別等3個任務(wù)的預(yù)測時,只有業(yè)務(wù)類別任務(wù)需要人為標(biāo)記。對于任意的數(shù)據(jù)流,每個流的帶寬需求和持續(xù)時間都很容易計算,并不需人為標(biāo)記。因此,通過在多任務(wù)學(xué)習(xí)框架中制定業(yè)務(wù)分類問題,就可以用大量的不需要標(biāo)記的數(shù)據(jù)在CNN中訓(xùn)練模型的帶寬需求和持續(xù)時間任務(wù),所有任務(wù)共享模型參數(shù),只需要少量的標(biāo)記樣本數(shù)據(jù)就能進(jìn)行業(yè)務(wù)類別預(yù)測,以期使不同類別識別效果更加均衡,提高分類準(zhǔn)確率。
網(wǎng)絡(luò)切片中有諸多的業(yè)務(wù)類型,如虛擬線上/增強(qiáng)現(xiàn)實、超高清視頻、自動駕駛、遠(yuǎn)程控制和遠(yuǎn)程醫(yī)療手術(shù)、智慧城市、遠(yuǎn)程抄表,等等,這些多樣的業(yè)務(wù)類型對網(wǎng)絡(luò)性能的要求也有著巨大的區(qū)別。如底層網(wǎng)絡(luò)發(fā)生故障時,可能引起失效的網(wǎng)絡(luò)切片業(yè)務(wù)類型并不單一,如何選取動態(tài)的恢復(fù)方法,就要及時在線判斷失效的業(yè)務(wù)類型[10]。根據(jù)網(wǎng)絡(luò)數(shù)據(jù)流的統(tǒng)計特征對網(wǎng)絡(luò)業(yè)務(wù)進(jìn)行分類與識別,其本質(zhì)就是根據(jù)業(yè)務(wù)傳輸?shù)倪^程中在統(tǒng)計特征上的差異,以區(qū)分不同的業(yè)務(wù)類別。以往方法通過將統(tǒng)計特征作為輸入,根據(jù)輸入特征的不同訓(xùn)練分類器。而帶寬需求和持續(xù)時間這兩個統(tǒng)計特征是需要觀察整個數(shù)據(jù)流計算獲得,因此,將其作為輸入只適用于離線應(yīng)用。文中選擇帶寬需求和持續(xù)時間作為單獨的輔助任務(wù)進(jìn)行輸出,可以在訓(xùn)練的過程中計算獲得,同時主任務(wù)在訓(xùn)練過程中共享模型參數(shù),能夠?qū)崿F(xiàn)高精度業(yè)務(wù)分類,從而滿足對業(yè)務(wù)在線分類的要求。
CNN是由使用卷積計算的若干層組成的前饋神經(jīng)網(wǎng)絡(luò)(Feedforward Neural Networks,F(xiàn)NN)。其由卷積層、池化層和全連接層組成,如圖1所示。卷積層的功能是對輸入數(shù)據(jù)進(jìn)行特征提取。為了生成輸出,卷積層在整個輸入上使用相同的卷積核,通過在一層中使用相同的卷積核,可以使學(xué)習(xí)的參數(shù)數(shù)量大幅減少。此外,在整個輸入中使用這些卷積核也有助于模型更容易地提取平移不變特征,實現(xiàn)具有平移不變特征的網(wǎng)絡(luò)業(yè)務(wù)分類任務(wù)。在卷積層進(jìn)行特征提取后,則需要通過池化層負(fù)責(zé)數(shù)據(jù)采樣,即選取特征以及過濾信息。全連接層位于卷積層和池化層的末端,常用于捕獲高級的特征,典型的CNN的具體架構(gòu)如圖1所示。
圖1 典型的CNN架構(gòu)
MTL的目的是在任務(wù)非完全獨立的假設(shè)下同時執(zhí)行若干個學(xué)習(xí)任務(wù),是主任務(wù)使用相關(guān)任務(wù)的消息,提升泛化效果的一種機(jī)器學(xué)習(xí)類型。典型的MTL如自主駕駛,其中檢測危險物體和對危險距離評估是自主駕駛的兩項重要任務(wù),基于這幾個任務(wù)是相關(guān)的并且可以共享參數(shù),需要定義一種多任務(wù)學(xué)習(xí)方法聯(lián)合學(xué)習(xí)這些任務(wù)[11]。而多任務(wù)學(xué)習(xí)模型比幾個單任務(wù)學(xué)習(xí)模型更有效,考慮在MTL數(shù)據(jù)集中,所有任務(wù)都可以互相幫助,使得所有任務(wù)都能被更好地學(xué)習(xí),因此,可以通過使用多任務(wù)學(xué)習(xí)方法提高業(yè)務(wù)分類任務(wù)的準(zhǔn)確性。常規(guī)的多任務(wù)學(xué)習(xí)結(jié)構(gòu)如圖 2 所示,其中,共享隱層中所有任務(wù)共享網(wǎng)絡(luò)參數(shù),在對多個任務(wù)預(yù)測或分類時,訓(xùn)練所需要的數(shù)據(jù)量與模型參數(shù)的數(shù)量都將減少,使模型更加高效,隨后各任務(wù)的分類結(jié)果在輸出層中被分別輸出。
圖2 常規(guī)多任務(wù)學(xué)習(xí)架構(gòu)
數(shù)據(jù)集來源采用了Arunan Sivanathan等人[12]公開的數(shù)據(jù)集,包含多個物聯(lián)網(wǎng)設(shè)備以及非物聯(lián)網(wǎng)設(shè)備獲取的數(shù)據(jù)流量,包括智能開關(guān)、智能音響、智能手機(jī)、智能醫(yī)療設(shè)備、打印機(jī)、筆記本電腦和攝像頭等。每種設(shè)備代表著不同的業(yè)務(wù)類型,并按照文獻(xiàn)[13]對數(shù)據(jù)集進(jìn)行分類標(biāo)注。為了評估多任務(wù)學(xué)習(xí)方法,且僅使用少量標(biāo)簽數(shù)據(jù)提高主任務(wù)預(yù)測的準(zhǔn)確率,實驗中只使用了800條標(biāo)記樣本,并且對數(shù)據(jù)集進(jìn)行了預(yù)處理。當(dāng)采樣短流數(shù)據(jù)時,沒有足夠的數(shù)據(jù)包提供多任務(wù)分類器,因此,在預(yù)處理過程中刪除了所有短流數(shù)據(jù)。在評估中,短流是指那些在采樣前小于100個數(shù)據(jù)包的流[14]。對于特征的選擇和提取,網(wǎng)絡(luò)流量分類器通常使用一種或四種類別的輸入功能組合,如時間序列、標(biāo)頭、有效負(fù)載和統(tǒng)計特征,考慮標(biāo)頭信息無法實現(xiàn)高精度,現(xiàn)在已經(jīng)很少采用;有效負(fù)載已被證明對于某些數(shù)據(jù)集和特殊流量類型以及加密方法比較有用,但是對于新的和更強(qiáng)大的加密協(xié)議,其作用有限;統(tǒng)計特征需要從整個流程中獲得,而對于取決于預(yù)測輸出的一些情況,如資源分配、路由決策等,一旦流量出現(xiàn)就必須進(jìn)行在線預(yù)測,根據(jù)統(tǒng)計特征預(yù)測顯然不適用于在線分類。因此,所提算法為滿足在線分類的要求,僅觀察前k個數(shù)據(jù)包,使用前k個數(shù)據(jù)包的3個時間序列特征,即選取數(shù)據(jù)包長度、到達(dá)時間和方向作為特征值。
提出了一種基于MTL-CNN的網(wǎng)絡(luò)業(yè)務(wù)識別算法,采用CNN作為共享層,其最重要的特征之一是移位不變性,因此適合于具有時間序列特征的業(yè)務(wù)分類任務(wù)。結(jié)合文獻(xiàn)[15]中提出的帶有屬性依賴層的MTL結(jié)構(gòu),在共享隱藏層之后添加了任務(wù)間相互獨立的屬性依賴層。該層通過對帶寬需求和持續(xù)時間兩個輔助任務(wù),對網(wǎng)絡(luò)業(yè)務(wù)進(jìn)行分類,多個任務(wù)之間共享特征和共同學(xué)習(xí),同時允許每個子任務(wù)在屬性依賴層獨自優(yōu)化提升性能。
輔助任務(wù)的選取有兩個特點。一個是其應(yīng)該與網(wǎng)絡(luò)業(yè)務(wù)分類任務(wù)高度相關(guān),另一個是不需要人為的標(biāo)記大量數(shù)據(jù),而且可以較為容易的獲取。帶寬需求和持續(xù)時間往往作為特征輸入對業(yè)務(wù)進(jìn)行分類,并且可以通過觀察整個數(shù)據(jù)流計算獲得。因此,考慮使用帶寬需求和持續(xù)時間這兩項任務(wù)作為業(yè)務(wù)識別的輔助任務(wù)。在所提方法中,模型的輸入是一個具有兩個通道的長度為s的向量。第一個通道包含前k個數(shù)據(jù)包的到達(dá)時間,第二個通道包含數(shù)據(jù)包的長度和方向,其總體流程如圖3所示。
圖3 MTL-CNN流程
將3個時間序列特征輸入到共享層中,這里使用3層CNN作為共享層,對于該卷積層,使用Relu激活函數(shù)增加CNN各層之間的非線性關(guān)系,Relu函數(shù)實施的稀疏模型可以更好地挖掘相關(guān)特征并擬合訓(xùn)練數(shù)據(jù)。該激活函數(shù)表達(dá)式為
(1)
第三層輸出最后一個結(jié)果并將其輸入到屬性依賴層中。屬性依賴層由3個單獨的全連接層組成,分別將結(jié)果輸出到3個單獨的softmax輸出層中,最后輸出帶寬、持續(xù)時間和業(yè)務(wù)類別3個任務(wù)的分類結(jié)果。
(2)
其中:l表示交叉熵?fù)p失函數(shù);λ表示業(yè)務(wù)分類任務(wù)預(yù)測的重要性的權(quán)重??紤]主任務(wù)的訓(xùn)練數(shù)據(jù)樣本比其他兩項輔助任務(wù)的訓(xùn)練數(shù)據(jù)樣本要少得多,因此,可以增加λ稍微補(bǔ)償缺乏的標(biāo)記數(shù)據(jù)。對于所有訓(xùn)練數(shù)據(jù),帶寬需求和持續(xù)時間標(biāo)簽都是可用的,只有一小部分的數(shù)據(jù)樣本有業(yè)務(wù)類別標(biāo)簽。在訓(xùn)練過程中,將業(yè)務(wù)類別softmax層的輸入與掩碼向量相乘,以防止主任務(wù)對沒有業(yè)務(wù)類別標(biāo)簽的數(shù)據(jù)樣本進(jìn)行反向傳播。
使用基于Python的Keras包對Arunan Sivanathan數(shù)據(jù)集實現(xiàn)多任務(wù)學(xué)習(xí)方法。在所有的實驗中,訓(xùn)練階段僅需要幾分鐘時間,使用批處理優(yōu)化和Adam優(yōu)化器進(jìn)行訓(xùn)練,Adam參數(shù)設(shè)置模型學(xué)習(xí)率為0.001,衰減率為0.9。實驗在操作系統(tǒng)Windows 10專業(yè)版、CPU為Intel core i7 4790/3.6 GHz/4cores,16 GB內(nèi)存以及開發(fā)環(huán)境為Python 3.7.0的環(huán)境下進(jìn)行。為體現(xiàn)多任務(wù)學(xué)習(xí)在性能上的優(yōu)勢,除對所提模型進(jìn)行實驗外,在數(shù)據(jù)集相同的條件下還設(shè)計了3組對比實驗。
MTL-CNN僅對數(shù)據(jù)集中的800條數(shù)據(jù)進(jìn)行業(yè)務(wù)分類標(biāo)記,將時間序列特征輸入CNN共享層,在模型訓(xùn)練后輸入到屬性依賴層,主任務(wù)通過屬性依賴層學(xué)習(xí)和共享輔助任務(wù)的參數(shù),最后將3個任務(wù)分別輸出到3個獨立的softmax 輸出層。
單任務(wù)的卷積神經(jīng)網(wǎng)絡(luò)(Single-Task Learning Convoluctional Netural Network,STL-CNN),該模型依然采用CNN模型捕獲內(nèi)部信息進(jìn)行訓(xùn)練,但只有一個softmax 輸出層,即只預(yù)測業(yè)務(wù)類別一種任務(wù)。
Only-CNN,該模型將時間序列特征輸入CNN共享層,將結(jié)果直接輸出到3個獨立的softmax 輸出層,該模型與文中模型不同之處是不包含屬性依賴層。
RF[13]模型對8萬條樣本數(shù)據(jù)都進(jìn)行了業(yè)務(wù)分類標(biāo)注,以流信息和流頭部的數(shù)據(jù)包信息作為特征向量輸入,在RF模型中進(jìn)行訓(xùn)練以及預(yù)測業(yè)務(wù)類別,該模型的缺點是消耗較大的計算和存儲資源。
可以利用準(zhǔn)確率、精確率、召回率、虛警率和漏報率等指標(biāo)從不同角度分析業(yè)務(wù)的分類效果[13,16]。為了從全局層面評價所提算法將多任務(wù)和CNN相結(jié)合對業(yè)務(wù)分類的效果,采用準(zhǔn)確率(Accuracy)評估所提算法的整體性能。準(zhǔn)確率指正確分類的數(shù)據(jù)流數(shù)量與所有數(shù)據(jù)流數(shù)量的比值,其定義[16]為
(3)
其中:TP與TN分別表示正確歸類的數(shù)據(jù)流,即TP表示屬于a類的數(shù)據(jù)流被正確歸為a類,TN表示不屬a類的被歸為非a類;FP與FN分別表示錯誤歸類,即FP表示不屬于a類的被歸為a類,F(xiàn)N表示屬于a類的歸為非a類。
3.3.1 單一任務(wù)業(yè)務(wù)類別預(yù)測準(zhǔn)確率
將數(shù)據(jù)集進(jìn)行分類標(biāo)注,根據(jù)物聯(lián)網(wǎng)設(shè)備和非物聯(lián)網(wǎng)設(shè)備將業(yè)務(wù)類別劃分為13種類型。表1顯示了在同一數(shù)據(jù)集下所有方法的每種業(yè)務(wù)類別識別的準(zhǔn)確性。由表1可以看出,在13種業(yè)務(wù)類別的準(zhǔn)確率中,智能嬰兒監(jiān)視器和網(wǎng)絡(luò)攝像頭識別率相對較低,由于其屬于同一物聯(lián)網(wǎng)設(shè)備,設(shè)備行為比較相似導(dǎo)致業(yè)務(wù)區(qū)分度不高,所提MTL-CNN算法的準(zhǔn)確率平均為95.60%。而對比算法STL-CNN與MTL-CNN,只對800條樣本數(shù)據(jù)進(jìn)行了分類標(biāo)記,考慮STL-CNN沒有其他的分類器,提取的特征只用于單一的業(yè)務(wù)分類,因此準(zhǔn)確率最低,不包含屬性依賴層的Only-CNN的準(zhǔn)確率約92.60%。說明MTL-CNN的屬性依賴層有助于該模型的學(xué)習(xí)能力,能夠提升該算法的區(qū)分業(yè)務(wù)類別的性能。
表1 業(yè)務(wù)類別識別準(zhǔn)確率
3.3.2 每項任務(wù)識別率
為了測試每項任務(wù)的識別率,先將權(quán)重λ值設(shè)置為1,強(qiáng)調(diào)3個任務(wù)平等。該參數(shù)設(shè)置一方面是為了與單任務(wù)實驗做對比,另一方面是為了驗證使用少量標(biāo)簽的主任務(wù)在訓(xùn)練過程中確實受到了具有豐富數(shù)據(jù)的輔助任務(wù)的影響。每項任務(wù)識別準(zhǔn)確率的測試結(jié)果如表2所示,關(guān)于輔助任務(wù)即帶寬和持續(xù)時間的準(zhǔn)確率,MTL-CNN算法和不含共享層的Only-CNN算法差別較小,說明使用相同的數(shù)據(jù)集進(jìn)行訓(xùn)練是否有共享屬性層對預(yù)測輔助任務(wù)影響不大。而對于主任務(wù)預(yù)測,MTL-CNN算法明顯高于其他算法,與使用所有標(biāo)記的數(shù)據(jù)集的RF算法相比,MTL-CNN算法僅用800條標(biāo)記的數(shù)據(jù)預(yù)測業(yè)務(wù)類別,準(zhǔn)確率仍高于RF算法??紤]采用帶寬和持續(xù)時間任務(wù)的大量數(shù)據(jù)改善了訓(xùn)練過程,利用此數(shù)據(jù)訓(xùn)練模型參數(shù),通過共享參數(shù)加強(qiáng)了預(yù)測業(yè)務(wù)類別的準(zhǔn)確率。因此,所提算法可以減少標(biāo)記的數(shù)據(jù)量,且提高預(yù)測的準(zhǔn)確率。
表2 每項任務(wù)識別準(zhǔn)確率
3.3.3 不同λ取值的任務(wù)的準(zhǔn)確率
不同λ取值的3個任務(wù)識別準(zhǔn)確率如圖4所示。當(dāng)在多任務(wù)學(xué)習(xí)中一項任務(wù)的訓(xùn)練樣本數(shù)量明顯少于其他任務(wù)時,深度學(xué)習(xí)模型的共享參數(shù)在訓(xùn)練過程中會受到具有大量數(shù)據(jù)的輔助任務(wù)的影響。增加主任務(wù)損失函數(shù)的權(quán)重,可以彌補(bǔ)訓(xùn)練過程中主任務(wù)數(shù)據(jù)的不足,并增加主任務(wù)對訓(xùn)練過程的影響。從圖4可以看出,增加λ有助于模型適應(yīng)主任務(wù)即業(yè)務(wù)類別識別任務(wù),當(dāng)λ取10時,帶寬任務(wù)識別準(zhǔn)確率達(dá)94.85%,持續(xù)時間任務(wù)識別準(zhǔn)確率達(dá)92.58%,業(yè)務(wù)類別識別準(zhǔn)確率97.65%,此時主任務(wù)達(dá)到最大準(zhǔn)確率。同時,也可以觀察到,如果進(jìn)一步增加λ值將降低所有任務(wù)的準(zhǔn)確性。因此,對于多任務(wù)學(xué)習(xí)方法,合適的λ值有助于提高任務(wù)的準(zhǔn)確率。
圖4 λ與準(zhǔn)確率的關(guān)系
提出了一種多任務(wù)學(xué)習(xí)和CNN的業(yè)務(wù)識別方法,用于預(yù)測業(yè)務(wù)類別以及流量的帶寬需求和持續(xù)時間。通過為帶寬需求和持續(xù)時間輔助任務(wù)提供足夠大的數(shù)據(jù)集,可以僅用少量標(biāo)記樣本訓(xùn)練業(yè)務(wù)類別預(yù)測任務(wù)。實驗結(jié)果表明,采用相同的數(shù)據(jù)集,所提算法顯著優(yōu)于STL-CNN、Only-CNN和RF方法,其避免了大量標(biāo)記數(shù)據(jù)樣本,并且有較高的識別準(zhǔn)確率。但是要為輔助任務(wù)提供大量的數(shù)據(jù),整個訓(xùn)練時長仍有待改進(jìn),考慮數(shù)據(jù)樣本的限制,所提系統(tǒng)的模型仍然較為簡單,在未來的工作中,希望找到更適合的模型進(jìn)行特征提取,以獲得更高的識別準(zhǔn)確率。