張魏寧，胡明華，杜婧涵，尹嘉男

（南京航空航天大學(xué)，民航學(xué)院，南京 211106）

0 引言

持續(xù)增長(zhǎng)的空中交通需求驅(qū)動(dòng)了航空運(yùn)輸業(yè)的蓬勃發(fā)展，與此同時(shí)，也伴隨著空域擁擠、飛行沖突等問(wèn)題的出現(xiàn)。為了維持飛機(jī)間適當(dāng)?shù)拈g隔，確保其安全、高效、有序地運(yùn)行，空中交通管制員需要實(shí)時(shí)監(jiān)視空域交通態(tài)勢(shì)并向飛行員發(fā)布管制指令[1]。然而，當(dāng)交通密度達(dá)到空域容量限制時(shí)，管制員處于較高的工作負(fù)荷狀態(tài)，可能會(huì)導(dǎo)致操作錯(cuò)誤進(jìn)而引發(fā)不安全事件。扇區(qū)復(fù)雜度[2]，作為客觀描述管制員監(jiān)視和管理所負(fù)責(zé)扇區(qū)交通狀況難度的指標(biāo)，在一定程度上反應(yīng)管制員所面臨的管制壓力。預(yù)先準(zhǔn)確地評(píng)估扇區(qū)復(fù)雜度，一方面，有利于更好地進(jìn)行交通流量管理，通過(guò)調(diào)節(jié)交通流量達(dá)到空域容需平衡；另一方面，能夠作為動(dòng)態(tài)空域配置的參考依據(jù)，通過(guò)重新規(guī)劃管制扇區(qū)并合理分配有限的管制資源來(lái)平衡各管制員的工作負(fù)荷[3]。

針對(duì)扇區(qū)復(fù)雜度的評(píng)估問(wèn)題，已有較多國(guó)內(nèi)外學(xué)者進(jìn)行研究。LAUDEMAN等[4]首次引入動(dòng)態(tài)密度概念，將各種潛在影響因素，例如，交通流量、沖突擾動(dòng)等進(jìn)行線性組合。相比交通密度而言，動(dòng)態(tài)密度與扇區(qū)復(fù)雜度的相關(guān)性更高，解釋性更強(qiáng)。此外，為捕獲各因素間存在的復(fù)雜非線性關(guān)系，GIANAZZA 等[5]利用神經(jīng)網(wǎng)絡(luò)模型學(xué)習(xí)各因素與扇區(qū)狀態(tài)之間的聯(lián)系。本質(zhì)上，這些模型通常將復(fù)雜度評(píng)估問(wèn)題轉(zhuǎn)化為一般模式識(shí)別問(wèn)題[6]，即以容易獲得的雷達(dá)軌跡數(shù)據(jù)計(jì)算的各種影響因素作為輸入，精準(zhǔn)預(yù)測(cè)能夠代表實(shí)際扇區(qū)復(fù)雜度的量化指標(biāo)，例如，管制員身體活動(dòng)、主觀評(píng)分、扇區(qū)狀態(tài)等。近年來(lái)，研究人員發(fā)現(xiàn)扇區(qū)復(fù)雜度評(píng)估模型的效果通常依賴于數(shù)量充足、標(biāo)記可靠的數(shù)據(jù)集[7]。然而，獲取這樣的數(shù)據(jù)集往往需要領(lǐng)域?qū)＜曳e極參與并付出昂貴的時(shí)間代價(jià)，例如，空中交通管制員實(shí)時(shí)地反饋對(duì)空域運(yùn)行態(tài)勢(shì)和工作負(fù)荷的主觀感受等。因此，在樣本量較小的數(shù)據(jù)集上建立評(píng)估模型更具有實(shí)際意義。針對(duì)該問(wèn)題，ZHU等[8]在因子噪聲和獨(dú)立性分析的指導(dǎo)下，生成多個(gè)因子子集，構(gòu)建集成學(xué)習(xí)模型預(yù)測(cè)扇區(qū)復(fù)雜度。CAO 等[9]提出基于知識(shí)轉(zhuǎn)移的扇區(qū)復(fù)雜度評(píng)價(jià)框架，通過(guò)挖掘并融合目標(biāo)扇區(qū)和其他非目標(biāo)扇區(qū)中隱藏的知識(shí)，增強(qiáng)小樣本環(huán)境下扇區(qū)復(fù)雜度的預(yù)測(cè)性能。在多個(gè)扇區(qū)下進(jìn)行的實(shí)驗(yàn)驗(yàn)證了該框架的優(yōu)越性。

本文以少量、有標(biāo)記的數(shù)據(jù)集為基礎(chǔ)，提出基于條件生成對(duì)抗網(wǎng)絡(luò)的扇區(qū)復(fù)雜度評(píng)估框架，利用條件生成對(duì)抗網(wǎng)絡(luò)生成包含不同復(fù)雜度等級(jí)的有監(jiān)督樣本，豐富已有數(shù)據(jù)集的多樣性，以此緩解數(shù)據(jù)集中存在的樣本量較小和類別不平衡問(wèn)題。在中國(guó)中南區(qū)域扇區(qū)的真實(shí)運(yùn)行數(shù)據(jù)下，應(yīng)用多種扇區(qū)復(fù)雜度評(píng)估模型進(jìn)行實(shí)例驗(yàn)證。

1 模型介紹

1.1 扇區(qū)復(fù)雜度評(píng)估框架

首先，利用雷達(dá)軌跡數(shù)據(jù)計(jì)算的潛在影響因素和相應(yīng)的主觀復(fù)雜度等級(jí)得到待評(píng)估扇區(qū)原始數(shù)據(jù)集，并將其劃分為訓(xùn)練集和測(cè)試集兩部分，根據(jù)訓(xùn)練數(shù)據(jù)集學(xué)習(xí)條件生成對(duì)抗網(wǎng)絡(luò)；然后，利用該網(wǎng)絡(luò)生成指定標(biāo)號(hào)的樣本得到生成數(shù)據(jù)集，并使用結(jié)合訓(xùn)練數(shù)據(jù)集和生成數(shù)據(jù)集的增廣數(shù)據(jù)集訓(xùn)練扇區(qū)復(fù)雜度評(píng)估模型；最后，基于訓(xùn)練好的評(píng)估模型預(yù)測(cè)待評(píng)估扇區(qū)測(cè)試數(shù)據(jù)集的復(fù)雜度等級(jí)?；跅l件生成對(duì)抗網(wǎng)絡(luò)的扇區(qū)復(fù)雜度評(píng)估框架如圖1所示。

圖1 基于條件生成對(duì)抗網(wǎng)絡(luò)的扇區(qū)復(fù)雜度評(píng)估框架Fig.1 Sector complexity evaluation framework based on conditional generative adversarial network

1.2 復(fù)雜度數(shù)據(jù)集構(gòu)建

扇區(qū)復(fù)雜度往往受多種因素的共同影響，基于已有文獻(xiàn)，本文從交通流量、航空器性能和潛在沖突3個(gè)維度構(gòu)建復(fù)雜度指標(biāo)體系。其中，交通流量類指標(biāo)直接反映扇區(qū)當(dāng)下及未來(lái)一段時(shí)間內(nèi)航空器的分布情況，通常作為空管系統(tǒng)實(shí)際應(yīng)用中描述空域交通態(tài)勢(shì)的基礎(chǔ)指標(biāo)；航空器性能類指標(biāo)主要包括與航空器運(yùn)行相關(guān)的速度參數(shù)，體現(xiàn)運(yùn)行過(guò)程中產(chǎn)生的波動(dòng)性；潛在沖突類指標(biāo)從不同角度量化航空器間的碰撞風(fēng)險(xiǎn)，例如，分離、匯聚敏感度指標(biāo)描述了航空器速度、航向變化對(duì)相對(duì)距離帶來(lái)的影響，是引起管制員工作負(fù)荷激增的重要因素。扇區(qū)復(fù)雜度指標(biāo)體系如表1所示。

表1 扇區(qū)復(fù)雜度指標(biāo)體系Table 1 Sector complexity index system

本文采集了中國(guó)中南區(qū)域某扇區(qū)在2019年12月1～7日的真實(shí)雷達(dá)數(shù)據(jù)，每個(gè)數(shù)據(jù)包含：航班號(hào)、時(shí)間戳、位置(經(jīng)度、緯度和高度)、速度等信息。根據(jù)該數(shù)據(jù)源，以1 min 為基本時(shí)間粒度計(jì)算了表1中的23個(gè)復(fù)雜度指標(biāo)(潛在沖突類指標(biāo)的計(jì)算方法參考文獻(xiàn)[5])，并選取部分樣本給管制專家進(jìn)行復(fù)雜度等級(jí)的標(biāo)定，包括：低、中、高3個(gè)等級(jí)。最終，整個(gè)數(shù)據(jù)集由1060條有標(biāo)號(hào)的扇區(qū)復(fù)雜度樣本組成，其中復(fù)雜度等級(jí)從低到高的樣本數(shù)量分別為：455、436 和169?？梢钥闯?，由于該空域?qū)嶋H的運(yùn)行情況，在這些已標(biāo)記復(fù)雜度等級(jí)的數(shù)據(jù)中，復(fù)雜度等級(jí)高的樣本數(shù)量遠(yuǎn)少于等級(jí)低的樣本數(shù)量，這種類別不平衡現(xiàn)象進(jìn)一步增加了復(fù)雜度評(píng)估模型的評(píng)估難度。

1.3 有標(biāo)記樣本生成

為緩解數(shù)據(jù)集小樣本量和類別不平衡現(xiàn)象給復(fù)雜度評(píng)估模型精度帶來(lái)的影響，需要學(xué)習(xí)不同復(fù)雜度等級(jí)下各指標(biāo)的潛在分布規(guī)律，進(jìn)而生成多樣化的有標(biāo)記樣本擴(kuò)增數(shù)據(jù)集。

生成對(duì)抗網(wǎng)絡(luò)(Generative Adversarial Networks, GAN)是利用對(duì)抗式的學(xué)習(xí)過(guò)程估計(jì)生成模型的框架[10]，被廣泛應(yīng)用在圖像、視頻、文本等生成任務(wù)中。GAN 由判別器和生成器組成，生成器根據(jù)隨機(jī)噪聲生成樣本，目標(biāo)在于生成盡可能符合真實(shí)樣本分布的樣本；判別器用于推測(cè)輸入樣本是真實(shí)樣本還是生成樣本，目標(biāo)是對(duì)樣本來(lái)源進(jìn)行準(zhǔn)確地預(yù)測(cè)。整個(gè)框架統(tǒng)一的優(yōu)化目標(biāo)為

式中：E為數(shù)學(xué)期望；G和D分別為構(gòu)成生成器和判別器的神經(jīng)網(wǎng)絡(luò)或深度模型的參數(shù)；pdata（x）和pz（z）分別為真實(shí)樣本x和隨機(jī)噪聲z的分布；G（z）為基于隨機(jī)噪聲z生成的樣本；D（x）為樣本x屬于真實(shí)樣本的概率。通過(guò)基于隨機(jī)梯度下降法的迭代優(yōu)化對(duì)G和D進(jìn)行交替訓(xùn)練，使得生成器可以學(xué)習(xí)訓(xùn)練樣本的真實(shí)生成分布，進(jìn)而從該分布中生成新的樣本。GAN 和CGAN 的模型結(jié)構(gòu)如圖2所示。

由于GAN 模型只能從隨機(jī)噪聲中生成樣本，限制了其使用價(jià)值。近年來(lái)，不少學(xué)者通過(guò)對(duì)生成器的輸入提供額外信息生成更多樣化、高質(zhì)量的樣本，這類GAN 模型被稱為條件生成對(duì)抗網(wǎng)絡(luò)(Conditional Generative Adversarial Networks,CGAN)[11]。以樣本類別標(biāo)號(hào)作為輔助信息為例，CGAN的模型結(jié)構(gòu)如圖2(b)所示。相比GAN模型，CGAN 的生成器在類別標(biāo)號(hào)與隨機(jī)噪聲的共同作用下，生成指定類別的樣本；其判別器不僅推測(cè)輸入樣本的來(lái)源，還要預(yù)測(cè)樣本所屬的類別。整個(gè)框架的優(yōu)化目標(biāo)分為樣本正確來(lái)源的似然Ls和樣本正確類別的似然Lc，即

圖2 GAN和CGAN的模型結(jié)構(gòu)Fig.2 Model structure of GAN and CGAN

式中：p（y）為生成樣本的類別標(biāo)號(hào)的分布；pdata（x,y）為真實(shí)樣本x及其類別標(biāo)號(hào)y的聯(lián)合分布；G（z,y）為基于隨機(jī)噪聲z和指定類別標(biāo)號(hào)y生成的樣本；C（y|x）為樣本x屬于類別標(biāo)號(hào)y的概率。在模型訓(xùn)練的過(guò)程中，判別器的目標(biāo)為最大化Ls+Lc，而生成器的目標(biāo)為最小化Ls-Lc。由于引入了類別標(biāo)號(hào)的先驗(yàn)知識(shí)和Lc的優(yōu)化目標(biāo)，CGAN 生成樣本的多樣性和穩(wěn)定性往往優(yōu)于GAN。因此，本文選取CGAN作為生成樣本的基本模型，在已有扇區(qū)復(fù)雜度數(shù)據(jù)集上，生成更豐富的樣本，進(jìn)而增強(qiáng)后續(xù)扇區(qū)復(fù)雜度評(píng)估模型的精度。扇區(qū)復(fù)雜度有標(biāo)記樣本生成算法如表2所示。CGAN 模型的訓(xùn)練過(guò)程詳細(xì)內(nèi)容見參考文獻(xiàn)[11]。

表2 基于CGAN模型的扇區(qū)復(fù)雜度有標(biāo)記樣本生成算法Table 2 Algorithm for generating labeled samples of sector complexity based on CGAN model

1.4 扇區(qū)復(fù)雜度評(píng)估

將扇區(qū)復(fù)雜度評(píng)估問(wèn)題視為機(jī)器學(xué)習(xí)中的有監(jiān)督分類任務(wù)。利用管制專家對(duì)扇區(qū)樣本復(fù)雜度等級(jí)的標(biāo)定結(jié)果作為監(jiān)督信息，分別基于邏輯回歸、支持向量機(jī)和隨機(jī)森林這3種經(jīng)典的分類算法建立扇區(qū)復(fù)雜度評(píng)估模型。其中，邏輯回歸(Logistic Regression, LR)模型是經(jīng)典的分類方法，通過(guò)最大化數(shù)據(jù)集對(duì)數(shù)似然來(lái)估計(jì)模型參數(shù)。由于該模型屬于線性分類方法，因此，將其視為基線模型；支持向量機(jī)(Support Vector Machines, SVM)模型則學(xué)習(xí)能夠正確劃分?jǐn)?shù)據(jù)集類別的超平面，可以借助核函數(shù)解決非線性分類問(wèn)題；隨機(jī)森林(Random Forest, RF)模型是集成學(xué)習(xí)的代表性方法，在有差異性的數(shù)據(jù)子集中訓(xùn)練多個(gè)基分類器，并根據(jù)各個(gè)分類器的預(yù)測(cè)情況利用簡(jiǎn)單投票法給出最終的分類結(jié)果。

為了驗(yàn)證各模型的評(píng)估性能以及生成樣本對(duì)復(fù)雜度評(píng)估結(jié)果的影響，設(shè)置多種配置下的訓(xùn)練集。如表3所示，R_L、R_M、R_H 分別表示低、中、高等級(jí)的真實(shí)訓(xùn)練集，F(xiàn)_L、F_M、F_H 分別表示與R_L、R_M、R_H 樣本數(shù)量相同的低、中、高等級(jí)的生成樣本集。其中，配置1～4 針對(duì)類別不平衡問(wèn)題；配置1、5、6、7、8、9針對(duì)小樣本問(wèn)題。為保持?jǐn)?shù)據(jù)規(guī)模一致性，配置8、9分別表示重復(fù)相同的真實(shí)訓(xùn)練集2次、3次。

表3 訓(xùn)練集的不同配置Table 3 Different configuration of training set

此外，為了對(duì)比不同實(shí)驗(yàn)配置下分類模型的效果，使用Micro-average F1-score (Micro-F1)和Macro-average F1-score (Macro-F1)兩種常見的評(píng)價(jià)指標(biāo)。作為F1-score 評(píng)價(jià)指標(biāo)在多分類問(wèn)題下的拓展，Macro-F1根據(jù)每一類的精確率和召回率計(jì)算相應(yīng)類別F1-score，然后求算數(shù)平均，即

式中：k為類別數(shù)；Ri和Pi分別為第i類的召回率和精確率。Micro-F1 則首先計(jì)算所有類別總體的召回率和精確率，進(jìn)而計(jì)算F1-score，即

式中：Rmi和Pmi分別為總體的召回率和精確率，即

式中：ATP,i、AFP,i和AFN,i分別為第i類的真正類、假正類、假負(fù)類樣本個(gè)數(shù)。從Micro-F1 和Macro-F1的計(jì)算方法可以看出，Micro-F1在多分類問(wèn)題中等同于準(zhǔn)確率，因此，更容易受到大樣本類別的影響；Macro-F1由于平等地看待各個(gè)類別，更易受到小樣本類別的影響。

2 實(shí)例分析

2.1 實(shí)驗(yàn)設(shè)置

本文基于深度學(xué)習(xí)框架Keras 2.0.8 實(shí)現(xiàn)CGAN模型。生成器的輸入包含兩部分，分別為隨機(jī)噪聲向量(77 維)和類別標(biāo)號(hào)one-hot 向量(3 維)，兩者拼接成完整的輸入向量(80 維)。輸出為特定類別下的生成樣本(23 維)，其各維度分別對(duì)應(yīng)表1中的各復(fù)雜度指標(biāo)。中間隱藏層由全連接層和ReLU激活函數(shù)組成。判別器則以生成樣本或真實(shí)樣本作為輸入，輸出為給定樣本屬于真實(shí)樣本的概率和屬于各類別的概率，中間部分的隱藏層由全連接層和LeakyReLU 激活函數(shù)組成。為緩解訓(xùn)練過(guò)程可能存在的過(guò)擬合和梯度彌散現(xiàn)象，引入Dropout 和Batch Normalization 機(jī)制。整個(gè)模型參數(shù)通過(guò)截?cái)嗾龖B(tài)分布進(jìn)行初始化，并利用Adam 優(yōu)化器進(jìn)行訓(xùn)練，學(xué)習(xí)率和批量大小分別設(shè)置為0.0002 和32，Batch Normalization 的動(dòng)量設(shè)置為0.8，Dropout 的比率設(shè)置為0.1。此外，模型隱藏層個(gè)數(shù)及相應(yīng)神經(jīng)元數(shù)量分別根據(jù)最小重建誤差準(zhǔn)則[12]和本征維數(shù)估計(jì)[13]進(jìn)行確定。CGAN模型結(jié)構(gòu)如表4所示。

此外，基于機(jī)器學(xué)習(xí)庫(kù)Scikit-learn 0.22.2 實(shí)現(xiàn)各種扇區(qū)復(fù)雜度評(píng)估模型。在訓(xùn)練集上利用10折交叉驗(yàn)證的方法，確定了各模型的最優(yōu)超參數(shù)。對(duì)于SVM模型，選擇徑向基函數(shù)作為核函數(shù)，懲罰參數(shù)C設(shè)置為1.0；對(duì)于RF 模型，共集成了10 個(gè)深度為6 的決策樹進(jìn)行預(yù)測(cè)。整個(gè)數(shù)據(jù)集被隨機(jī)打亂順序并用70%的數(shù)據(jù)作為訓(xùn)練集，30%數(shù)據(jù)作為測(cè)試集。其中，訓(xùn)練集首先用于訓(xùn)練CGAN模型生成樣本，進(jìn)而與生成樣本一起學(xué)習(xí)復(fù)雜度評(píng)估模型，測(cè)試集僅用于復(fù)雜度評(píng)估模型的性能驗(yàn)證。

2.2 條件生成對(duì)抗網(wǎng)絡(luò)學(xué)習(xí)效果分析

基于CGAN 模型的具體實(shí)現(xiàn)，進(jìn)行了1000 次的迭代訓(xùn)練，訓(xùn)練過(guò)程中判別器對(duì)樣本來(lái)源的預(yù)測(cè)精度變化情況如圖3所示。

由圖3可知，在200次迭代之前，預(yù)測(cè)精度呈現(xiàn)波動(dòng)狀態(tài)。從200次迭代以后，預(yù)測(cè)精度隨著迭代次數(shù)的增加而逐漸降低，最終穩(wěn)定在50%左右。這一現(xiàn)象直接反映了判別器對(duì)任意給定樣本無(wú)法區(qū)分是真實(shí)訓(xùn)練樣本還是生成樣本，也間接體現(xiàn)了生成器所學(xué)習(xí)的數(shù)據(jù)分布隨著迭代次數(shù)的增加逐漸接近于真實(shí)訓(xùn)練數(shù)據(jù)的分布。

圖3 樣本來(lái)源的預(yù)測(cè)精度隨迭代次數(shù)的變化Fig.3 Prediction accuracy of sample source varies with number of iterations

利用充分訓(xùn)練的CGAN模型，基于所提出的有標(biāo)記樣本生成算法，生成與訓(xùn)練集各類別樣本數(shù)目相同的樣本。由于各復(fù)雜度指標(biāo)的取值范圍不同，使用min-max 標(biāo)準(zhǔn)化方法將各指標(biāo)映射到0～1 之間。為能夠定量地對(duì)比生成樣本與真實(shí)樣本，分別統(tǒng)計(jì)了訓(xùn)練集和生成集各復(fù)雜度指標(biāo)的均值和標(biāo)準(zhǔn)差，并可視化兩者的相對(duì)誤差。如圖4所示。

圖4 生成集與訓(xùn)練集在均值和標(biāo)準(zhǔn)差上的相對(duì)誤差Fig.4 Relative error between generating set and training set in mean and standard deviation

各復(fù)雜度指標(biāo)在均值上的相對(duì)誤差基本在5%以內(nèi)，充分體現(xiàn)了CGAN模型學(xué)習(xí)到了真實(shí)數(shù)據(jù)的總體分布情況。此外，標(biāo)準(zhǔn)差的相對(duì)誤差普遍較高，尤其是從第10個(gè)復(fù)雜度指標(biāo)開始，即潛在沖突類指標(biāo)。通過(guò)觀察標(biāo)準(zhǔn)差的具體數(shù)值可以發(fā)現(xiàn)，該現(xiàn)象是由于真實(shí)樣本集的潛在沖突類指標(biāo)的標(biāo)準(zhǔn)差較小而生成集的標(biāo)準(zhǔn)差較大所導(dǎo)致。這種生成樣本與真實(shí)樣本之間的差異可以豐富樣本的多樣性，有效地增加樣本數(shù)量，尤其是樣本量較少的高復(fù)雜度樣本，提高后續(xù)復(fù)雜度評(píng)估模型的魯棒性和預(yù)測(cè)能力。

2.3 復(fù)雜度評(píng)估結(jié)果分析

為分析生成樣本對(duì)扇區(qū)復(fù)雜度評(píng)估精度帶來(lái)的影響，基于表2中7 種訓(xùn)練集配置分別學(xué)習(xí)了LR、SVM 和RF 模型。由于生成樣本具有隨機(jī)性，利用訓(xùn)練好的CGAN 模型生成30 組不同的樣本集，依次評(píng)估每組樣本集，得到Micro-F1 和Macro-F1 評(píng)價(jià)指標(biāo)，并以平均值作為最終的性能結(jié)果。訓(xùn)練集配置為1～4下3種評(píng)估模型測(cè)試集的Macro-F1和Micro-F1影響如圖5所示。

圖5 不同訓(xùn)練集配置對(duì)3種評(píng)估模型的Macro-F1和Micro-F1影響Fig.5 Impact of different training set configurations on Macro-F1 and Micro-F1 of three evaluation models

由圖5可知，同一訓(xùn)練集配置下，RF 模型的Macro-F1指標(biāo)和Micro-F1指標(biāo)最高，LR模型的指標(biāo)最低，反映了不同模型的學(xué)習(xí)能力不同。隨著生成的高復(fù)雜度樣本的增多，各模型的指標(biāo)均持續(xù)提高，表明了生成樣本能夠有效改善類別不平衡問(wèn)題對(duì)性能的影響。進(jìn)一步觀察同一模型下指標(biāo)的變化情況，Macro-F1 指標(biāo)比Micro-F1 指標(biāo)性能提升明顯，這是由于Macro-F1 指標(biāo)更易受小樣本類別分類效果的影響，隨著生成小樣本類別樣本數(shù)量的增加，其分類效果有明顯的改善。

訓(xùn)練集配置為1、5、6、7、8、9 下3 種評(píng)估模型測(cè)試集的Macro-F1 和Micro-F1 分別如圖6和圖7所示。

圖6 不同訓(xùn)練集配置下3種評(píng)估模型在測(cè)試集下的Macro-F1Fig.6 Macro-F1 of three evaluation models in test set under different training sets

圖7 不同訓(xùn)練集配置下3種評(píng)估模型在測(cè)試集下的Micro-F1Fig.7 Micro-F1 of three evaluation models in test set under different training sets

由圖6和圖7可以發(fā)現(xiàn)，兩種評(píng)價(jià)指標(biāo)取得了一致的變化情況。從配置1 到配置7，LR、SVM 和RF 模型的Macro-F1 指標(biāo)分別增長(zhǎng)了13.53%、12.53%和10.70%；Micro-F1 指標(biāo)分別增長(zhǎng)了10.01%、9.55%和5.98%。不論何種評(píng)估模型，配置5的性能遠(yuǎn)小于配置1。這體現(xiàn)了在各類樣本數(shù)量相同的情況下，生成樣本較真實(shí)樣本在樣本多樣性上仍有一定的不足。此外，相較于配置1，配置6的性能有了明顯的提高。這表明，通過(guò)混合生成樣本得到的增廣樣本集能夠增強(qiáng)復(fù)雜度指標(biāo)的表達(dá)能力，緩解有標(biāo)簽樣本量較少給模型預(yù)測(cè)帶來(lái)的局限性。配置7在配置6的基礎(chǔ)上進(jìn)一步增加生成樣本的數(shù)量，其性能僅有較小的提高。該現(xiàn)象反映了性能的提升不取決于生成樣本的數(shù)量，而在于是否有效地豐富了樣本的多樣性。相較于配置6 與配置7，配置8與配置9本質(zhì)上沒有擴(kuò)充有效訓(xùn)練樣本的數(shù)量，因此，測(cè)試集性能幾乎沒有提升，也從側(cè)面驗(yàn)證了生成樣本多樣性的重要性。

進(jìn)一步給出不同配置條件下各評(píng)估模型總體的召回率和精確率，如表5所示。

表5 測(cè)試集的總體召回率和精確率（Rmi Pmi）Table 5 Overall recall and precision of test set（Rmi Pmi）

由表5可知，配置5的總體召回率比精確率高；配置1、6、7、8、9 的總體召回率低于精確率。整體上看，召回率和精確率相差不大。

以上實(shí)驗(yàn)結(jié)果一致表明，生成樣本能夠有效提高小樣本環(huán)境下復(fù)雜度評(píng)估模型的性能。

3 結(jié)論

本文的主要結(jié)論如下

(1)提出的基于條件生成對(duì)抗網(wǎng)絡(luò)的扇區(qū)復(fù)雜度有標(biāo)記樣本生成算法的實(shí)驗(yàn)結(jié)果表明，生成樣本的復(fù)雜度指標(biāo)與真實(shí)樣本在均值上的相對(duì)誤差普遍小于5%，在標(biāo)準(zhǔn)差上的相對(duì)誤差普遍大于5%。說(shuō)明條件生成對(duì)抗網(wǎng)絡(luò)能夠有效地學(xué)習(xí)各復(fù)雜度指標(biāo)的分布情況，與真實(shí)樣本相比，具有一定的區(qū)分度。

(2)在扇區(qū)實(shí)際運(yùn)行數(shù)據(jù)下，采用邏輯回歸、支持向量機(jī)、隨機(jī)森林算法驗(yàn)證了生成樣本對(duì)扇區(qū)復(fù)雜度評(píng)估精度的有效性。對(duì)于Macro-F1 指標(biāo)，評(píng)估精度分別增長(zhǎng)了13.53%、12.53%和10.70%；對(duì)于Micro-F1 指標(biāo)，評(píng)估精度分別增長(zhǎng)了10.01%、9.55%和5.98%。表明生成樣本能夠很好地補(bǔ)充原始數(shù)據(jù)集，提高扇區(qū)復(fù)雜度的評(píng)估精度，為交通流量管理和管制負(fù)荷量化提供支持。