南敬昌 王梓琦 高明明 王 穎

(遼寧工程技術(shù)大學(xué)電子與信息工程學(xué)院 遼寧 葫蘆島 125105)

0 引 言

隨著無線通信的快速發(fā)展，射頻微波器件扮演著關(guān)鍵角色，因此對(duì)其建模、仿真算法和設(shè)計(jì)分析方法等也提出了更高的要求。傳統(tǒng)的射頻微波器件設(shè)計(jì)與分析方法采用基于計(jì)算機(jī)的輔助設(shè)計(jì)方法，最常見的優(yōu)化方法是EM電磁仿真軟件法，但它往往需要經(jīng)過長(zhǎng)時(shí)間的優(yōu)化來得到各個(gè)目標(biāo)參數(shù)，計(jì)算代價(jià)較大。

神經(jīng)網(wǎng)絡(luò)具有很強(qiáng)的非線性逼近和優(yōu)化求解能力，對(duì)于大型復(fù)雜問題能快速建模求解，在射頻微波領(lǐng)域得到了廣泛的應(yīng)用[1]。通常將其對(duì)射頻微波器件的建模問題歸為兩類：一類被訓(xùn)練用來模擬原始電磁問題，稱為正向建模，訓(xùn)練好的正向神經(jīng)網(wǎng)絡(luò)能夠依據(jù)器件結(jié)構(gòu)參量精確地得到系統(tǒng)響應(yīng)；另一類被訓(xùn)練用來設(shè)計(jì)器件，稱為逆向建模，可以通過給定的目標(biāo)參量綜合出對(duì)應(yīng)的結(jié)構(gòu)參量[2-3]。

對(duì)于直接逆向神經(jīng)網(wǎng)絡(luò)，它可以通過交換網(wǎng)絡(luò)的輸入輸出數(shù)據(jù)來獲得，其優(yōu)點(diǎn)是建模速度快，但是由于輸入與輸出參量之間的多值映射關(guān)系，難以保證其收斂性和唯一性[4]。文獻(xiàn)[3]提出一種在訓(xùn)練前對(duì)數(shù)據(jù)進(jìn)行分組處理的逆向建模方法，根據(jù)分組規(guī)則，消除多解問題，將各子逆模型的輸出作為正向模型的輸入，如果正向模型的輸出與子逆模型的輸入在一定的誤差范圍內(nèi)，則按照一定規(guī)則合并，應(yīng)用于波導(dǎo)濾波器的設(shè)計(jì)中。此方法模型分組和子模型合并的過程加大了建模的復(fù)雜度，一旦其中一步精度差，整個(gè)逆向模型的精度也較差。文獻(xiàn)[5]則提出了對(duì)多輸入模型建立一系列候選逆模型，將具有最小誤差的候選逆模型作為理想逆模型與原始模型互補(bǔ)，得到精確逆模型的梯度逆向建模方法，并應(yīng)用于傳輸線和螺旋電感建模中。對(duì)于正則化神經(jīng)網(wǎng)絡(luò)算法，文獻(xiàn)[6]證明了帶L2正則化項(xiàng)的逆向迭代算法的確定性收斂；文獻(xiàn)[7]證明了帶光滑L1/2正則化項(xiàng)的神經(jīng)網(wǎng)絡(luò)逆向迭代算法能保證輸入向量序列在訓(xùn)練過程中的穩(wěn)定性及稀疏性；文獻(xiàn)[8]指出可以通過貝葉斯正則化方法來提高BP網(wǎng)絡(luò)的泛化能力；文獻(xiàn)[9]提出一種基于稀疏貝葉斯的半監(jiān)督極速學(xué)習(xí)機(jī)分類算法，并證明了其可以避免Moore-Penrose廣義逆方法求解產(chǎn)生的過擬合問題，具有較好的稀疏性和泛化能力。

針對(duì)以上研究現(xiàn)狀以及已有的逆向建模方法過程復(fù)雜、模型精度難以保證、BP逆向建模方法網(wǎng)絡(luò)泛化能力差的問題，提出一種稀疏貝葉斯正則化逆向神經(jīng)網(wǎng)絡(luò)建模方法。此方法通過L1/2范數(shù)引入新的權(quán)系數(shù)，使得網(wǎng)絡(luò)結(jié)構(gòu)更加稀疏化，并實(shí)現(xiàn)對(duì)輸入樣本的擴(kuò)展，網(wǎng)絡(luò)輸出解更具稀疏性，同時(shí)通過貝葉斯正則化方法調(diào)整網(wǎng)絡(luò)權(quán)系數(shù)避免過擬合現(xiàn)象，網(wǎng)絡(luò)輸出更加平滑，且泛化能力更強(qiáng)。以模型實(shí)際輸出與目標(biāo)輸出之間誤差的最小化為目標(biāo)在輸入空間內(nèi)搜索全局最優(yōu)解，具有唯一性。將此逆向神經(jīng)網(wǎng)絡(luò)應(yīng)用于超寬帶濾波器加載諧振器的建模中，可以更加精確、快速地得到其逆模型，效率更高。

1 稀疏貝葉斯正則化逆向神經(jīng)網(wǎng)絡(luò)迭代算法

1.1 正則化方法

從神經(jīng)網(wǎng)絡(luò)的精度角度而言，稀疏化的研究意義在于保證精度的同時(shí)降低訓(xùn)練成本避免過度訓(xùn)練，L1/2懲罰項(xiàng)能夠代替算法中的Lp(0

貝葉斯方法利用概率對(duì)事物進(jìn)行描述，為一個(gè)隨機(jī)數(shù)，用概率分布描述的大小，在未知數(shù)據(jù)時(shí)，用來描述的概率分布情況稱為先驗(yàn)概率分布。貝葉斯公式為：

(1)

當(dāng)樣本x出現(xiàn)后，人們對(duì)進(jìn)行調(diào)整，π(θ|x)即為對(duì)應(yīng)的后驗(yàn)分布[14]。

1.2 稀疏貝葉斯正則化性能函數(shù)

這里采用典型的具有一個(gè)輸入層，兩個(gè)隱含層和一個(gè)輸出層的逆向神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，如圖1所示。

圖1 逆向神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖

其中α=(α1,…,αl,…,αn)是輸入向量，β=(β1,…,βk,…,βm)是輸出向量，μil是輸入層第l個(gè)神經(jīng)元和隱含層第i個(gè)神經(jīng)元之間的權(quán)值，ωji是隱含層第i個(gè)神經(jīng)元到隱含層第j個(gè)神經(jīng)元的權(quán)值，vkj是隱含層第j個(gè)神經(jīng)元到輸出層第k個(gè)神經(jīng)元之間的權(quán)值；φiq為第一個(gè)隱含層第i個(gè)神經(jīng)元輸出，hjq為第二個(gè)隱含層第j個(gè)神經(jīng)元輸出，E是目標(biāo)輸出向量t與實(shí)際輸出向量β之間的誤差函數(shù)，其中傳遞函數(shù)采用tansig函數(shù)T(·)，T(·)的導(dǎo)數(shù)為T′=1-T2。因此，神經(jīng)網(wǎng)絡(luò)輸出按下式計(jì)算：

βk(rl)=2/(1+exp(-2×(rl)))-1

(2)

式中，rl是加權(quán)輸入。神經(jīng)網(wǎng)絡(luò)的相對(duì)誤差函數(shù)Eq可以描述為：

(3)

式中：N為樣本總數(shù)，q表示第q組測(cè)試數(shù)據(jù)，Eq代表第q組數(shù)據(jù)的誤差，tkq表示第q組第k個(gè)目標(biāo)輸出向量。常規(guī)的貝葉斯正則化方法是在誤差函數(shù)后加上權(quán)衰減項(xiàng)：

(4)

因此，本文提出的稀疏貝葉斯正則化神經(jīng)網(wǎng)絡(luò)的性能函數(shù)描述為：

(5)

通過貝葉斯正則化方法可以在網(wǎng)絡(luò)訓(xùn)練過程中調(diào)整正則化系數(shù)λ的大小，自動(dòng)縮小網(wǎng)絡(luò)規(guī)模，使模型網(wǎng)絡(luò)輸出更加平滑[14]。增加L1/2范數(shù)，引入新的權(quán)值向量，使得網(wǎng)絡(luò)結(jié)構(gòu)更加稀疏化，同時(shí)在逆向迭代性能函數(shù)中實(shí)現(xiàn)對(duì)輸入向量擴(kuò)展，使得模型可以得到具稀疏性的解，提高了網(wǎng)絡(luò)泛化能力。

1.3 稀疏貝葉斯正則化逆向神經(jīng)網(wǎng)絡(luò)算法推導(dǎo)

不同于正向建模中改變網(wǎng)絡(luò)的權(quán)值，神經(jīng)網(wǎng)絡(luò)逆模型的誤差是由輸入?yún)⒘恳鸬?，因此需要不斷修正輸入?yún)⒘康闹?。更新后的輸入?yún)⒘渴沟脤?shí)際輸出與目標(biāo)輸出之間的誤差最小，可描述為：

(6)

式中：η>0為學(xué)習(xí)速率。

為了求得稀疏貝葉斯正則化神經(jīng)網(wǎng)絡(luò)的逆向迭代算法，需要求解式(5)性能函數(shù)關(guān)于輸入?yún)⒘喀恋膶?dǎo)數(shù)，因此將其分解為以下兩項(xiàng)：

(7)

(8)

第一個(gè)隱含層第i個(gè)神經(jīng)元輸出值φiq可由下式計(jì)算：

(9)

φiq對(duì)第l個(gè)輸入值αlq的偏導(dǎo)為：

(10)

同樣可求，第二個(gè)隱含層的第j個(gè)輸出值hjq對(duì)輸入值φiq的偏導(dǎo)為：

(11)

隱含層輸出hjq對(duì)輸入值αlq的偏導(dǎo)為：

(12)

同理，第k個(gè)輸出值βkq對(duì)hjq的偏導(dǎo)為：

(13)

誤差函數(shù)Exq對(duì)于輸入?yún)⒘喀羖q的偏導(dǎo)為：

(14)

設(shè)式(14)中的第一個(gè)因子如式(15)：

(15)

將式(12)、式(13)、式(15)代入式(14)可得：

(16)

誤差函數(shù)Eyq關(guān)于輸入?yún)⒘喀羖q的偏導(dǎo)為：

(17)

式中:sgn(·)為符號(hào)函數(shù)。

因此，由式(16)、式(17)可得：

(18)

將式(18)代入式(6)中，對(duì)輸入?yún)⒘康?，?shí)現(xiàn)逆向求解過程。

2 神經(jīng)網(wǎng)絡(luò)逆向建模過程

對(duì)于神經(jīng)網(wǎng)絡(luò)逆向建模，如圖2所示。具體步驟如下：

1) 利用EM電磁仿真或從實(shí)物中獲取實(shí)驗(yàn)數(shù)據(jù)，分為訓(xùn)練集和測(cè)試集。

2) 對(duì)數(shù)據(jù)進(jìn)行歸一化處理，利用訓(xùn)練數(shù)據(jù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)正模型，獲得權(quán)值并保存。

3) 代入正向網(wǎng)絡(luò)獲得的權(quán)值，利用本文提出的稀疏貝葉斯正則化神經(jīng)網(wǎng)絡(luò)逆向迭代算法更新輸入?yún)⒘喀?，?shí)現(xiàn)逆向求解過程。

4) 若達(dá)到性能函數(shù)E要求或最大迭代次數(shù)，則結(jié)束更新。最后以實(shí)際輸入和目標(biāo)輸入之間的誤差大小來評(píng)價(jià)模型性能的好壞。

3 超寬帶濾波器的逆向神經(jīng)網(wǎng)絡(luò)建模

3.1 超寬帶濾波器模型

采用三維電磁仿真軟件Ansoft HFSS 13.0建立加載諧振器的超寬帶濾波器模型[15-16]。超寬帶濾波器結(jié)構(gòu)如圖3所示。

圖3 加載諧振器的超寬帶濾波器

圖3中的超寬帶濾波器在選擇結(jié)構(gòu)支節(jié)的尺寸時(shí)，經(jīng)計(jì)算與優(yōu)化，耦合線的長(zhǎng)度l1，耦合線之間的距離w1，諧振器的寬度w2，諧振器長(zhǎng)度為l2的值初步確定。主要需要考慮其加載的諧振器在陷波中心頻率f處，長(zhǎng)度l6、寬度w3(單位：mm)對(duì)濾波器插入損耗S21的影響。在Ansoft HFSS 13.0中所建模型如圖4所示。

圖4 超寬帶濾波器HFSS模型

3.2 關(guān)鍵參數(shù)提取

圖5為在HFSS中保持支節(jié)l1-l5和寬度w不變，對(duì)支節(jié)l6分別取1.5 mm、2.0 mm、2.5 mm時(shí)的掃描結(jié)果，隨著l6的增大，陷波的中心頻率逐漸左移，插入損耗S21也隨之改變。同樣，保持支節(jié)l及寬度w1、w2的值不變，w3取值分別為0.1 mm、0.3 mm、0.5 mm、0.7 mm、0.9 mm時(shí)，掃描結(jié)果如圖6所示，陷波中心頻率和插入損耗S21也隨之改變。

圖5 長(zhǎng)度l6與S21的關(guān)系

圖6 寬度w3與S21的關(guān)系

利用圖4根據(jù)超寬帶濾波器的插入損耗S21隨諧振器結(jié)構(gòu)參數(shù)變化時(shí)的仿真結(jié)果，提取1 200組數(shù)據(jù)用于訓(xùn)練和測(cè)試，其中l(wèi)6取值范圍為：2～3 mm，間隔為：0.05 mm；w3取值范圍為0.3～0.7 mm，間隔為0.02 mm；對(duì)應(yīng)的f取值范圍為7.8～8.4 GHz，S21范圍為10.8～16.4。

對(duì)于不同的l6和w3與S21之間關(guān)系如圖7所示。可以看到一個(gè)S21分別與多個(gè)l6值和多個(gè)w3值相對(duì)應(yīng)，當(dāng)把已知S21作為輸入，會(huì)有多個(gè)l6和w3值與其對(duì)應(yīng)，即存在多解問題。

圖7 S21與l6和w3的對(duì)應(yīng)關(guān)系

3.3 超寬帶濾波器的稀疏貝葉斯正則化逆向神經(jīng)網(wǎng)絡(luò)建模

在使用HFSS軟件進(jìn)行優(yōu)化的過程中，需要不斷調(diào)整諧振器在陷波中心頻率處的結(jié)構(gòu)尺寸來得到理想S21的值，需要花費(fèi)大量時(shí)間，增加了設(shè)計(jì)代價(jià)。為了能夠快速地通過目標(biāo)插入損耗S21的值逆向求解陷波中心頻率f處的結(jié)構(gòu)參量長(zhǎng)度l6、寬度w3的值，采用本文提出的稀疏貝葉斯正則化逆向神經(jīng)網(wǎng)絡(luò)建模方法對(duì)此超寬帶濾波器進(jìn)行建模。

在MATLAB 13.0軟件中編程實(shí)現(xiàn)稀疏貝葉斯正則化神經(jīng)網(wǎng)絡(luò)逆向迭代算法，選擇1 000組作為訓(xùn)練數(shù)據(jù)，50組作為測(cè)試數(shù)據(jù)。

為了加快學(xué)習(xí)訓(xùn)練速率，首先對(duì)所需數(shù)據(jù)進(jìn)行歸一化處理，使量綱保持一致。本文采用min-max標(biāo)準(zhǔn)歸一化方法：

(19)

式中：α*∈Rn，αmin=min(α),αmsx=max(α)。

根據(jù)實(shí)驗(yàn)情況，此逆模型采用4層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，確定各層節(jié)點(diǎn)數(shù)為3-23-20-1，輸入層三個(gè)節(jié)點(diǎn)，分別為l6、w3、f，輸出層一個(gè)節(jié)點(diǎn)，為S21，誤差限設(shè)為1e-6，最大迭代次數(shù)為500，通過仿真模擬發(fā)現(xiàn)當(dāng)學(xué)習(xí)速率η取0.02，正則化系數(shù)λ取0.68時(shí)，誤差最小。

4 仿真結(jié)果分析

采用本文所提的逆向建模方法對(duì)超寬帶濾波器進(jìn)行建模，模型輸出結(jié)果分別與電磁仿真軟件HFSS實(shí)際輸出、直接逆向建模方法輸出和BP逆向建模方法輸出進(jìn)行對(duì)比，三種方法采用相同的網(wǎng)絡(luò)結(jié)構(gòu)，對(duì)比結(jié)果如圖8-圖10所示。

圖8 長(zhǎng)度l6擬合圖

圖9 寬度w3擬合圖

圖10 頻率f擬合圖

從圖8-圖10可以看出由于多解問題的存在，直接逆模型的擬合效果較差，而本文提出的逆向建模算法所得結(jié)果可以較好地?cái)M合電磁仿真結(jié)果，模型精度較高。

直接逆模型、BP逆模型與本文逆模型網(wǎng)絡(luò)輸出的對(duì)比結(jié)果如表1所示。與BP逆向建模方法相比，本文逆模型求得的與插入損耗S21對(duì)應(yīng)的長(zhǎng)度l6、寬度w3、頻率f的相對(duì)誤差分別減小了81.4%、99.8%、48.9%，網(wǎng)絡(luò)運(yùn)行時(shí)間減少了16.3%。

表1 三種逆向建模方法仿真結(jié)果對(duì)比

5 結(jié) 語(yǔ)

將稀疏貝葉斯正則化逆向神經(jīng)網(wǎng)絡(luò)應(yīng)用于超寬帶濾波器的建模中，通過目標(biāo)電參量能夠快速綜合出對(duì)應(yīng)的結(jié)構(gòu)參量。L1/2范數(shù)使得逆模型更易得到稀疏性解，貝葉斯正則化方法調(diào)整網(wǎng)絡(luò)權(quán)系數(shù)，可以有效避免過擬合現(xiàn)象，網(wǎng)絡(luò)泛化能力及稀疏性更好。此逆向神經(jīng)網(wǎng)絡(luò)通過迭代過程取代了連續(xù)搜索的程序優(yōu)化方法，不存在多解問題，與直接逆向建模方法和BP逆建模方法相比，此逆向建模方法更加準(zhǔn)確和高效。