李 徐，張 帆

（上海工程技術(shù)大學(xué) 機械與汽車工程學(xué)院，上海 201620）

0 引 言

結(jié)構(gòu)工程中的大多數(shù)設(shè)計優(yōu)化問題都是高度非線性的，在復(fù)雜的約束條件下涉及許多不同的設(shè)計變量，這些約束可以寫成簡單的界限，如材料特性的范圍，也可以寫成非線性關(guān)系，包括最大應(yīng)力、最大撓度、最小承載能力和幾何形狀，這種非線性經(jīng)常導(dǎo)致多模態(tài)響應(yīng)景觀，所以在結(jié)構(gòu)優(yōu)化問題中，尋求最優(yōu)參數(shù)就變得更加困難。

強化學(xué)習(xí)的思想來自于條件反射理論和動物學(xué)習(xí)理論，是一種受到動物學(xué)習(xí)過程啟發(fā)而得到的仿生算法，是重要的機器學(xué)習(xí)方法，因為其具有良好的無監(jiān)督學(xué)習(xí)能力，該算法主要被運用于機器人領(lǐng)域以及人工智能領(lǐng)域，在結(jié)構(gòu)優(yōu)化問題中幾乎沒有被提及，這是因為如果套用整個的強化學(xué)習(xí)算法模型，則無法運用在結(jié)構(gòu)優(yōu)化問題中，但是基于結(jié)構(gòu)優(yōu)化問題中的設(shè)計參數(shù)和界限函數(shù)與強化學(xué)習(xí)中的動作、狀態(tài)很相似，選擇某一組設(shè)計參數(shù)就會對應(yīng)某一個確切的界限函數(shù)值，在強化學(xué)習(xí)中選擇某一動作后轉(zhuǎn)移到某一個狀態(tài)是一個概率事件，而結(jié)構(gòu)優(yōu)化問題中是確定性事件，也可認為轉(zhuǎn)移的概率為1，在強化學(xué)習(xí)中目標是要找到獎勵值最大的策略，而在結(jié)構(gòu)優(yōu)化問題中，只要找到可以使目標函數(shù)最優(yōu)的設(shè)計參數(shù)就行，而設(shè)計參數(shù)的測試與選取也是靠某種策略得到，因此可以將強化學(xué)習(xí)的動作狀態(tài)轉(zhuǎn)移模型轉(zhuǎn)換到結(jié)構(gòu)優(yōu)化尋優(yōu)中來，更詳細的說明在算法原理中有介紹。

布谷鳥搜索（Cuckoo Search，CS）是一種新的元啟發(fā)式搜索算法，這個算法是基于一些杜鵑物種的專性繁殖寄生行為，結(jié)合了一些鳥和果蠅，是由Yang等人開發(fā)的，初步研究表明，該算法的應(yīng)用前景很廣，優(yōu)于現(xiàn)有的遺傳算法和粒子群算法，因此在本案例中，用布谷鳥搜索（CS）算法去驗證所提出的優(yōu)化算法，證明了該算法的可行性。本文的工作主要分為以下3個部分：

（1）算法原理中，介紹了該算法的原理，以及算法流程。

（2）案例驗證中，用純數(shù)學(xué)問題和工程案例去驗證該算法的可行性。

（3）結(jié)果與討論中，分析了實驗仿真的結(jié)果，同時說明了該算法的局限性。

1 算法原理

在算法中，采用神經(jīng)網(wǎng)絡(luò)作為策略函數(shù)，因其具有極強的泛化能力、非線性映射能力，以及高度的非線性并行性，研究時常被用來作為一種學(xué)習(xí)器，并廣泛運用于圖像識別、分類應(yīng)用中。在強化學(xué)習(xí)中也充分利用了其特性來作為策略函數(shù)，以解決具有連續(xù)動作和連續(xù)狀態(tài)的強化學(xué)習(xí)，例如Policy Gradient（PG）、Proximal Policy Optimization（PPO）、Deep Deterministic Policy Gradient（DDPG）等?；诖?，在本次研究中，采用了神經(jīng)網(wǎng)絡(luò)作為策略函數(shù)，單層的神經(jīng)網(wǎng)絡(luò)模型如圖1所示。

圖1 單層神經(jīng)網(wǎng)絡(luò)模型Fig.1 Single-layer neural network model

由圖1可知，圖1的輸出值為：

神經(jīng)網(wǎng)絡(luò)的更新方式是通過反向傳播、梯度下降的原理去更新神經(jīng)網(wǎng)絡(luò)的參數(shù)，其更新方式的數(shù)學(xué)原理如下。

設(shè)輸入樣本為：

期望輸出為：

隱藏層各神經(jīng)元的輸入輸出如下：

求出期望值d k()與實際輸出值yo k()的誤差函數(shù)的偏導(dǎo)數(shù)δ k()，其公式如下。

輸出層可寫為：

隱藏層可寫為：

利用輸出層各神經(jīng)元的δ k()和隱藏層各神經(jīng)元的輸出來修正鏈接權(quán)值w k()。 研究中推得的數(shù)學(xué)公式可表示為：

利用隱藏層各神經(jīng)元的δ k()和輸入層各神經(jīng)元的輸入修正權(quán)連接。研究中推得的數(shù)學(xué)公式可表示為：

其中，是學(xué)習(xí)率。

通過式（17）就可以實現(xiàn)梯度下降，從而找到最優(yōu)的目標函數(shù)值。

對于一個工程或機械結(jié)構(gòu)優(yōu)化問題，會涉及到設(shè)計參數(shù)，需要優(yōu)化的目標函數(shù)（），以及會因為參數(shù)改變而引起其他性能變化的函數(shù)，在這里稱為界限函數(shù)（），一般會要求（）在某一范圍內(nèi)。

雖然該算法啟發(fā)與強化學(xué)習(xí)，但是在尋優(yōu)的過程中沒有正向意義上的獎勵值，而是用優(yōu)化機會作為獎勵值，只要滿足某一狀態(tài)就可得到一次優(yōu)化的機會，在強化學(xué)習(xí)中使用了基于神經(jīng)網(wǎng)絡(luò)的強化學(xué)習(xí)算法，如PPO、DDPG算法。在訓(xùn)練神經(jīng)網(wǎng)絡(luò)時，是對一批數(shù)據(jù)輸入進行訓(xùn)練，這是由強化學(xué)習(xí)的算法決定的，現(xiàn)實中均值是無法確定的，需要通過求平均值來近似均值，而在結(jié)構(gòu)優(yōu)化中，只是要找到滿足界限函數(shù)這一狀態(tài)下的最優(yōu)目標參數(shù)這一動作值即可，因此用本文提出的算法只能一次輸入一個狀態(tài)值（界限函數(shù)）到神經(jīng)網(wǎng)絡(luò)中，得到什么樣的權(quán)重參數(shù)不重要，重要的是得到的設(shè)計參數(shù)是否是最優(yōu)。

在提出的算法中，運用了強化學(xué)習(xí)的狀態(tài)轉(zhuǎn)移和策略函數(shù)的思想，以及神經(jīng)網(wǎng)絡(luò)的特性去優(yōu)化目標函數(shù)，在有界限函數(shù)（）的情況下找到最優(yōu)解的前提是其設(shè)計參數(shù)必須先滿足界限函數(shù)，因此首先要找到滿足界限函數(shù)的參數(shù)空間位置，然后在這個參數(shù)空間中尋找最優(yōu)的目標參數(shù)。在該算法中，先隨機選擇一組滿足界限函數(shù)的初始狀態(tài)，用該狀態(tài)作為神經(jīng)網(wǎng)絡(luò)的輸入，其輸出是該狀態(tài)下選擇的動作（設(shè)計參數(shù)），將該動作作為界限函數(shù)的自變量，計算出下一個狀態(tài)（），與強化學(xué)習(xí)中的狀態(tài)定義不同，這里將滿足界限函數(shù)值這一類作為一個狀態(tài)，不滿足作為另一個狀態(tài)，如果下一個狀態(tài)在界限函數(shù)范圍中，將該狀態(tài)作為新的神經(jīng)網(wǎng)絡(luò)的輸入，通過反向傳播，梯度下降優(yōu)化目標函數(shù)，如果超出了界限函數(shù)的范圍，就以上一次的狀態(tài)作為新的輸入，通過反向傳播、梯度下降的方式去更新動作輸出，直到輸出的動作值在界限函數(shù)值的范圍之內(nèi)，重復(fù)以上過程，直到訓(xùn)練結(jié)束，算法流程如圖2所示。

圖2 算法流程圖Fig.2 Algorithm flow chart

2 案例驗證

2.1 純數(shù)學(xué)問題驗證

為了驗證該算法可以找到最優(yōu)解，考慮如下一個數(shù)學(xué)問題，有4個參數(shù)（，，，），∈[0，4]，∈[0，5]，∈[0，4]，∈[0，6]，有函數(shù)：

求在(，，，)≤9，(，，，)≤20的情況下函數(shù)（，，，）的最小值：

可以知道，在不考慮，的情況下可以取值6，取值2，取值4，而可以任意取值就可得到最優(yōu)解；當考慮，的情況下，明顯不能取值6，取值2，取值2，取值4同樣可以得到最優(yōu)解。通過所提出的算法求得其參數(shù)見表1，和預(yù)想的結(jié)果幾乎一樣，同時在相同運算時間內(nèi)比使用CS算法得到的值更精確。

表1 實驗數(shù)據(jù)Tab.1 Experimental data

該數(shù)學(xué)問題的目標函數(shù)不是很復(fù)雜，滿足，的參數(shù)空間占比較大，且連續(xù)，可以看見收斂過程非?？欤ㄒ妶D3），值與，相對應(yīng)的散點三維圖見圖4，很明顯在目標函數(shù)值下降的過程中，最小值對應(yīng)的點越來越集中。

圖3 收斂過程Fig.3 Convergence process

圖4 散點圖Fig.4 Scatter plot

2.2 工程實例

最小化工字梁的垂直偏轉(zhuǎn)：使用一個包含4個變量的設(shè)計問題來測試該算法，此案例來自報告中的原始問題（已修改），目標是最小化工字梁的垂直偏轉(zhuǎn)（見圖5）。梁的相關(guān)參數(shù)：5 600 kN，550 kN。并且同時滿足給定載荷下的橫截面積和應(yīng)力約束。當梁的長度（）和彈性模量（）分別為5 200 cm和523 104 kN/cm時，最小化垂直撓度（）48。 因此，該問題的目標函數(shù)可寫作如下形式：

圖5 梁結(jié)構(gòu)Fig.5 Beam structure

以橫截面積小于300 cm為基準，有：

如果梁的容許彎曲應(yīng)力為56 kN/cm，應(yīng)力約束如下：

其中，設(shè)計參數(shù)空間滿足10≤≤80，10≤≤50，09≤t≤5，09≤t≤5。

目標函數(shù)最終是收斂的（見圖6），在近乎相同時間內(nèi)該算法得到的最優(yōu)值和相關(guān)參數(shù)與布谷鳥搜素算法得到的值見表2。為了排除該算法得到的最優(yōu)值具有偶然性，運行得到了其他3組數(shù)據(jù)，仿真結(jié)果顯示目標函數(shù)收斂在同一值附近，如圖7所示。

表2 本文提出的算法與布谷鳥搜索算法得到的數(shù)據(jù)對比Tab.2 Comparison of the results between the proposed algorithm in this paper and the Cuckoo Search algorithm

圖6 收斂過程Fig.6 Convergence process

圖7 散點圖Fig.7 Scatter plot

3 結(jié)束語

實驗仿真結(jié)果表明，在利用該算法尋優(yōu)過程中，其目標函數(shù)值會因要考慮界限函數(shù)的值，可能出現(xiàn)一個振蕩下降的過程（見圖8），起初會有一個搜索階段，這個階段是為了尋找滿足界限函數(shù)值的區(qū)域，當收斂到滿足要求的界限值位置時，目標函數(shù)值會以一個相對光滑的趨勢下降，直到收斂到最小值，呈現(xiàn)一條相對粗細一致的線條。從圖8中可以看到，其收斂過程存在一定的差異，但最后都收斂到了最優(yōu)值，經(jīng)過分析發(fā)現(xiàn)，其原因就在于神經(jīng)網(wǎng)絡(luò)的初始化參數(shù)和初始化的狀態(tài)值不同，較好的初始化位置，會使其在尋優(yōu)過程中收斂曲線更加地平穩(wěn)光滑，甚至?xí)绊懫涫諗克俣龋虼丝梢哉J為，不同的初始化狀態(tài)值和神經(jīng)元參數(shù)對收斂過程具有一定的影響。

圖8 實驗仿真結(jié)果Fig.8 Experimental simulation results

另外，該算法具有一定的局限性，當滿足界限函數(shù)的參數(shù)空間在整個參數(shù)空間占比較小，且位置較分散的時候，很難收斂到最優(yōu)值，有時甚至無法收斂到滿足界限函數(shù)的參數(shù)，這時需要不斷改變初始值去求解最優(yōu)值，同時如果面臨參數(shù)空間中，有多個局部最優(yōu)解的情況，此時初始化權(quán)值參數(shù)和初始化狀態(tài)值沒有選擇到合適值，就可能無法找到全局最優(yōu)解。但是對于全局最優(yōu)解單一，滿足界限函數(shù)的參數(shù)空間占比足夠大的結(jié)構(gòu)優(yōu)化問題，該算法則可以更高效地找到最優(yōu)解。