羅宇湘，楊慧珍，何源烽，張之光

（1.江蘇海洋大學(xué) 電子工程學(xué)院，江蘇 連云港 222005；2.金陵科技學(xué)院 網(wǎng)絡(luò)與通信工程學(xué)院，江蘇 南京 211169）

引言

自適應(yīng)光學(xué)（adaptive optics，AO）技術(shù)采用變形鏡或空間光調(diào)制器校正光波前畸變，改善光學(xué)系統(tǒng)性能，已經(jīng)在天文領(lǐng)域[1]、生物領(lǐng)域[2]、醫(yī)學(xué)領(lǐng)域[3]和半導(dǎo)體領(lǐng)域[4]得到應(yīng)用。傳統(tǒng)自適應(yīng)光學(xué)系統(tǒng)需要獨立的波前傳感器，系統(tǒng)結(jié)構(gòu)復(fù)雜；而以系統(tǒng)性能指標(biāo)作為目標(biāo)函數(shù)，使用優(yōu)化算法迭代控制變形鏡電壓，則能夠在無需波前傳感器的條件下實現(xiàn)波前畸變校正（也稱為無波前探測自適應(yīng)光學(xué)技術(shù)）。無波前探測自適應(yīng)光學(xué)系統(tǒng)中，迭代控制算法的超參數(shù)選取決定了自適應(yīng)光學(xué)系統(tǒng)的校正能力。例如在隨機并行梯度下降（stochastic parallel gradient descent algorithm，SPGD）算法中，超參數(shù)選取過小時，會使得系統(tǒng)的收斂速度慢，在結(jié)束既定步數(shù)的迭代后，未能達到穩(wěn)定收斂；超參數(shù)選取過大時，在迭代開始階段收斂較快，但算法容易陷入局部極值[5]。自適應(yīng)光學(xué)系統(tǒng)迭代控制算法一般依靠遍歷或者經(jīng)驗來確定超參數(shù)。近年來，隨著機器學(xué)習(xí)領(lǐng)域中越來越多的優(yōu)化器被應(yīng)用于自適應(yīng)光學(xué)系統(tǒng)的迭代控制，采用的優(yōu)化器包括Momentum[6]、Nesterov accelerated gradient（NAG）[7]、AdaGrad[8]、RMSprop[9]、Adam[10-11]、Nadam 等[12]，迭代控制算法的超參數(shù)數(shù)目顯著增長，通過遍歷來確定超參數(shù)最優(yōu)值所需的運算量激增。針對這一問題，本文提出一種基于貝葉斯優(yōu)化的自適應(yīng)光學(xué)系統(tǒng)迭代控制算法的超參數(shù)選取方法，能夠以較小的運算量確定超參數(shù)的最優(yōu)值。

超參數(shù)搜索可以看作是黑箱函數(shù)的優(yōu)化問題，該函數(shù)往往具有非凸特征。采用常規(guī)的遍歷法搜索超參數(shù)可能因為找到一個局部最優(yōu)值而錯過全局最優(yōu)值。PELIKAN M 等于1998 年提出貝葉斯優(yōu)化[13]，SNOEK J 等于2012 年將貝葉斯優(yōu)化調(diào)整超參數(shù)用于機器學(xué)習(xí)領(lǐng)域[14]。貝葉斯優(yōu)化具有迭代次數(shù)少、速度快和針對非凸問題依然穩(wěn)健等優(yōu)點，在應(yīng)用于超參數(shù)優(yōu)化實踐中，已被證明[14-15]與網(wǎng)格搜索[16]和隨機搜索[17]相比，能在更少的評估中獲得更好的結(jié)果。和傳統(tǒng)的遍歷法不同，貝葉斯優(yōu)化是一種能夠利用有限的函數(shù)采樣值，以較少的評估次數(shù)獲得復(fù)雜目標(biāo)函數(shù)最優(yōu)值的方法[18]。為了避免陷入局部極值，貝葉斯優(yōu)化通常會加入一定的隨機性，在隨機探索和根據(jù)后驗分布取值之間做出權(quán)衡。

本文采用貝葉斯優(yōu)化方法，選擇適合自適應(yīng)光學(xué)系統(tǒng)迭代控制算法的超參數(shù)。分別以常用的SPGD、Momentum-SPGD 和CoolMomentum-SPGD控制算法為研究對象，以迭代優(yōu)化控制算法的超參數(shù)作為輸入，斯特列耳比（Strehl ratio，SR）值作為輸出，采用貝葉斯優(yōu)化選擇合適的超參數(shù)。分析采用貝葉斯優(yōu)化選擇超參數(shù)的迭代控制算法的校正效果，并將校正結(jié)果與遍歷法的結(jié)果進行比較。

1 自適應(yīng)光學(xué)系統(tǒng)迭代控制算法

傳統(tǒng)的隨機并行梯度下降算法（SPGD）是美國陸軍研究實驗室的VORONTSOV M A 于1998 年提出[19]，隨后被廣泛研究[20-22]。SPGD 算法直接對光學(xué)系統(tǒng)的性能評價函數(shù)J進行優(yōu)化。當(dāng)前驅(qū)動器控制電壓為 {uj}(j=1,···,N)，第n次迭代時，隨機擾動 {δuj}(j=1,···,N)被并行施加到波前校正器的N個驅(qū)動器，此時系統(tǒng)性能指標(biāo)的變化量為 δJ，SPGD 算法的迭代過程可以表示為

式中：γ為增益系數(shù)。本文采用斯特列耳比SR 作為性能評價函數(shù)J，用于表征畸變波前的校正效果[23]，性能評價函數(shù)J越接近于1，表示波前畸變校正效果越好。

隨著深度學(xué)習(xí)的發(fā)展，越來越多的優(yōu)化器被提出，并且已經(jīng)成功與SPGD 算法結(jié)合用于自適應(yīng)光學(xué)系統(tǒng)控制，如Momentum-SPGD 算法[7]、CoolMomentum-SPGD 算法[24]、RMSprop-SPGD 算法[10]和Adam-SPGD 算法[12]等。傳統(tǒng)的SPGD 算法只有1 個超參數(shù)即增益系數(shù) γ，Momentum-SPGD 算法和CoolMomentum-SPGD 算法有2 個超參數(shù)，分別是學(xué)習(xí)率和動量系數(shù)，表1 比較了3 種迭代控制算法的超參數(shù)。

表1 不同迭代控制算法的超參數(shù)比較Table 1 Comparison of hyperparameter of different iterative control algorithms

2 超參數(shù)優(yōu)化方法

超參數(shù)向量x到模型性能指標(biāo)的映射記作f(x)，其中x∈Rd，超參數(shù)優(yōu)化的目標(biāo)是在超參數(shù)空間內(nèi)尋找使得模型性能最優(yōu)的d維超參數(shù)x*，記作：

在機器學(xué)習(xí)中，現(xiàn)有的超參數(shù)優(yōu)化方法主要是網(wǎng)格搜索[25]、隨機搜索[17]和貝葉斯優(yōu)化方法[14]。貝葉斯優(yōu)化方法只需要幾個已知樣本點，通過高斯過程回歸計算已知樣本點的后驗概率分布，得到每一個超參數(shù)在每一個取值點的期望均值和方差。其中均值代表這個點最終的期望效果；方差表示這個點的效果的不確定性，方差越大，代表值要用更多的樣本點去探索。

貝葉斯優(yōu)化方法主要有兩個核心：高斯過程回歸模型和采集函數(shù)。高斯過程回歸模型用于近似表示黑箱目標(biāo)函數(shù)。令隨機向量X=[x1,x2,···,xn]，服從多元高斯分布X～N(μ,Σ)，μ為方差，Σ為協(xié)方差矩陣，其中：X1=[x1,···,xm]為已知觀測變量，X2=[xm+1,···,xn]為需要預(yù)測的未知變量，則：

均值和協(xié)方差矩陣為

根據(jù)貝葉斯公式：P(X2|X1)=P(X2)P(X1|X2)/∫P(X1|X2)P(X2)dX2可得X2的后驗分布：

式中：μ2|1為預(yù)測的未知變量的均值；Σ2|1為預(yù)測的未知變量的協(xié)方差矩陣。采集函數(shù)用于估計在已知數(shù)據(jù)條件下最優(yōu)點最有可能出現(xiàn)的位置，主要作用在于平衡探索與利用，使其既能利用先前的已知觀測值加快收斂，又能探索決策空間中不確定性強的地方，避免陷入局部最優(yōu)。

3 自適應(yīng)光學(xué)系統(tǒng)迭代控制算法超參數(shù)優(yōu)化

評價迭代控制算法時，既要考慮到迭代控制算法的收斂精度（迭代收斂后的SR 值），也要考慮到控制算法的收斂速度，因此將迭代過程中的SR 值加入性能指標(biāo)，用SR0表示性能指標(biāo)：

式中：SRinter表示控制算法迭代過程中的SR 值；SRend表示控制算法迭代結(jié)束后的SR 值；c表示權(quán)重系數(shù)。本文分別以迭代300 步、1 000 步時的SR值作為SRinter和SRend，c取值0.6。應(yīng)根據(jù)具體應(yīng)用的需求設(shè)定考察SR 值的步數(shù)、中間過程與結(jié)束時SR 值的權(quán)重。

本文以自適應(yīng)光學(xué)系統(tǒng)迭代控制算法中的超參數(shù)作為貝葉斯優(yōu)化方法中目標(biāo)函數(shù)的輸入，每組超參數(shù)對應(yīng)的加權(quán)SR 值作為貝葉斯優(yōu)化方法中目標(biāo)函數(shù)的輸出。先是獲得初始點個數(shù)，對初始點進行高斯過程回歸，預(yù)測出目標(biāo)函數(shù)的曲線，本文高斯過程中核函數(shù)選擇Matérn 協(xié)方差函數(shù)。然后選擇合適的采集函數(shù)評估下一個采樣點，常見的采集函數(shù)有概率提升函數(shù)（PI）、期望提升函數(shù)（EI）、置信上界函數(shù)（UCB）。采用單一采集函數(shù)的貝葉斯優(yōu)化算法不可能在所有問題上都表現(xiàn)出最好的性能，因此，還有使用對沖策略組合多種采集函數(shù)的貝葉斯優(yōu)化算法，比如GP-Hedge 算法[26]。本文為尋找目標(biāo)函數(shù)最大值，采用置信上界作為采集函數(shù)：

式中：μ()表示數(shù)學(xué)期望；σ()表示方差；κ為調(diào)節(jié)參數(shù)，通過控制調(diào)節(jié)參數(shù)實現(xiàn)對探索未知和已知數(shù)據(jù)信息之間的平衡。采用概率提升作為采集函數(shù)：

式中：Φ()表示正態(tài)累積分布函數(shù)；?是用來平衡探索和利用的隨機參數(shù)；f(x+)表示現(xiàn)有的最大值。采用期望提升作為采集函數(shù)：

式中：z=(μ(x)-f(x+))/σ(x)表示對當(dāng)前最優(yōu)點取值的歸一化。GP-Hedge 算法是在每次迭代中，把從每種采集函數(shù)得到的候選點組成候選點集合，然后根據(jù)對沖策略從候選點集合中選取評估點。此時，貝葉斯優(yōu)化會猜測出一個或多個采集函數(shù)取得最大值的函數(shù)值，判斷該結(jié)果是否滿足結(jié)束條件，如果滿足就結(jié)束優(yōu)化過程，否則將此結(jié)果加入初始點，繼續(xù)進行高斯過程回歸，預(yù)測出新的目標(biāo)函數(shù)曲線，再利用采集函數(shù)選出下一個采樣點，直到滿足結(jié)束條件。

采用貝葉斯優(yōu)化方法選擇超參數(shù)的具體實現(xiàn)過程如圖1 所示。首先是確定域空間，在SPGD 算法中，超參數(shù) γ的域空間為(0,6]，在Momentum-SPGD 和CoolMomentum-SPGD 算法中，超參數(shù)lr和ρ的域空間都為(0,1]；再設(shè)置加權(quán)SR 值作為性能指標(biāo)；然后獲得樣本點（超參數(shù)值及其對應(yīng)的加權(quán)SR 值），對樣本點進行高斯過程回歸，獲得目標(biāo)函數(shù)的預(yù)測曲線，完成對超參數(shù)空間的建模；在每次迭代中，計算每個樣本點的采集函數(shù)，即置信上界，并選擇置信上界最大的點作為下一個采樣點，即在超參數(shù)空間中選擇一個新的點進行實驗，得到其目標(biāo)函數(shù)值，并將其添加到已有的樣本點中。通過不斷迭代更新模型和選擇下一個采樣點，直到達到結(jié)束條件（達到最大迭代次數(shù)），完成超參數(shù)的優(yōu)化。

圖1 自適應(yīng)光學(xué)系統(tǒng)迭代控制算法采用貝葉斯優(yōu)化方法選擇超參數(shù)的實現(xiàn)流程Fig.1 Implementation flow of hyperparameter selection using Bayesian optimization method in iterative control algorithm for adaptive optics systems

4 結(jié)果與分析

模擬實驗所用計算機為Windows10 系統(tǒng)，硬件環(huán)境為：11th Gen Intel(R) Core(TM) i5-1135G7 CPU，主頻2.4 GHz，16.0 GB DDR3 RAM。模擬實驗中采用Fran?ois Assémat 提出的方法[27]生成相屏模擬待校正像差，生成的相屏統(tǒng)計屬性符合Kolmogorov 譜，且相屏間不具有相關(guān)性。湍流強度大小用D/r0表示，D為望遠鏡的口徑，r0為大氣相干長度。本文在湍流強度D/r0=5的條件下隨機選擇1 幀相屏進行模擬實驗。在貝葉斯優(yōu)化方法中，采集函數(shù)為置信上界函數(shù)時，參數(shù) κ設(shè)置為1；為概率提升函數(shù)時，參數(shù) ?設(shè)置為0.1；隨機探索步數(shù)為2，貝葉斯優(yōu)化步數(shù)為10。在驗證該方法對于迭代控制算法性能影響時，以SR 值達到0.8 時的迭代步數(shù)作為校正速度的評判標(biāo)準(zhǔn)，穩(wěn)定收斂時達到的SR 值作為收斂精度的判斷標(biāo)準(zhǔn)，以下3 種控制算法在迭代1 000 步時均已穩(wěn)定收斂。

4.1 SPGD 算法超參數(shù)選取

SPGD 算法中有1 個超參數(shù)即增益系數(shù) γ，以增益系數(shù) γ作為輸入，γ的取值范圍為(0,6]，加權(quán)SR 值作為輸出。圖2 為SPGD 算法中迭代6 次后的預(yù)測目標(biāo)函數(shù)圖及其采集函數(shù)圖，采樣函數(shù)選擇置信上界函數(shù)。圖2（a）中圓點標(biāo)記為采樣點，虛線標(biāo)記為預(yù)測的目標(biāo)函數(shù)，陰影范圍為95%置信區(qū)間。圖2（b）中實線標(biāo)記為采集函數(shù)，星形標(biāo)記為下一個采樣點。

圖2 SPGD 算法中迭代6 次后的預(yù)測目標(biāo)函數(shù)圖及其采集函數(shù)圖Fig.2 Diagram of prediction objective function and its acquisition function after 6 iterations in SPGD algorithm

遍歷法中 γ以0.1 為間距，在(0,6]范圍內(nèi)等間距取值共60 組超參數(shù)。從遍歷法的60 組超參數(shù)中人工選取校正效果最理想的一組和貝葉斯優(yōu)化方法進行對比，對比結(jié)果如表2 所示。表2 中貝葉斯優(yōu)化方法采用了不同的采集函數(shù)。BO_UCB 表示在貝葉斯優(yōu)化方法中采集函數(shù)選擇置信上界函數(shù)，BO_PI 表示在貝葉斯優(yōu)化方法中采集函數(shù)選擇概率提升函數(shù)，BO_EI 表示在貝葉斯優(yōu)化方法中采集函數(shù)選擇期望提升函數(shù)，BO_GP 表示在貝葉斯優(yōu)化方法中采用GP-Hedge 算法確定下一個采樣點。BO_UCB 方法所需樣本實例數(shù)量最少為6，BO_GP方法所需樣本實例數(shù)量最多為10。在迭代到206步時，BO_GP 方法中的SR 值達到0.8，而BO_UCB方法需要迭代223 步；在迭代1 000 步后，BO_UCB方法中的SR 值達到0.924 4，而BO_GP 方法中的SR 值只有0.901 4。表明在貝葉斯優(yōu)化算法中采用不同的采集函數(shù)對SPGD 算法的收斂效果是有影響的，其中BO_UCB 方法所需樣本實例數(shù)量最少，迭代1 000 步后，SR 值最大。因此，在仿真實驗中選取BO_UCB 方法與遍歷法進行對比。從表2 可以看出，貝葉斯優(yōu)化方法的樣本實例數(shù)量是遍歷法的10%，采用貝葉斯優(yōu)化方法選擇超參數(shù)的迭代控制算法，收斂速度和收斂精度均優(yōu)于遍歷法。

表2 SPGD 算法采用遍歷法與貝葉斯優(yōu)化方法選擇超參數(shù)的結(jié)果對比Table 2 Comparison of results of SPGD algorithm using traversal method and Bayesian optimization method for hyperparameter selection

為了更直觀地評價貝葉斯優(yōu)化方法的性能，分別采用遍歷法和貝葉斯優(yōu)化方法選擇超參數(shù)的迭代控制算法，收斂效果如圖3 所示。圖3 中虛線標(biāo)記“--”代表貝葉斯優(yōu)化方法，實線標(biāo)記“-”代表遍歷法，標(biāo)記“-·”表示人工挑選的遍歷法中校正效果最佳的3 組參數(shù)對應(yīng)的SR 曲線。從圖3 中可以看出，采用貝葉斯優(yōu)化方法選擇超參數(shù)的SPGD 算法在迭代到223 步時，SR 值達到0.8；迭代1 000 步后，SR 值達到0.924 4。結(jié)果表明，采用貝葉斯優(yōu)化方法選擇超參數(shù)的迭代控制算法不僅收斂速度較快，收斂精度也得到保障。

圖3 采用遍歷法和貝葉斯優(yōu)化方法選擇超參數(shù)的SPGD算法的SR 曲線Fig.3 SR curves of SPGD algorithm using traversal method and Bayesian optimization method for hyperparameter selection

4.2 Momentum-SPGD 算法超參數(shù)選取

Momentum-SPGD 算法中有2 個超參數(shù)，即學(xué)習(xí)率lr和動量系數(shù) ρ，lr和 ρ的取值范圍都為(0,1]。遍歷法中l(wèi)r和 ρ以0.1 為間距，在(0,1]范圍等間距取值共100 組超參數(shù)。從遍歷法的100 組超參數(shù)中人工選取校正效果最理想的一組和貝葉斯優(yōu)化方法進行對比，結(jié)果如表3 所示。表3 中還給出了貝葉斯優(yōu)化算法在采用不同采集函數(shù)時所需的樣本實例數(shù)量，以及Momentum-SPGD 算法在SR 值達到0.8 時的迭代步數(shù)和迭代1 000 步時的收斂精度。貝葉斯優(yōu)化方法的樣本實例數(shù)量為7。從表3可以看出，貝葉斯優(yōu)化方法在樣本實例數(shù)量是遍歷法的7%的情況下，采用貝葉斯優(yōu)化方法選擇超參數(shù)的迭代控制算法收斂速度優(yōu)于遍歷法，收斂效果和遍歷法基本一致。

表3 Momentum-SPGD 算法采用遍歷法與貝葉斯優(yōu)化方法選擇超參數(shù)的結(jié)果對比Table 3 Comparison of results of Momentum-SPGD algorithm using traversal method and Bayesian optimization method for hyperparameter selection

采用遍歷法與貝葉斯優(yōu)化方法選擇超參數(shù)的Momentum-SPGD 算法收斂效果如圖4 所示。從圖4 中可以看出，采用貝葉斯優(yōu)化方法選擇超參數(shù)的Momentum-SPGD 算法在迭代到233 步時，SR值達到0.8；迭代1 000 步后，SR 值達到0.933 4。結(jié)果表明，采用貝葉斯優(yōu)化方法選擇超參數(shù)的迭代控制算法收斂速度相對較快，最終的收斂效果也較好。

圖4 采用遍歷法和貝葉斯優(yōu)化方法選擇超參數(shù)的Momentum-SPGD 算法的SR 曲線Fig.4 SR curves of Momentum-SPGD algorithm using traversal method and Bayesian optimization method for hyperparameter selection

4.3 CoolMomentum-SPGD 算法超參數(shù)選取

CoolMomentum-SPGD 算法中有2 個超參數(shù)即學(xué)習(xí)率lr和動量系數(shù) ρ0，lr和 ρ0的取值范圍都為(0,1]。遍歷法中l(wèi)r和 ρ0以0.1 為間距，在(0,1]范圍等間距取值共100 組超參數(shù)。從遍歷法的100 組超參數(shù)中人工選取校正效果最理想的一組和貝葉斯優(yōu)化方法進行對比，對比結(jié)果如表4 所示。表4 中還給出了貝葉斯優(yōu)化算法在采用不同采集函數(shù)時所需的樣本實例數(shù)量，以及CoolMomentum-SPGD 算法在SR 值達到0.8 時的迭代步數(shù)和迭代1 000 步時的收斂精度。貝葉斯優(yōu)化方法的樣本實例數(shù)量為9，是遍歷法的9%。由表4 可知，采用貝葉斯優(yōu)化方法選擇超參數(shù)的迭代控制算法收斂速度和收斂精度上均優(yōu)于遍歷法。

表4 CoolMomentum-SPGD 算法采用遍歷法與貝葉斯優(yōu)化方法選擇超參數(shù)的結(jié)果對比Table 4 Comparison of results of CoolMomentum-SPGD algorithm using traversal method and Bayesian optimization method for hyperparameter selection

采用遍歷法與貝葉斯優(yōu)化方法選擇超參數(shù)的CoolMomentum-SPGD 算法收斂效果如圖5 所示。從圖5 中可以看出，采用貝葉斯優(yōu)化方法選擇超參數(shù)的CoolMomentum-SPGD 算法在迭代到205 步時，SR 值達到0.8；迭代1 000 步后，SR 值達到0.937 2，結(jié)果表明，采用貝葉斯優(yōu)化方法選擇超參數(shù)的迭代控制算法收斂速度快，最終的收斂效果也相對較好。

圖5 采用遍歷法和貝葉斯優(yōu)化方法選擇超參數(shù)的CoolMomentum-SPGD 算法的SR 曲線Fig.5 SR curves of CoolMomentum-SPGD algorithm using traversal method and Bayesian optimization method for hyperparameter selection

5 結(jié)論

在無波前探測自適應(yīng)光學(xué)系統(tǒng)中，超參數(shù)的選擇一定程度上決定著迭代控制算法的校正能力?，F(xiàn)有的迭代控制算法的超參數(shù)設(shè)置一般采用遍歷法，計算量大，耗時較長。本文提出將貝葉斯優(yōu)化方法用于選擇適合自適應(yīng)光學(xué)系統(tǒng)迭代控制算法的超參數(shù)。分別以常用的SPGD、Momentum-SPGD和CoolMomentum-SPGD 控制算法為例，以迭代控制算法的超參數(shù)作為輸入，斯特列耳比值作為輸出，采用貝葉斯優(yōu)化選擇超參數(shù)。研究結(jié)果表明，對于SPGD 控制算法，取得相同收斂效果時，貝葉斯優(yōu)化方法所需樣本實例數(shù)量是遍歷法的10%；對于Momentum-SPGD 和CoolMomentum-SPGD 控 制算法，貝葉斯優(yōu)化方法所需樣本實例數(shù)量分別是遍歷法的7%和9%。且迭代控制算法本身超參數(shù)越多，采用貝葉斯優(yōu)化進行超參數(shù)調(diào)優(yōu)的優(yōu)勢越明顯。后續(xù)將本方法拓展至超參數(shù)數(shù)目更多的迭代控制算法。本文研究結(jié)果可為自適應(yīng)光學(xué)系統(tǒng)迭代控制算法的實際應(yīng)用提供超參數(shù)設(shè)置理論基礎(chǔ)。