姜強(qiáng) 劉天才 李宗洋 楊宏偉
(1.中國(guó)原子能科學(xué)研究院,北京 102413;2.中核戰(zhàn)略規(guī)劃研究總院,北京 100048)
敏感性分析的目的是描述模型響應(yīng)值受每個(gè)輸入變量或輸入變量組合不確定性的影響。有多種算法可用于進(jìn)行敏感性分析。例如,計(jì)算輸入變量樣本與輸出樣本的相關(guān)性(基于相關(guān)性的度量)、模型在給定點(diǎn)的偏導(dǎo)數(shù)值(線性化方法)等??偟膩?lái)說(shuō),敏感性分析算法可以分為三類:基于樣本的方法、線性化方法、全局方法。
(1)基于樣本的方法:基于對(duì)模型可用的蒙特卡羅樣本后處理,得到敏感性分析結(jié)果,不需要特殊的采樣方法。典型的方法有:輸入/輸出相關(guān)性方法(Input/output Correlation Method)、標(biāo)準(zhǔn)回歸系數(shù)方法(Standard Regression Coefficients Method)等。
(2)線性化方法:基于假設(shè)模型是線性并進(jìn)行模型評(píng)估得到敏感性分析結(jié)果。此方法無(wú)法識(shí)別輸入變量之間的非線性行為和高階交互。典型的方法有:微擾法(Perturbation Method)、Cotter方法等。
(3)全局方法:多為方差分解方法,根據(jù)單個(gè)輸入變量或其組合的貢獻(xiàn)來(lái)分解模型輸出的方差。典型的方法有:Morris方法、Borgonovo指數(shù)方法、ANCOVA指數(shù)方法等。
本文提出基于LM神經(jīng)網(wǎng)絡(luò)的敏感性分析方法,分析LM神經(jīng)網(wǎng)絡(luò)算法與敏感性分析之間的理論關(guān)系,基于不確定量化分析工具UQLab[1]生成分析樣本并計(jì)算量化的敏感性分析結(jié)果,通過(guò)對(duì)結(jié)果的對(duì)比分析,驗(yàn)證方法分析的可靠性并進(jìn)一步討論樣本數(shù)量對(duì)計(jì)算結(jié)果的影響。
為了說(shuō)明LM神經(jīng)網(wǎng)絡(luò)算法與敏感性分析的關(guān)系,首先考慮一個(gè)多元函數(shù):
其中,L是感興趣輸出,xi是輸入?yún)?shù)。
令輸入?yún)?shù)的變化量分別為 Δx1,Δx2,...,Δxi,Δxn,感興趣輸出的變化量為 ΔL。根據(jù)多元函數(shù)的泰勒展開(kāi)式可得:
定義L對(duì)xi的敏感度Si為L(zhǎng)的變化率與參數(shù)xi變化率之比。Si的數(shù)值可以通過(guò)下式計(jì)算:
其中,xi與L值均為已知參數(shù),因此,敏感性量化分析的核心是求解多元函數(shù)f(x1,x2,...,xi,xn)關(guān)于輸入?yún)?shù)的一階偏導(dǎo)即Jacobian矩陣。
LM神經(jīng)網(wǎng)絡(luò)算法是被設(shè)計(jì)為接近二階訓(xùn)練速度而不必計(jì)算Hessian矩陣的算法。當(dāng)神經(jīng)網(wǎng)絡(luò)性能函數(shù)具有平方和的形式時(shí)(在訓(xùn)練反向傳播網(wǎng)絡(luò)中是典型的),Hessian矩陣可以近似為
并且梯度可以計(jì)算為
其中J即是Jacobian矩陣,包含關(guān)于權(quán)重和偏差的網(wǎng)絡(luò)誤差的一階導(dǎo)數(shù),e是網(wǎng)絡(luò)誤差的矢量。
LM神經(jīng)網(wǎng)絡(luò)算法以類似Gauss-Newton算法對(duì)Hessian矩陣進(jìn)行近似
同時(shí)通過(guò)標(biāo)準(zhǔn)反向傳播技術(shù)并在最后一層附以一個(gè)修改來(lái)計(jì)算Jacobian矩陣
上式中矩陣的每列是靈敏度矢量,通過(guò)網(wǎng)絡(luò)反向傳播產(chǎn)生一行Jacobian行列式。
根據(jù)LM神經(jīng)網(wǎng)絡(luò)算法的特點(diǎn),訓(xùn)練神經(jīng)網(wǎng)絡(luò)得到的權(quán)值即能反映模型的敏感性。由此提出了基于LM神經(jīng)網(wǎng)絡(luò)算法的敏感性分析方法,以下采用不確定性量化分析工具得到的樣本及已有的敏感性分析結(jié)果對(duì)方法進(jìn)行驗(yàn)證。
本文以堆芯子通道模型作為驗(yàn)證計(jì)算實(shí)例,選擇通道冷卻劑入口溫度、線功率、系統(tǒng)壓力、格架位置、平均入口質(zhì)量流速作為不確定性源,其概率密度分布函數(shù)見(jiàn)表1,其中,X1表示平均值,X2表示標(biāo)準(zhǔn)差,標(biāo)準(zhǔn)差大小均為平均值的1%?;诓淮_定性量化分析工具生成3000個(gè)樣本,并應(yīng)用輸入/輸出相關(guān)性(Input/output correlation)、標(biāo)準(zhǔn)回歸系數(shù)(Standard Regression Coefficients)、Morris等敏感性分析方法,得到結(jié)果如表2所示。
表1 不確定性源概率密度函數(shù)分布
表2 敏感性分析結(jié)果表
基于得到的3000個(gè)樣本,使用2層LM神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練,如圖1所示。以隱藏層包含10個(gè)神經(jīng)元節(jié)點(diǎn)的LM神經(jīng)網(wǎng)絡(luò)為例,在神經(jīng)網(wǎng)絡(luò)訓(xùn)練完成后,得到表征輸入到隱藏層即Jacobian矩陣的權(quán)重iw和修正Jacobian矩陣的最后一層的權(quán)重lw,如表3、表4所示。如上所述,表4矩陣的每列權(quán)重表征的是靈敏度矢量,用以修正表3相對(duì)應(yīng)的行權(quán)重值。用表4作為行矩陣乘以表3,即可得到最終的敏感性結(jié)果,即
表4 修正Jacobian矩陣的權(quán)重lw
圖1 神經(jīng)網(wǎng)絡(luò)圖
具體值如表5第10行所示。使用同樣的方法得到不同神經(jīng)元節(jié)點(diǎn)時(shí)的敏感性分析結(jié)果,得到表5。
表5 不同數(shù)量神經(jīng)元節(jié)點(diǎn)時(shí)的敏感性分析結(jié)果
考慮到不同方法得到的線功率、系統(tǒng)壓力、格架位置的敏感性指數(shù)的值均極小,只對(duì)比不同方法得到的通道冷卻劑入口溫度、平均入口質(zhì)量流速敏感性指數(shù)相對(duì)值。得到堆芯子通道計(jì)算模型敏感性相對(duì)指數(shù)圖,如圖2所示。
圖2 堆芯子通道計(jì)算模型敏感性相對(duì)指數(shù)
在圖2中,各方法得到的關(guān)于通道冷卻劑入口溫度、平均入口質(zhì)量流速敏感性指數(shù)相對(duì)值相近,相關(guān)性結(jié)果相同,增加或減少隱藏層的神經(jīng)元節(jié)點(diǎn)并沒(méi)有顯著的改變敏感性分析結(jié)果,基于LM神經(jīng)網(wǎng)絡(luò)的敏感性分析方法是有效的。
為了進(jìn)一步討論訓(xùn)練樣本數(shù)對(duì)分析結(jié)果的影響,以10為步長(zhǎng),以10個(gè)樣本數(shù)為起點(diǎn),依次從3000個(gè)樣本中隨機(jī)選擇對(duì)應(yīng)數(shù)量的樣本,以此作為神經(jīng)網(wǎng)絡(luò)新的樣本。再使用不同數(shù)量神經(jīng)元節(jié)點(diǎn)的2層LM神經(jīng)網(wǎng)絡(luò)訓(xùn)練樣本,得到分析結(jié)果。同樣只對(duì)比通道冷卻劑入口溫度、平均入口質(zhì)量流速敏感性指數(shù)相對(duì)值,如表6所示。
表6 不同樣本數(shù)敏感性相對(duì)指數(shù)結(jié)果
在表6中,只使用一個(gè)神經(jīng)元節(jié)點(diǎn)時(shí),計(jì)算結(jié)果隨樣本數(shù)收斂速度極快,在樣本數(shù)量達(dá)到20以后,敏感性分析結(jié)果就已趨于穩(wěn)定值,穩(wěn)定性極好。增加神經(jīng)元節(jié)點(diǎn)后,計(jì)算結(jié)果的收斂性和穩(wěn)定性變差。
基于LM神經(jīng)網(wǎng)絡(luò)算法的敏感性分析方法是可用的,并具有準(zhǔn)確性好、收斂快的特點(diǎn)。當(dāng)使用隱藏層只包含1個(gè)神經(jīng)元節(jié)點(diǎn)的2層LM神經(jīng)網(wǎng)絡(luò)時(shí),敏感性分析結(jié)果隨訓(xùn)練樣本數(shù)收斂速度最快、穩(wěn)定性最好。