国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

基于Levenberg-Marquardt Feed-forward Back Propagation神經(jīng)網(wǎng)絡(luò)的敏感性分析方法*

2022-12-03 14:23:02姜強(qiáng)劉天才李宗洋楊宏偉
中文信息 2022年11期
關(guān)鍵詞:敏感性神經(jīng)元神經(jīng)網(wǎng)絡(luò)

姜強(qiáng) 劉天才 李宗洋 楊宏偉

(1.中國(guó)原子能科學(xué)研究院,北京 102413;2.中核戰(zhàn)略規(guī)劃研究總院,北京 100048)

引言

敏感性分析的目的是描述模型響應(yīng)值受每個(gè)輸入變量或輸入變量組合不確定性的影響。有多種算法可用于進(jìn)行敏感性分析。例如,計(jì)算輸入變量樣本與輸出樣本的相關(guān)性(基于相關(guān)性的度量)、模型在給定點(diǎn)的偏導(dǎo)數(shù)值(線性化方法)等??偟膩?lái)說(shuō),敏感性分析算法可以分為三類:基于樣本的方法、線性化方法、全局方法。

(1)基于樣本的方法:基于對(duì)模型可用的蒙特卡羅樣本后處理,得到敏感性分析結(jié)果,不需要特殊的采樣方法。典型的方法有:輸入/輸出相關(guān)性方法(Input/output Correlation Method)、標(biāo)準(zhǔn)回歸系數(shù)方法(Standard Regression Coefficients Method)等。

(2)線性化方法:基于假設(shè)模型是線性并進(jìn)行模型評(píng)估得到敏感性分析結(jié)果。此方法無(wú)法識(shí)別輸入變量之間的非線性行為和高階交互。典型的方法有:微擾法(Perturbation Method)、Cotter方法等。

(3)全局方法:多為方差分解方法,根據(jù)單個(gè)輸入變量或其組合的貢獻(xiàn)來(lái)分解模型輸出的方差。典型的方法有:Morris方法、Borgonovo指數(shù)方法、ANCOVA指數(shù)方法等。

本文提出基于LM神經(jīng)網(wǎng)絡(luò)的敏感性分析方法,分析LM神經(jīng)網(wǎng)絡(luò)算法與敏感性分析之間的理論關(guān)系,基于不確定量化分析工具UQLab[1]生成分析樣本并計(jì)算量化的敏感性分析結(jié)果,通過(guò)對(duì)結(jié)果的對(duì)比分析,驗(yàn)證方法分析的可靠性并進(jìn)一步討論樣本數(shù)量對(duì)計(jì)算結(jié)果的影響。

一、LM神經(jīng)網(wǎng)絡(luò)算法與敏感性分析

為了說(shuō)明LM神經(jīng)網(wǎng)絡(luò)算法與敏感性分析的關(guān)系,首先考慮一個(gè)多元函數(shù):

其中,L是感興趣輸出,xi是輸入?yún)?shù)。

令輸入?yún)?shù)的變化量分別為 Δx1,Δx2,...,Δxi,Δxn,感興趣輸出的變化量為 ΔL。根據(jù)多元函數(shù)的泰勒展開(kāi)式可得:

定義L對(duì)xi的敏感度Si為L(zhǎng)的變化率與參數(shù)xi變化率之比。Si的數(shù)值可以通過(guò)下式計(jì)算:

其中,xi與L值均為已知參數(shù),因此,敏感性量化分析的核心是求解多元函數(shù)f(x1,x2,...,xi,xn)關(guān)于輸入?yún)?shù)的一階偏導(dǎo)即Jacobian矩陣。

LM神經(jīng)網(wǎng)絡(luò)算法是被設(shè)計(jì)為接近二階訓(xùn)練速度而不必計(jì)算Hessian矩陣的算法。當(dāng)神經(jīng)網(wǎng)絡(luò)性能函數(shù)具有平方和的形式時(shí)(在訓(xùn)練反向傳播網(wǎng)絡(luò)中是典型的),Hessian矩陣可以近似為

并且梯度可以計(jì)算為

其中J即是Jacobian矩陣,包含關(guān)于權(quán)重和偏差的網(wǎng)絡(luò)誤差的一階導(dǎo)數(shù),e是網(wǎng)絡(luò)誤差的矢量。

LM神經(jīng)網(wǎng)絡(luò)算法以類似Gauss-Newton算法對(duì)Hessian矩陣進(jìn)行近似

同時(shí)通過(guò)標(biāo)準(zhǔn)反向傳播技術(shù)并在最后一層附以一個(gè)修改來(lái)計(jì)算Jacobian矩陣

上式中矩陣的每列是靈敏度矢量,通過(guò)網(wǎng)絡(luò)反向傳播產(chǎn)生一行Jacobian行列式。

根據(jù)LM神經(jīng)網(wǎng)絡(luò)算法的特點(diǎn),訓(xùn)練神經(jīng)網(wǎng)絡(luò)得到的權(quán)值即能反映模型的敏感性。由此提出了基于LM神經(jīng)網(wǎng)絡(luò)算法的敏感性分析方法,以下采用不確定性量化分析工具得到的樣本及已有的敏感性分析結(jié)果對(duì)方法進(jìn)行驗(yàn)證。

二、基于LM神經(jīng)網(wǎng)絡(luò)算法的敏感性分析方法驗(yàn)證

1.敏感性分析結(jié)果

本文以堆芯子通道模型作為驗(yàn)證計(jì)算實(shí)例,選擇通道冷卻劑入口溫度、線功率、系統(tǒng)壓力、格架位置、平均入口質(zhì)量流速作為不確定性源,其概率密度分布函數(shù)見(jiàn)表1,其中,X1表示平均值,X2表示標(biāo)準(zhǔn)差,標(biāo)準(zhǔn)差大小均為平均值的1%?;诓淮_定性量化分析工具生成3000個(gè)樣本,并應(yīng)用輸入/輸出相關(guān)性(Input/output correlation)、標(biāo)準(zhǔn)回歸系數(shù)(Standard Regression Coefficients)、Morris等敏感性分析方法,得到結(jié)果如表2所示。

表1 不確定性源概率密度函數(shù)分布

表2 敏感性分析結(jié)果表

2.基于LM神經(jīng)網(wǎng)絡(luò)算法的敏感性分析

基于得到的3000個(gè)樣本,使用2層LM神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練,如圖1所示。以隱藏層包含10個(gè)神經(jīng)元節(jié)點(diǎn)的LM神經(jīng)網(wǎng)絡(luò)為例,在神經(jīng)網(wǎng)絡(luò)訓(xùn)練完成后,得到表征輸入到隱藏層即Jacobian矩陣的權(quán)重iw和修正Jacobian矩陣的最后一層的權(quán)重lw,如表3、表4所示。如上所述,表4矩陣的每列權(quán)重表征的是靈敏度矢量,用以修正表3相對(duì)應(yīng)的行權(quán)重值。用表4作為行矩陣乘以表3,即可得到最終的敏感性結(jié)果,即

表4 修正Jacobian矩陣的權(quán)重lw

圖1 神經(jīng)網(wǎng)絡(luò)圖

具體值如表5第10行所示。使用同樣的方法得到不同神經(jīng)元節(jié)點(diǎn)時(shí)的敏感性分析結(jié)果,得到表5。

表5 不同數(shù)量神經(jīng)元節(jié)點(diǎn)時(shí)的敏感性分析結(jié)果

考慮到不同方法得到的線功率、系統(tǒng)壓力、格架位置的敏感性指數(shù)的值均極小,只對(duì)比不同方法得到的通道冷卻劑入口溫度、平均入口質(zhì)量流速敏感性指數(shù)相對(duì)值。得到堆芯子通道計(jì)算模型敏感性相對(duì)指數(shù)圖,如圖2所示。

圖2 堆芯子通道計(jì)算模型敏感性相對(duì)指數(shù)

在圖2中,各方法得到的關(guān)于通道冷卻劑入口溫度、平均入口質(zhì)量流速敏感性指數(shù)相對(duì)值相近,相關(guān)性結(jié)果相同,增加或減少隱藏層的神經(jīng)元節(jié)點(diǎn)并沒(méi)有顯著的改變敏感性分析結(jié)果,基于LM神經(jīng)網(wǎng)絡(luò)的敏感性分析方法是有效的。

3.訓(xùn)練樣本數(shù)對(duì)LM神經(jīng)網(wǎng)絡(luò)算法敏感性分析結(jié)果的影響

為了進(jìn)一步討論訓(xùn)練樣本數(shù)對(duì)分析結(jié)果的影響,以10為步長(zhǎng),以10個(gè)樣本數(shù)為起點(diǎn),依次從3000個(gè)樣本中隨機(jī)選擇對(duì)應(yīng)數(shù)量的樣本,以此作為神經(jīng)網(wǎng)絡(luò)新的樣本。再使用不同數(shù)量神經(jīng)元節(jié)點(diǎn)的2層LM神經(jīng)網(wǎng)絡(luò)訓(xùn)練樣本,得到分析結(jié)果。同樣只對(duì)比通道冷卻劑入口溫度、平均入口質(zhì)量流速敏感性指數(shù)相對(duì)值,如表6所示。

表6 不同樣本數(shù)敏感性相對(duì)指數(shù)結(jié)果

在表6中,只使用一個(gè)神經(jīng)元節(jié)點(diǎn)時(shí),計(jì)算結(jié)果隨樣本數(shù)收斂速度極快,在樣本數(shù)量達(dá)到20以后,敏感性分析結(jié)果就已趨于穩(wěn)定值,穩(wěn)定性極好。增加神經(jīng)元節(jié)點(diǎn)后,計(jì)算結(jié)果的收斂性和穩(wěn)定性變差。

結(jié)語(yǔ)

基于LM神經(jīng)網(wǎng)絡(luò)算法的敏感性分析方法是可用的,并具有準(zhǔn)確性好、收斂快的特點(diǎn)。當(dāng)使用隱藏層只包含1個(gè)神經(jīng)元節(jié)點(diǎn)的2層LM神經(jīng)網(wǎng)絡(luò)時(shí),敏感性分析結(jié)果隨訓(xùn)練樣本數(shù)收斂速度最快、穩(wěn)定性最好。

猜你喜歡
敏感性神經(jīng)元神經(jīng)網(wǎng)絡(luò)
《從光子到神經(jīng)元》書(shū)評(píng)
自然雜志(2021年6期)2021-12-23 08:24:46
神經(jīng)網(wǎng)絡(luò)抑制無(wú)線通信干擾探究
電子制作(2019年19期)2019-11-23 08:42:00
躍動(dòng)的神經(jīng)元——波蘭Brain Embassy聯(lián)合辦公
釔對(duì)Mg-Zn-Y-Zr合金熱裂敏感性影響
基于神經(jīng)網(wǎng)絡(luò)的拉矯機(jī)控制模型建立
AH70DB鋼焊接熱影響區(qū)組織及其冷裂敏感性
焊接(2016年1期)2016-02-27 12:55:37
復(fù)數(shù)神經(jīng)網(wǎng)絡(luò)在基于WiFi的室內(nèi)LBS應(yīng)用
基于二次型單神經(jīng)元PID的MPPT控制
如何培養(yǎng)和提高新聞敏感性
新聞傳播(2015年8期)2015-07-18 11:08:24
毫米波導(dǎo)引頭預(yù)定回路改進(jìn)單神經(jīng)元控制
肇庆市| 舞钢市| 武安市| 克东县| 外汇| 日土县| 蓝山县| 方山县| 景洪市| 虎林市| 剑河县| 友谊县| 英德市| 屏东县| 鹿泉市| 东丽区| 瑞安市| 涟源市| 固镇县| 襄樊市| 垦利县| 黄山市| 延津县| 青川县| 双鸭山市| 彩票| 望城县| 石河子市| 扬州市| 中宁县| 淮阳县| 隆德县| 胶南市| 高平市| 商城县| 城步| 南汇区| 元谋县| 疏附县| 达日县| 于都县|