鄧乙丁 李艷玲 徐穎 陳天賜
摘要:監(jiān)測(cè)數(shù)據(jù)異常識(shí)別是大壩運(yùn)行安全在線(xiàn)監(jiān)測(cè)的前提和基礎(chǔ)。單一識(shí)別方法難以實(shí)現(xiàn)高效準(zhǔn)確識(shí)別,而RREW模型對(duì)規(guī)律不佳與單臺(tái)階數(shù)據(jù)序列容易漏判且計(jì)算效率低。為此,提出了基于卷積神經(jīng)網(wǎng)絡(luò)的一維VGG數(shù)據(jù)異常識(shí)別模型,建立了由統(tǒng)計(jì)回歸、穩(wěn)健回歸、一維VGG識(shí)別模型等模型庫(kù)和Pauta準(zhǔn)則、MZ準(zhǔn)則等判別準(zhǔn)則庫(kù)共同構(gòu)成的大壩安全數(shù)據(jù)異常識(shí)別模型簇,并構(gòu)建了不同數(shù)據(jù)類(lèi)型與異常識(shí)別模型及預(yù)警準(zhǔn)則的匹配機(jī)制。工程校驗(yàn)表明:一維VGG模型對(duì)不同序列長(zhǎng)度、不同臺(tái)階占比的數(shù)據(jù)序列均具有較好的識(shí)別效果,能有效彌補(bǔ)傳統(tǒng)回歸模型和穩(wěn)健回歸模型的不足,由前述3種模型及兩種準(zhǔn)則共同構(gòu)建的異常識(shí)別模型簇可實(shí)現(xiàn)海量數(shù)據(jù)異常的在線(xiàn)精準(zhǔn)、快速識(shí)別,為大壩安全在線(xiàn)監(jiān)測(cè)提供可靠的數(shù)據(jù)支持。
關(guān)鍵詞:大壩安全監(jiān)測(cè); 數(shù)據(jù)異常識(shí)別; 一維卷積神經(jīng)網(wǎng)絡(luò); 模型簇; 自匹配準(zhǔn)則
中圖法分類(lèi)號(hào): TV698.1
文獻(xiàn)標(biāo)志碼: A
DOI:10.16232/j.cnki.1001-4179.2024.04.030
0引 言
監(jiān)測(cè)數(shù)據(jù)異常識(shí)別是大壩運(yùn)行安全在線(xiàn)監(jiān)測(cè)的前提和基礎(chǔ)。識(shí)別監(jiān)測(cè)數(shù)據(jù)異常的常用方法是預(yù)測(cè)殘差判別法,其基本思路是首先計(jì)算模型預(yù)測(cè)值與實(shí)測(cè)值之間的殘差,再匹配相應(yīng)預(yù)警準(zhǔn)則實(shí)現(xiàn)測(cè)值異常評(píng)判。近年來(lái),國(guó)內(nèi)外學(xué)者在數(shù)據(jù)異常識(shí)別方法和準(zhǔn)則方面開(kāi)展了大量研究。如Cheng[1],Zhou[2]等分別基于潛變量、偏最小二乘法改進(jìn)最小二乘支持向量機(jī)模型并優(yōu)化置信區(qū)間,顯著降低了誤警率。Lin[3],Shi[4]等分別利用高斯回歸(GPR)和遺傳算法(GA)優(yōu)化徑向基函數(shù)網(wǎng)絡(luò)(REFN),克服魯棒性差引起的模型誤差。Belmokre[5],Cheng[6]等采用機(jī)器學(xué)習(xí)方法改進(jìn)統(tǒng)計(jì)回歸模型,消除了傳統(tǒng)統(tǒng)計(jì)回歸模型多重共線(xiàn)性帶來(lái)的預(yù)測(cè)誤差。Cui等[7]通過(guò)引入樣本分位數(shù)對(duì)整體參數(shù)進(jìn)行穩(wěn)健估計(jì),結(jié)合樣本分位數(shù)方法的特殊統(tǒng)計(jì)量設(shè)置閾值來(lái)檢測(cè)異常值。Li等[8]提出了基于MZ準(zhǔn)則的穩(wěn)健回歸模型(以下簡(jiǎn)稱(chēng)RREW模型),有效解決了臺(tái)階型、震蕩型等數(shù)據(jù)序列采用傳統(tǒng)統(tǒng)計(jì)回歸時(shí)易出現(xiàn)的漏判問(wèn)題。胡德秀[9]、楊承志[10]等分別將穩(wěn)健估計(jì)與極限學(xué)習(xí)機(jī)、支持向量機(jī)相結(jié)合,建立大壩變形監(jiān)控模型,提高了模型抗粗差能力。王麗榮等[11]構(gòu)建了卷積神經(jīng)網(wǎng)絡(luò)圖像識(shí)別模型,取得了較好的異常識(shí)別效果。陳冬英[12]、張碩[13]、黨英[14]等將一維神經(jīng)網(wǎng)絡(luò)分別用于近紅外光譜分類(lèi)識(shí)別、鉆機(jī)實(shí)時(shí)數(shù)據(jù)分析推斷以及振動(dòng)信號(hào)的特征提取,都取得了較好的應(yīng)用效果。
隨著大壩安全在線(xiàn)監(jiān)測(cè)的不斷發(fā)展[15],國(guó)家對(duì)安全監(jiān)測(cè)數(shù)據(jù)異常在線(xiàn)識(shí)別模型的適用性、高效性和準(zhǔn)確性提出了更高的要求,而不同識(shí)別方法對(duì)不同特征序列的適用性亦存在差異,基于單一方法的數(shù)據(jù)異常識(shí)別其可靠性和高效性難以保證。因此,本文針對(duì)傳統(tǒng)統(tǒng)計(jì)回歸模型和RREW模型在大壩安全在線(xiàn)監(jiān)控系統(tǒng)應(yīng)用中存在的異常值漏判問(wèn)題,結(jié)合視覺(jué)幾何組(Visual Geometry Group,VGG)中的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),提出了基于一維卷積神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)異常識(shí)別方法——一維VGG識(shí)別模型(以下簡(jiǎn)稱(chēng)“1D-VGG模型”),建立了大壩安全數(shù)據(jù)異常識(shí)別模型簇,并綜合考慮識(shí)別精度和效率,構(gòu)建了不同數(shù)據(jù)類(lèi)型與異常識(shí)別模型及預(yù)警準(zhǔn)則的匹配機(jī)制,即基于MZ準(zhǔn)則的穩(wěn)健回歸模型匹配雙臺(tái)階型和震蕩型數(shù)據(jù)序列,基于Pauta準(zhǔn)則的統(tǒng)計(jì)回歸模型匹配模型擬合精度較高的正常型和離群型數(shù)據(jù)序列,而基于Pauta準(zhǔn)則的1D-VGG模型匹配單臺(tái)階型以及模型擬合精度較低的正常型和離群型數(shù)據(jù)序列,這種“數(shù)據(jù)類(lèi)型-模型識(shí)別方法-預(yù)警準(zhǔn)則”的自匹配準(zhǔn)則實(shí)現(xiàn)了海量數(shù)據(jù)的在線(xiàn)精準(zhǔn)、快速識(shí)別。
1數(shù)據(jù)異常在線(xiàn)識(shí)別存在的問(wèn)題分析
受測(cè)量誤差、環(huán)境量響應(yīng)等因素影響,大壩安全監(jiān)測(cè)數(shù)據(jù)序列類(lèi)型眾多,既包括周期型、趨勢(shì)型等正常數(shù)據(jù)序列,也包括離群型、臺(tái)階型、震蕩型等異常數(shù)據(jù)序列?;赑auta準(zhǔn)則的傳統(tǒng)統(tǒng)計(jì)回歸模型對(duì)震蕩型、臺(tái)階型等數(shù)據(jù)序列異常識(shí)別存在誤判、漏判率較高的問(wèn)題,為此Li等[8]提出了以穩(wěn)健回歸為基礎(chǔ)的模型(即RREW模型),通過(guò)引入穩(wěn)健M估計(jì)對(duì)測(cè)值進(jìn)行權(quán)重分配以減小異常值對(duì)模型精度的影響,并提出以新增實(shí)測(cè)數(shù)據(jù)殘差e0序列的位置估計(jì)Tn為中心,引入尺度估計(jì)ST和預(yù)測(cè)置信區(qū)間半徑D構(gòu)造的Tn±(3ST+D)為殘差預(yù)警閾值上下限,以降低模型誤差對(duì)控制閾值影響的判別準(zhǔn)則和基于穩(wěn)健M估計(jì)的MZ預(yù)警準(zhǔn)則,此方法較好地解決了雙臺(tái)階、震蕩型等數(shù)據(jù)序列存在的異常值漏判問(wèn)題。但將該方法應(yīng)用于大渡河流域大壩安全風(fēng)險(xiǎn)在線(xiàn)監(jiān)控系統(tǒng)時(shí),仍存在以下主要問(wèn)題:
(1) 模型漏判現(xiàn)象依然存在,識(shí)別精度有待提升。
據(jù)分析統(tǒng)計(jì),2019~2021年大渡河流域大壩安全風(fēng)險(xiǎn)在線(xiàn)監(jiān)控系統(tǒng)采用RREW模型識(shí)別監(jiān)測(cè)數(shù)據(jù)異常,誤判漏判率由10%降低至2%,模型識(shí)別效果良好。進(jìn)一步分析發(fā)現(xiàn),2%的誤判、漏判問(wèn)題主要存在于正常型數(shù)據(jù)序列和單臺(tái)階型數(shù)據(jù)系列中。
RREW模型的本質(zhì)仍然是殘差預(yù)測(cè)法,數(shù)據(jù)異常識(shí)別精度受模型精度影響顯著。對(duì)規(guī)律性較差的正常型數(shù)據(jù)序列,其模型精度一般不高,特別是不規(guī)則數(shù)據(jù)段的擬合殘差較大,從而使標(biāo)準(zhǔn)差及預(yù)警閾值偏大,導(dǎo)致一些突變較小的測(cè)值漏判,如圖1所示。
★代表圖1(a)中監(jiān)測(cè)數(shù)據(jù)過(guò)程線(xiàn)中的異常值,因圖1(b)中LSR殘差過(guò)程線(xiàn)配色為黑色,圖1(b)中的★就表示LSR模型結(jié)合Pauta準(zhǔn)則預(yù)警識(shí)別到的異常值?!鞮SR模型結(jié)合Pauta準(zhǔn)則預(yù)警漏判的異常值(★)在LSR殘差過(guò)程線(xiàn)的對(duì)應(yīng)位置。
▼代表圖1(a)中的異常值(★)在圖1(b)的RREW殘差過(guò)程線(xiàn)的對(duì)應(yīng)位置。
RREW模型與傳統(tǒng)最小二乘回歸(LSR)模型相比,優(yōu)點(diǎn)在于通過(guò)對(duì)模型離群點(diǎn)賦予低權(quán)值可以降低離群點(diǎn)的干擾,但M估計(jì)抵抗離群測(cè)值的能力是有限的,一般可以抵抗25%的離群點(diǎn),當(dāng)離群比例接近或超過(guò)穩(wěn)健估計(jì)量的崩潰界(50%)時(shí)同樣會(huì)失效[16]。當(dāng)單臺(tái)階型數(shù)據(jù)序列前后兩段的數(shù)據(jù)比例相當(dāng)時(shí),其離群值的比例就接近50%,就會(huì)使得模型崩潰,精度極低,從而導(dǎo)致漏判,如圖2所示。為進(jìn)一步提升數(shù)據(jù)異常識(shí)別精度,降低人工復(fù)核工作量,有必要進(jìn)一步研究對(duì)模型精度較差的正常型數(shù)據(jù)序列和單臺(tái)階型數(shù)據(jù)序列都適用的數(shù)據(jù)異常識(shí)別方法。
(2) 模型計(jì)算效率較低,識(shí)別效率有待提升。
RREW模型的計(jì)算效率明顯低于傳統(tǒng)統(tǒng)計(jì)回歸模型,對(duì)海量數(shù)據(jù),其異常在線(xiàn)識(shí)別的效率問(wèn)題就較突出。以大渡河流域龔嘴、銅街子、深溪溝和瀑布溝電站2019年所有測(cè)點(diǎn)數(shù)據(jù)為例,兩種方法的在線(xiàn)識(shí)別時(shí)間比較如圖3所示。
龔嘴水電站有535個(gè)測(cè)點(diǎn),銅街子水電站有589個(gè)測(cè)點(diǎn),深溪溝水電站有529個(gè)測(cè)點(diǎn),采用傳統(tǒng)統(tǒng)計(jì)回歸模型在線(xiàn)識(shí)別時(shí),僅需10~11 min,而RREW模型需要20~30 min;瀑布溝水電站有3 029個(gè)測(cè)點(diǎn),采用傳統(tǒng)統(tǒng)計(jì)回歸模型在線(xiàn)識(shí)別時(shí),僅需1 h,而RREW模型需要2~3 h。RREW模型耗時(shí)明顯長(zhǎng)于傳統(tǒng)統(tǒng)計(jì)回歸模型,識(shí)別效率不能滿(mǎn)足在線(xiàn)監(jiān)控要求,因此有必要對(duì)其進(jìn)行優(yōu)化。
2一維VGG數(shù)據(jù)異常識(shí)別模型構(gòu)建
2.1基本原理
卷積運(yùn)算能從局部輸入圖塊中提取特征并模塊化,不僅在計(jì)算機(jī)視覺(jué)應(yīng)用中表現(xiàn)出色,對(duì)時(shí)間序列處理的效果也可媲美專(zhuān)門(mén)用于時(shí)序處理的循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN),且運(yùn)算速度明顯提升[17]。卷積神經(jīng)網(wǎng)絡(luò)(CNN)的典型結(jié)構(gòu)由輸入層、卷積層、池化層、全連接層及輸出層組成,其經(jīng)典網(wǎng)絡(luò)結(jié)構(gòu)主要有LeNet、AlexNet、VGGNet、GoogLeNet、ResNet和DenseNet等,其中VGG網(wǎng)絡(luò)通過(guò)反復(fù)堆疊較小的3×3卷積核代替更大尺度的卷積核,不僅增加了網(wǎng)絡(luò)中的非線(xiàn)性映射,同時(shí)全連接層所需訓(xùn)練的參數(shù)量不會(huì)爆炸增長(zhǎng),模型性能優(yōu)且穩(wěn)定[18],在實(shí)際應(yīng)用中較為廣泛[19]。大壩安全監(jiān)測(cè)數(shù)據(jù)序列是時(shí)間、測(cè)值的集合,可以看作一個(gè)時(shí)刻與此時(shí)刻實(shí)測(cè)值的組合,VGG網(wǎng)絡(luò)訓(xùn)練用的一張圖片對(duì)應(yīng)長(zhǎng)、寬兩個(gè)維度的二維卷積模式,因此本文參照經(jīng)典的VGG網(wǎng)絡(luò)結(jié)構(gòu)建立1D-VGG模型提取數(shù)據(jù)特征,即把二維圖片降維為一維“線(xiàn)性圖片”,使一個(gè)時(shí)刻的數(shù)據(jù)對(duì)應(yīng)一個(gè)時(shí)間點(diǎn)的數(shù)據(jù),即對(duì)應(yīng)CNN的一個(gè)輸入數(shù)據(jù),這樣一組CNN的輸入數(shù)據(jù)就是順序時(shí)間點(diǎn)組的數(shù)據(jù)。
一維CNN的卷積運(yùn)算將時(shí)間看作一個(gè)空間維度,原理與架構(gòu)與二維CNN網(wǎng)絡(luò)類(lèi)似[20],與二維卷積的區(qū)別主要在卷積和池化操作上,原始離散數(shù)據(jù)序列f(n)與一維卷積核g(n)的一維卷積運(yùn)算結(jié)果s(n)定義如下:
CNN用于圖像識(shí)別時(shí)會(huì)對(duì)二維圖像進(jìn)行下采樣來(lái)提取局部特征以減小計(jì)算量,比如平均池化和最大池化。一維CNN也能通過(guò)類(lèi)似的池化運(yùn)算以減小數(shù)據(jù)大小,即從輸入的長(zhǎng)序列中提取短序列,然后輸出短序列的最大值或平均值,卷積核是根據(jù)步長(zhǎng)移動(dòng),而池化核的移動(dòng)要求輸入部分在運(yùn)算中不發(fā)生重疊,如圖4所示。
2.2模型構(gòu)建流程
對(duì)于任意一個(gè)測(cè)點(diǎn)i,已知其在過(guò)去n個(gè)時(shí)刻的歷時(shí)測(cè)值序列Yi=[vit1,vit2,…,vitn]T和歷史環(huán)境量因子(水位H、降雨P(guān)、溫度T等)矩陣Xn×k。以此n個(gè)時(shí)刻的{歷史環(huán)境量因子矩陣Xn×k,歷時(shí)測(cè)值序列Yi}作為訓(xùn)練樣本,其中將測(cè)點(diǎn)i的歷史環(huán)境量因子矩陣Xn×k作為訓(xùn)練輸入數(shù)據(jù),歷時(shí)測(cè)值序列Yi作為訓(xùn)練輸出的比對(duì)數(shù)據(jù),以構(gòu)建它們之間的非線(xiàn)性關(guān)系式,從而訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)模型,具體步驟如下:
(1) 對(duì)輸入Xn×k和訓(xùn)練值Yi作歸一化處理。由于不同監(jiān)測(cè)項(xiàng)目量綱差異較大,可能導(dǎo)致網(wǎng)絡(luò)收斂慢、訓(xùn)練時(shí)間長(zhǎng),為提高模型訓(xùn)練速度,首先采用式(3)對(duì)輸入與輸出樣本進(jìn)行歸一化處理。
(2) 將歸一化后的數(shù)據(jù)作為卷積神經(jīng)網(wǎng)絡(luò)的輸入和輸出樣本,輸入樣本形狀設(shè)置為k×1,輸出節(jié)點(diǎn)數(shù)設(shè)為1。訓(xùn)練過(guò)程中采用均方誤差(MSE)作為損失函數(shù)衡量網(wǎng)絡(luò)計(jì)算的預(yù)測(cè)值y^i和實(shí)測(cè)值yi之間的誤差:
根據(jù)模型多次調(diào)參和訓(xùn)練結(jié)果來(lái)調(diào)整卷積層與池化層的層數(shù)及卷積核大小,最終選用8層一維卷積層來(lái)提取特征,每?jī)蓪右痪S卷積層后添加一層最大池化層,卷積層采用ReLU激活函數(shù),ReLU函數(shù)等價(jià)于max{x,0}。因訓(xùn)練輸入樣本的因子種類(lèi)不多,采用大小為2的卷積核與池化核在訓(xùn)練過(guò)程中會(huì)使層內(nèi)數(shù)據(jù)越來(lái)越少,為保證模型精度,本文采用大小為1的核。該模型在卷積和池化運(yùn)算后展平為一維數(shù)據(jù)格式進(jìn)入全連接層,以集成從卷積層和池化層獲得的高度抽象特征,并對(duì)這些特征進(jìn)行處理,最后輸出相關(guān)識(shí)別結(jié)果。
(3) 訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)模型。過(guò)程為:初始化權(quán)重和閾值→利用初始權(quán)值和歸一化后的樣本計(jì)算各層的輸出值→計(jì)算卷積神經(jīng)網(wǎng)絡(luò)的輸出層誤差→反向計(jì)算各層誤差并采用Adam優(yōu)化算法調(diào)整更新各層權(quán)值→判斷模型誤差是否滿(mǎn)足閾值要求,然后重復(fù)上述步驟或結(jié)束訓(xùn)練。當(dāng)訓(xùn)練樣本的損失函數(shù)小于特定閾值時(shí),訓(xùn)練結(jié)束,最終的權(quán)值和偏置值保存在模型中用于預(yù)測(cè)。
訓(xùn)練過(guò)程包括前向傳播學(xué)習(xí)數(shù)據(jù)特征和后向傳播誤差更新網(wǎng)絡(luò)參數(shù)兩個(gè)階段,前面對(duì)于卷積神經(jīng)網(wǎng)絡(luò)基本架構(gòu)的描述遵循了前向傳播的過(guò)程順序,即輸入數(shù)據(jù)經(jīng)多層卷積和池化運(yùn)算后,展平進(jìn)入全連接層進(jìn)行特征集成,最終形成輸出結(jié)果。在訓(xùn)練過(guò)程中,當(dāng)預(yù)測(cè)輸出值y^i與實(shí)測(cè)值yi不一致時(shí),進(jìn)行反向傳播計(jì)算預(yù)測(cè)輸出值與實(shí)測(cè)值間的誤差,即遍歷神經(jīng)網(wǎng)絡(luò)的反向路徑,并逐層將誤差回傳到各個(gè)節(jié)點(diǎn),以逐層計(jì)算各層誤差。反向傳播過(guò)程中,根據(jù)Adam算法調(diào)整更新網(wǎng)絡(luò)中的權(quán)值和偏置值,該算法具有動(dòng)量法和自適應(yīng)學(xué)習(xí)速率方法的雙重優(yōu)勢(shì)[21-22],算法如下:
(4) 采用上述訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)模型,建立測(cè)點(diǎn)i的歷時(shí)測(cè)值序列Yi與環(huán)境量因子X(jué)n×k的非線(xiàn)性關(guān)系:
已知測(cè)點(diǎn)i在n+t時(shí)刻的環(huán)境量因子值,按式(3)進(jìn)行歸一化處理后代入式(6)中,則可得式(7),將該式反歸一化處理后,即可得出測(cè)點(diǎn)i在n+t時(shí)刻的預(yù)測(cè)值y^i,n+t。
(5) 模型預(yù)警準(zhǔn)則。
通過(guò)實(shí)測(cè)值與預(yù)測(cè)值求得殘差以及殘差的標(biāo)準(zhǔn)差σ,當(dāng)殘差在[-3σ,3σ]外,則認(rèn)為測(cè)值異常,即yi,n+t-y^i,n+t>3σ時(shí)認(rèn)為該測(cè)值存在異常,觸發(fā)異常數(shù)據(jù)預(yù)警。
2.3應(yīng)用效果分析
2.3.1模型適用性分析
針對(duì)前述因模型精度不高、離群比例超過(guò)30%的單臺(tái)階型數(shù)據(jù)序列,采用RREW模型和1D-VGG模型進(jìn)行數(shù)據(jù)異常識(shí)別,結(jié)果如圖5~6及表1所示。
從圖5~6和表1可以看出:1D-VGG模型能夠根據(jù)環(huán)境量因子與實(shí)測(cè)值間的抽象關(guān)系學(xué)習(xí)到數(shù)據(jù)序列的整體趨勢(shì),且不受局部少量離群點(diǎn)影響,能高效率地學(xué)習(xí)到正常型序列不規(guī)則片段的特征,模型精度高;同時(shí)1D-VGG模型能較好地?cái)M合出單臺(tái)階序列的前后兩個(gè)部分,達(dá)到較高的擬合精度,可有效解決RREW模型在離群比例超過(guò)穩(wěn)健估計(jì)量崩潰界時(shí)的模型失效問(wèn)題。整體上,引入1D-VGG模型能較好地解決規(guī)律性較差正常型數(shù)據(jù)序列和單臺(tái)階型數(shù)據(jù)序列的異常識(shí)別漏判問(wèn)題。
2.3.2模型穩(wěn)定性分析
基于Pauta準(zhǔn)則的1D-VGG模型對(duì)小幅異常突跳較為敏感,一旦模型預(yù)測(cè)精度不足,則會(huì)引起個(gè)別預(yù)測(cè)有偏差的正常值出現(xiàn)誤判的現(xiàn)象。因此,本文重點(diǎn)分析不同建模序列長(zhǎng)度和單臺(tái)階數(shù)據(jù)序列的離群點(diǎn)比例對(duì)模型精度的影響。
(1) 不同的建模序列長(zhǎng)度。
針對(duì)RREW模型預(yù)測(cè)精度相對(duì)不高的P60測(cè)點(diǎn),分別利用其2016~2018年的不同長(zhǎng)度數(shù)據(jù)序列構(gòu)建1D-VGG模型,其模型精度變化較小,應(yīng)用于數(shù)據(jù)異常識(shí)別均取得較好效果,如圖7所示,說(shuō)明在不同序列長(zhǎng)度下,1D-VGG模型穩(wěn)定性好。
(2) 不同離群點(diǎn)比例的單臺(tái)階型序列。
以單臺(tái)階數(shù)據(jù)序列UP13-1測(cè)點(diǎn)為模板,模擬構(gòu)建了2016~2019年間單臺(tái)階占比分別約為10%,20%,30%的序列,并以2016~2019年9月的數(shù)據(jù)來(lái)建模,識(shí)別2019年10~12月的監(jiān)測(cè)數(shù)據(jù),效果如圖8所示,可見(jiàn)在不同臺(tái)階占比下,采用1D-VGG模型均能取得較好的識(shí)別效果,穩(wěn)定性好。
2.3.3Pauta準(zhǔn)則的適用性分析
1D-VGG模型的預(yù)警準(zhǔn)則采用Pauta準(zhǔn)則,前提是實(shí)測(cè)值與模型預(yù)測(cè)值的殘差序列服從或近似符合正態(tài)分布[23]。為分析其適用性,剔除前述正常型測(cè)點(diǎn)P60、臺(tái)階占比40%的單臺(tái)階型測(cè)點(diǎn)CH2以及臺(tái)階占比分別為10%,30%的單臺(tái)階型測(cè)點(diǎn)異常值后,對(duì)預(yù)測(cè)段的殘差序列進(jìn)行正態(tài)性檢驗(yàn),結(jié)果如圖9所示。由圖9可知,除個(gè)別殘差絕對(duì)值較大的散點(diǎn)略有偏離外,各測(cè)點(diǎn)在圖中的絕大部分散點(diǎn)都分布在參照線(xiàn)y=x附近,說(shuō)明利用1D-VGG模型得到的殘差序列整體上近似服從正態(tài)分布,因此采用Pauta準(zhǔn)則作為1D-VGG模型的預(yù)警準(zhǔn)則是可行的。
3監(jiān)測(cè)數(shù)據(jù)異常識(shí)別模型匹配準(zhǔn)則構(gòu)建
大壩安全監(jiān)測(cè)數(shù)據(jù)異常識(shí)別一般應(yīng)包括粗差識(shí)別、異常識(shí)別和異常原因辨識(shí)3個(gè)環(huán)節(jié)。粗差識(shí)別主要針對(duì)儀器故障、測(cè)量錯(cuò)誤等造成的誤差,一般多采用是否超儀器量程等進(jìn)行清洗剔除;異常識(shí)別則主要通過(guò)適宜的模型實(shí)時(shí)識(shí)別監(jiān)測(cè)數(shù)據(jù)的異常變化;大壩安全監(jiān)測(cè)數(shù)據(jù)的異常變化可能是因?yàn)楸O(jiān)測(cè)環(huán)境擾動(dòng)或其他因素引起的監(jiān)測(cè)誤差,也可能是庫(kù)水位、降雨、地震等運(yùn)行環(huán)境變化引起的大壩結(jié)構(gòu)真實(shí)響應(yīng),或結(jié)構(gòu)性態(tài)惡化的異變表征;因此需要通過(guò)人工進(jìn)一步辨識(shí)其異常原因,從而獲取可靠的異常數(shù)據(jù)。本文主要針對(duì)數(shù)據(jù)異常識(shí)別環(huán)節(jié),提出適宜的模型以提高其識(shí)別效率和精度。由于大壩監(jiān)測(cè)涉及儀器眾多,監(jiān)測(cè)環(huán)境復(fù)雜,監(jiān)測(cè)結(jié)果包括正常型、多點(diǎn)離群型、雙臺(tái)階型、單臺(tái)階型、震蕩型等多種數(shù)據(jù)類(lèi)型,不同識(shí)別方法對(duì)不同特性序列的適用性存在差異,綜合考慮數(shù)據(jù)分布形態(tài)、系列有效長(zhǎng)度等因素,分析傳統(tǒng)統(tǒng)計(jì)回歸模型、RREW模型和1D-VGG模型及Pauta準(zhǔn)則、MZ準(zhǔn)則的應(yīng)用效果和適用性如圖10與表2所示。
從表2中可以看出,基于單一方法的數(shù)據(jù)異常識(shí)別可靠性和高效性難以保證,不能滿(mǎn)足大壩安全監(jiān)測(cè)數(shù)據(jù)異常在線(xiàn)識(shí)別需求。因此,本文提出了多模型多準(zhǔn)則的數(shù)據(jù)異常識(shí)別方法,即構(gòu)建包括統(tǒng)計(jì)回歸、穩(wěn)健回歸、1D-VGG模型等模型庫(kù),以及Pauta準(zhǔn)則、MZ準(zhǔn)則等判別準(zhǔn)則庫(kù)共同構(gòu)成的大壩安全數(shù)據(jù)異常識(shí)別模型簇,再根據(jù)測(cè)值數(shù)據(jù)類(lèi)型選擇最合適的模型算法和評(píng)判準(zhǔn)則進(jìn)行異常識(shí)別,從而實(shí)現(xiàn)大壩安全監(jiān)測(cè)數(shù)據(jù)異常在線(xiàn)精準(zhǔn)、高效識(shí)別。
統(tǒng)計(jì)回歸模型+Pauta準(zhǔn)則模型精度不高時(shí),易漏判離群型數(shù)據(jù)異常值殘差序列應(yīng)服從正態(tài)分布,適用于擬合精度較高的正常型數(shù)據(jù)序列模型簡(jiǎn)單、計(jì)算效率高RREW模型+MZ準(zhǔn)則離群點(diǎn)比例較高時(shí),易出現(xiàn)模型崩潰的問(wèn)題擬合精度較高的正常型序列、雙臺(tái)階型序列、震蕩型序列模型復(fù)雜,計(jì)算效率低1D-VGG模型+Pauta準(zhǔn)則模型參數(shù)選擇對(duì)模型精度影響大,控制限較嚴(yán)苛,易出現(xiàn)誤判現(xiàn)象模型擬合精度較低的正常型序列和單臺(tái)階型序列網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)單,計(jì)算效率較高綜合考慮異常識(shí)別效果和計(jì)算效率,建立“數(shù)據(jù)類(lèi)型-模型算法-預(yù)警準(zhǔn)則”匹配規(guī)則如下:對(duì)于精度較高正常型序列、單/多點(diǎn)離群型序列,采用基于最小二乘的統(tǒng)計(jì)回歸模型和Pauta準(zhǔn)則;對(duì)于模型擬合精度較低的正常型序列和單臺(tái)階型序列,匹配1D-VGG模型和Pauta準(zhǔn)則;對(duì)于雙臺(tái)階和震蕩型序列,則匹配RREW模型和MZ準(zhǔn)則。數(shù)據(jù)異常在線(xiàn)識(shí)別流程如圖11所示。
4結(jié) 論
(1) RREW模型引入M估計(jì)和置信區(qū)間半徑D,較好地解決了傳統(tǒng)統(tǒng)計(jì)回歸模型對(duì)雙臺(tái)階、震蕩型數(shù)據(jù)序
列的異常值漏判問(wèn)題,但對(duì)規(guī)律性較差的正常型序列和離群點(diǎn)比例較高的單臺(tái)階數(shù)據(jù)序列,仍存在識(shí)別精度差、誤判漏判率高的問(wèn)題,且模型計(jì)算效率相對(duì)較低。
(2) 構(gòu)建了1D-VGG識(shí)別模型,提出了模型構(gòu)建流程。工程校驗(yàn)表明,該模型能自主學(xué)習(xí)環(huán)境量與實(shí)測(cè)效應(yīng)量間的隱含規(guī)律,有效解決RREW模型數(shù)據(jù)異常在線(xiàn)識(shí)別尚存在的誤判漏判問(wèn)題,并對(duì)不同序列長(zhǎng)度、不同臺(tái)階占比的數(shù)據(jù)序列均具有較好的識(shí)別效果,模型識(shí)別的精度、穩(wěn)定性和可靠性均較理想。
(3) 構(gòu)建了包括統(tǒng)計(jì)回歸、穩(wěn)健回歸、1D-VGG識(shí)別等模型和Pauta、MZ等準(zhǔn)則的模型庫(kù)和準(zhǔn)則庫(kù),綜合考慮模型準(zhǔn)確性、適用性和高效性,提出了“數(shù)據(jù)類(lèi)型-識(shí)別方法-預(yù)警準(zhǔn)則”自匹配準(zhǔn)則。
參考文獻(xiàn):
[1]CHENG L,ZHENG D J.Two online dam safety monitoring models based on the process of extracting environmental effect[J].Advances in Engineering Software,2013,57(3):48-56.
[2]ZHOU L T,GU C S,LI B.Application of partial least-squares regression in earth-rock dam seepage monitoring model[C]∥Proceedings of The Second 2nd International Conference on Modelling and Simulation,2009:531-536.
[3]LIN C N,LI T C,CHEN S Y,et al.Gaussian process regression-based forecasting model of dam deformation[J].Neural Computing and Application,2019,31(12):8503-8518.
[4]SHI Z W,GU C S,ZHAO E F,et al.A novel seepage safety monitoring model of CFRD with slab cracks using monitoring data[J].Mathematical Problems in Engineering,2020(12):1-13.
[5]BELMOKRE A,MIHOUBI M K,SANTILLN D.Analysis of dam behavior by statistical models:application of the random forest approach[J].KSCE Journal of Civil Engineering,2019,23(11):4800-4811.
[6]CHENG X,LI Q,ZHOU Z,et al.Research on a seepage monitoring model of a high core rockfill dam based on machine learning[J].Sensors,2018,18(9):2749-2763.
[7]CUI L,CHENG L,JIANG X,et al.Robust estimation and outlier detection based on linear regression model[J].Journal of Intelligent & Fuzzy Systems,2019,37(4):4657-4664.
[8]LI X,LI Y L,LU X,et al.An online anomaly recognition and early warning model for dam safety monitoring data[J].Structural Health Monitoring,2019,19(3):796-809.
[9]胡德秀,屈旭東,楊杰,等.基于M-ELM的大壩變形安全監(jiān)控模型[J].水利水電科技進(jìn)展,2019,39(3):75-80.
[10]楊承志,魏博文,徐鎮(zhèn)凱.基于SVM-MCD的大壩變形監(jiān)測(cè)數(shù)據(jù)異常值判定[J].人民長(zhǎng)江,2022,53(3):207-213,219.
[11]王麗蓉,鄭東健.基于卷積神經(jīng)網(wǎng)絡(luò)的大壩安全監(jiān)測(cè)數(shù)據(jù)異常識(shí)別[J].長(zhǎng)江科學(xué)院院報(bào),2021,38(1):72-77.
[12]陳冬英,張昊,張子龍,等.基于改進(jìn)1D-VD-CNN與近紅外光譜數(shù)據(jù)的金銀花產(chǎn)地溯源研究[J].光譜學(xué)與光譜分析,2023,43(5):1471-1477.
[13]張碩,田慕琴,霍鵬飛,等.基于一維卷積神經(jīng)網(wǎng)絡(luò)的定向鉆機(jī)故障診斷專(zhuān)家系統(tǒng)設(shè)計(jì)[J].煤炭技術(shù),2023,42(6):221-224.
[14]黨英,吉衛(wèi)喜,陸家輝,等.基于卷積神經(jīng)網(wǎng)絡(luò)的銑刀磨損狀態(tài)識(shí)別技術(shù)研究[J].現(xiàn)代制造工程,2021(5):116-124.
[15]陳振飛,杜德進(jìn).對(duì)《水電站大壩運(yùn)行安全監(jiān)督管理規(guī)定》有關(guān)大壩安全信息化建設(shè)內(nèi)容的解讀[J].大壩與安全,2015,88(2):18-20.
[16]DAVID C H.探索性數(shù)據(jù)分析[M].陳忠璉,郭德媛,譯.北京:中國(guó)統(tǒng)計(jì)出版社,1998.
[17]MUNIR M,SIDDIQUI S A,DENGEL A,et al.DeepAnT:a deep learning approach for unsupervised anomaly detection in time series[J].IEEE Access,2019,7(1):1991-2005.
[18]張馳,郭媛,黎明.人工神經(jīng)網(wǎng)絡(luò)模型發(fā)展及應(yīng)用綜述[J].計(jì)算機(jī)工程與應(yīng)用,2021,57(11):57-69.
[19]陳超,齊峰.卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展及其在計(jì)算機(jī)視覺(jué)領(lǐng)域中的應(yīng)用綜述[J].計(jì)算機(jī)科學(xué),2019,46(3):63-73.
[20]GIRSHICK R.Fast R-CNN[C]∥ Proceedings of the IEEE International Conference on Computer Vision (ICCV),Chile,2015:1440-1448.
[21]張慧.深度學(xué)習(xí)中優(yōu)化算法的研究與改進(jìn)[D].北京:北京郵電大學(xué),2018.
[22]袁群勇.深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練優(yōu)化方法研究[D].廣州:華南理工大學(xué),2020.
[23]ZHANG F,LU X,LI Y L,et al.A self-matching model for online anomaly recognition of safety monitoring data in dams [J].Structure Health Monitoring,2023,22(1):746-773.
(編輯:胡旭東)