陳旭東 何宏 周焱平

摘?要：?針對于新能源汽車電池異常信號的檢測，傳統(tǒng)異常檢測方法對多個維度電池數(shù)據(jù)檢測精度低、泛化性差等問題，本文提出一種融合了卷積（Conv）、自注意力機(jī)制（Attention）和多層感知器（MLP）的Conv-Attention-MLP深度神經(jīng)網(wǎng)絡(luò)方法，該方法首先對多個維度的時序數(shù)據(jù)使用特征卷積進(jìn)行降維，再利用多頭自注意力機(jī)制（MultiHead-Self-Attention，?MSA）對數(shù)據(jù)的時間不同步以及數(shù)據(jù)邏輯之間的重建模，最后經(jīng)過多層感知機(jī)（MLP）的連續(xù)線性映射與非線性運算，產(chǎn)生復(fù)雜的分段映射，以達(dá)到更好的擬合效果。實現(xiàn)了對多個維度電池數(shù)據(jù)的有效檢測，提高了模型對于多樣化數(shù)據(jù)的準(zhǔn)確性和穩(wěn)健性。實驗結(jié)果表明，相比于傳統(tǒng)異常檢測方法，在vloongs數(shù)據(jù)集上Conv-Attention-MLP模型表現(xiàn)效果更加優(yōu)越，展現(xiàn)出更高精度和更強(qiáng)的魯棒性。

關(guān)鍵詞：深度學(xué)習(xí)?異常檢測?自注意力機(jī)制?模型融合

中圖分類號：U472;TP274

The?Anomaly?Detection?Method?for?New?Energy?Vehicle?Batteries?Based?on?Conv-Attention-MLP

CHEN?Xudong??HE?Hong*??ZHOU?Yanping

College?of?Computer?and?Communication，?Hunan?Institute?of?Engineering，?Xiangtan，?Hunan?Province，?411104?China

Abstract：?For?the?detection?of?abnormal?signals?in?new?energy?vehicle?batteries，?traditional?anomaly?detection?methods?have?issues?such?as?low?detection?accuracy?and?poor?generalization?in?multi-dimensional?battery?data.?This?paper?proposes?a?Conv-Attention-MLP?deep?neural?network?method?which?integrates?convolution?（Conv），?the?self-attention?mechanism?（Attention）?and?the?multi-layer?perceptron?（MLP）.?The?method?first?uses?feature?convolution?to?reduce?the?dimensionality?of?multi-dimensional?time-series?data，?then?uses?the?multihead?self-attention?（MSA）?mechanism?to?recmodel?the?asynchrony?of?data?time?and?the?interrelationships?among?data?logic，?and?finally?uses?the?continuous?linear?mapping?and?non-linear?operation?of?the?multi-layer?perceptron?（MLP）?to?generate?complex?piecewise?mapping，?so?as?to?achieve?better?fitting?results，?which?realizes?the?effective?detection?of?multiple-dimensional?battery?data，?and?enhances?the?model's?accuracy?and?robustness?for?diverse?data.?Experimental?results?demonstrate?that?compared?to?traditional?anomaly?detection?methods，?the?the?Conv-Attention-MLP?model?has?better?performance?on?the?vloongs?dataset，?showcasing?higher?precision?and?stronger?robustness.

Key?Words：?Deep?learning;?Anomaly?detection;?Self-attention?mechanism;?Model?merging

鋰電池因高能量密度、輕便、低自放電率廣用于汽車，但特殊情況下可能發(fā)生熱失控，危及駕駛?cè)藛T。目前，新能源汽車電池異常檢測算法主要分為兩類。無監(jiān)督學(xué)習(xí)算法如聚類算法可處理多維特征[1]，但缺乏實時監(jiān)測能力。神經(jīng)網(wǎng)絡(luò)算法如LSTM在處理時序性數(shù)據(jù)方面表現(xiàn)優(yōu)異[2]，但存在梯度消失和梯度爆炸問題。結(jié)合兩者的新算法，如VAE-LSTM-DTW[3]，能有效判斷異常，但仍缺乏實時性和邊緣部署的效率。

近年來計算機(jī)視覺方面的不斷發(fā)展，對圖像處理主要采用卷積神經(jīng)網(wǎng)絡(luò)，卷積層使得模型擁有強(qiáng)大的建模能力。Transformer[4]是一種革命性的深度學(xué)習(xí)模型，其中的自注意力機(jī)制（Self-Attention）使得模型能夠在處理序列對不同位置的信息進(jìn)行加權(quán)。如徐浩森等人提出的基于自注意力機(jī)制的卷積循環(huán)網(wǎng)絡(luò)語音降噪[5]；張偉雄等人提出的時序自注意力機(jī)制對遙感數(shù)據(jù)時間序列分類[6]。本文在傳統(tǒng)Self-Attention網(wǎng)絡(luò)的基礎(chǔ)上，設(shè)計出一種融合了卷積、自注意力機(jī)制和多層感知器的Conv-Attention-MLP深度神經(jīng)網(wǎng)絡(luò)方法，相較于單一方法模型有以下優(yōu)勢：（1）卷積層將有效捕捉時間序列中的局部特征和模式；（2）自注意力機(jī)制能夠提取電池數(shù)據(jù)的上下文信息，增強(qiáng)模型的全局建模能力；（3）?多層感知器引入了非線性映射，對特征進(jìn)行更高級別的抽象，有助于學(xué)習(xí)更復(fù)雜的數(shù)據(jù)表示。

1?模型與原理

Conv-Attention-MLP?模型，可分為三部分如圖1所示。

卷積部分由三層卷積構(gòu)成，使n個單維特征數(shù)據(jù)通過等長卷積核進(jìn)行卷積，將數(shù)據(jù)降維，提取來自不同特征的一維數(shù)據(jù)關(guān)鍵性特征。卷積計算能夠有效地挖掘時序數(shù)據(jù)的相關(guān)性，通過卷積中的歸納偏置能力提取時序數(shù)據(jù)中的局部關(guān)聯(lián)特征。此方法可取代一般異常檢測模型中直接堆疊線性層的做法，有助于減少模型參數(shù)量，并提高推理速度。

本文在以?pointwise（點級特征）為前提、基于重建的電池異常檢測任務(wù)中提出一種網(wǎng)絡(luò)模型結(jié)構(gòu)。通過結(jié)合自注意力機(jī)制，在序列重建過程中構(gòu)建一層掩碼，以增強(qiáng)模型對電池時序數(shù)據(jù)中異常點處上下文語義信息的表征能力。減輕異常檢測任務(wù)中正常模式對異常模式的主導(dǎo)，增加模型對于電車異常數(shù)據(jù)的全局建模能力，提升模型精度。

多層感知機(jī)（MLP）能夠通過多層的非線性變換學(xué)習(xí)到更復(fù)雜的數(shù)據(jù)表示，并在各種任務(wù)中表現(xiàn)出強(qiáng)大的建模能力和適應(yīng)性。使得模型對于被控對象的系統(tǒng)參數(shù)變化和外界的干擾具有很好的魯棒性，能夠處理復(fù)雜的多輸入、多輸出非線性系統(tǒng)。

1.1?多個維度特征卷積

卷積層是深度學(xué)習(xí)中的一種關(guān)鍵層次，一般用于計算機(jī)視覺以及圖像處理任務(wù)，對輸入二維數(shù)據(jù)進(jìn)行特征提取。本文所描述的卷積結(jié)構(gòu)如圖2所示，與處理一維時序數(shù)據(jù)的卷積不同，第一層卷積針對n個電池特性數(shù)據(jù)，并考慮了來自m條不同行數(shù)據(jù)的相關(guān)性。這里的卷積核大小為m*n，在橫向維度上應(yīng)用了循環(huán)填充[m/2]*2行，以確保在卷積過程中數(shù)據(jù)長度保持不變。這一操作不僅降低了數(shù)據(jù)維度，減少了模型的復(fù)雜性和計算成本，同時也保留了數(shù)據(jù)的關(guān)聯(lián)性和重要信息。后面兩個卷積層所使用的卷積核都為1*1大小，最后將得到的多個維度數(shù)據(jù)合并為一個二維張量。

1.2?自注意力機(jī)制

近期的研究中，證實了自注意力機(jī)制在二維圖像中表現(xiàn)優(yōu)秀，能夠有效計算不同像素之間的關(guān)聯(lián)性。在時序數(shù)據(jù)中將數(shù)據(jù)轉(zhuǎn)化為類似于圖像的二維張量，通過自注意力機(jī)制處理圖像的方式，計算每個像素（或指二維張量中的元素）之間的關(guān)系?？紤]到電池數(shù)據(jù)中，異常片段中必然存在時間上的某種聯(lián)系，且不同數(shù)據(jù)之間也可能產(chǎn)生內(nèi)在聯(lián)系。本模型將電池多個維度的時序性數(shù)據(jù)經(jīng)過卷積處理拼合成二維張量，通過注意力機(jī)制捕捉同一數(shù)據(jù)時間不同步以及不同的數(shù)據(jù)特征之間的聯(lián)系，提升了異常檢測和特征提取的效果。本文中多頭自注意力機(jī)制（MultiHead-Self-Attention，MSA）結(jié)構(gòu)如圖3所示，對輸入數(shù)據(jù)進(jìn)行處理，通過（key，query，value）三元組對全局信息進(jìn)行有效捕捉，最終返回一個權(quán)重值。將輸入特征分別乘以三個矩陣、和（通過訓(xùn)練獲得）得到Q、K、V三個矩陣；Q是query，是輸入的信息；K和V成組出現(xiàn)，通常是原始文本等已有的信息；引入一個表示自注意力機(jī)制有多少頭，將Q、K、V分別與矩陣、、相乘得到、、（），多頭自注意力公式如（1）（2）所示。

其中公式（1）中表示K的維度，用于控制點積的尺度，以提高模型的穩(wěn)定性和訓(xùn)練效果。公式（2）中MSA是多頭自注意力機(jī)制（MultiHead?Self-Attention），用于連接兩個或多個數(shù)組，是權(quán)重矩陣。操作會將多頭自注意力的特征拼合，但是不同的頭在計算時經(jīng)過了不同的線性變換，所產(chǎn)生不同子空間的特征。需要對多頭特征進(jìn)行融合，匹配特征子空間。

1.3?多層感知機(jī)模塊

MLP是一種高度自適應(yīng)的信息處理系統(tǒng)[7]，具備強(qiáng)大的并行處理能力。由連續(xù)的線性映射和非線性標(biāo)量函數(shù)來執(zhí)行，這些連續(xù)的映射和非線性運算匹配特征空間，產(chǎn)生復(fù)雜的分段映射，以達(dá)到更好的擬合效果。本文中的MLP結(jié)構(gòu)如圖4所示，包括兩層線性層，通過第一層隱藏層其權(quán)重為，偏置為，輸入，（）經(jīng)過線性映射為。將中間結(jié)果輸入非線性高斯誤差激活函數(shù)（GeLU），GeLU是一個光滑的函數(shù)[8]，圖形類似于S形曲線，在整個是實數(shù)范圍內(nèi)均有非零的梯度，在深度神經(jīng)網(wǎng)絡(luò)中不容易導(dǎo)致梯度消失問題，平滑性有助于更穩(wěn)定的梯度傳播和更快的收斂。

1.4?模型損失計算

交叉熵?fù)p失（Cross-Entropy?Loss）通常用于分類問題中，它衡量了模型的預(yù)測與實際標(biāo)簽之間的差異。在異常檢測這樣的二分類問題上，模型輸出最后的預(yù)測結(jié)果只有兩種情況，對于每個類別所得到的概率為，則有公式（3）所示。

公式（3）中表示樣本的標(biāo)簽，正類為1，負(fù)類為0，表示樣本i預(yù)測為正類的概率。本文采用Mixup的方式對原始數(shù)據(jù)進(jìn)行預(yù)處理，假設(shè)是一個樣本，是該樣本對應(yīng)的標(biāo)簽；是另一個樣本，是這樣本對應(yīng)的標(biāo)簽。是由參數(shù)的貝塔分布計算出的混合系數(shù)，計算過程如公式（4）（5）所示。

其中是指貝塔分布，是和混合后的樣本。將混合后的輸入模型進(jìn)行前向傳播，形式上給定一個已知參數(shù)的模型，用表示到的映射，對混合后的有公式（6）：

公式（7）中Loss是模型的整體損失，它是由模型前向傳播出來的結(jié)果，與其兩個混合樣本的真實標(biāo)簽之間的加權(quán)損失和，表示前面的貝塔分布。

2?模型訓(xùn)練與數(shù)據(jù)處理

2.1?數(shù)據(jù)獲取與預(yù)處理

本文使用了昇科能源公司開源的新能源汽車電池信號數(shù)據(jù)集vloongs，由28389個訓(xùn)練樣本和6234個測試樣本構(gòu)成。每個訓(xùn)練樣本為元組類型分為數(shù)據(jù)（data）部分和元數(shù)據(jù)（metadata），根據(jù)對數(shù)據(jù)集的特征分析，發(fā)現(xiàn)電池的正異常樣本在元數(shù)據(jù)中里程特征上存在的一定聯(lián)系如圖5、圖6所示。將特征整合，每一列數(shù)據(jù)包含9個維度特征（電壓、電流、電池SOC、最大單電壓、最小單電壓、最大溫度，最小溫度、時間戳以及里程數(shù)）。元數(shù)據(jù)包括數(shù)據(jù)標(biāo)簽（00表示正常、01表示異常），測試樣本在元數(shù)據(jù)部分沒有標(biāo)簽值。

數(shù)據(jù)的九個維度的特征分布很不均勻，結(jié)果容易呈現(xiàn)長尾分布。在數(shù)據(jù)的預(yù)處理方面，將特征縮放到0到1的范圍，讓數(shù)據(jù)歸一化，這有助于確保各個特征對模型的權(quán)重貢獻(xiàn)相對平衡。受限于訓(xùn)練樣本數(shù)量較少，容易造成模型的過擬合，Mixup引入了數(shù)據(jù)的隨機(jī)性，通過將兩個不同的電池時序數(shù)據(jù)混合在一起，可以讓模型學(xué)習(xí)到更一般化的特征，而不是記住訓(xùn)練數(shù)據(jù)的特定樣本，降低了模型的過擬合風(fēng)險，同時Mixup可以增強(qiáng)樣本之間的關(guān)聯(lián)性，適應(yīng)不同樣本的變化差異。

實驗配置如下：硬件方面CPU?Intel?Xeon（R）?Platinum?8255C，GPU?RTX3080（10GB），軟件方面采用Ubuntu?18.04操作系統(tǒng)，Pytorch深度學(xué)習(xí)框架，編程語言為Python。

2.2?評價指標(biāo)

本文在分類模型性能采用精確度（Accuracy，ACC）作為評估指標(biāo)。用來衡量模型在整個數(shù)據(jù)集上正確分類樣本的比例。

其中，公式（8）中TP表示正確分類的正類別樣本數(shù)量，TN表示正確分類的負(fù)類別樣本數(shù)量，F(xiàn)P表示將負(fù)類別樣本錯誤分類為正類別的數(shù)量，F(xiàn)N表示將正類別樣本錯誤分類為負(fù)類別的數(shù)量。

3?實驗與驗證

針對于本文所提出的Conv-Attention-MLP模型，進(jìn)行了大量的實驗，對比記錄了模型在vloongs數(shù)據(jù)集上的實驗結(jié)果。

3.1?模型層次設(shè)定

在模型的層次中所使用的激活函數(shù)、Dropout參數(shù)以及數(shù)據(jù)預(yù)處理都會影響模型的精度。模型激活函數(shù)有兩處：一處在模型的卷積層部分，另一處在多層感知機(jī)（MLP）中，將模型激活函數(shù)設(shè)定為Sigmoid或者分別在卷積層和MLP中使用ReLU與GeLU。Dropout中的設(shè)定取值會直接影響模型的隨機(jī)失活程度，良好的數(shù)據(jù)預(yù)處理則有助于提升模型的魯棒性。如表1中所示，模型在卷積層使用ReLU、MLP中使用GeLU作為激活函數(shù)、Dropout值設(shè)定為（0.2，0.2，0）模型的精度最高。

3.2?模型表現(xiàn)

為了使實驗更有說服力，本文對比了四種融合模型在vloongs數(shù)據(jù)集下的驗證集和測試集性能表現(xiàn)。這四種對比模型分別是自編碼器與多頭自注意力機(jī)制模型（AutoEncoder-Multi-headed?Self-attention，AE-MSA）、長短時記憶與自編碼器融合模型（Long?short-term?memory-AutoEncoder，LSTM-AE）、多頭自注意力機(jī)制與多層感知機(jī)模型（MSA-MLP）以及融合卷積、自注意力機(jī)制與全連接層融合模型（Conv-MSA-FC）。上述四種模型與本文所提出的模型表現(xiàn)如表2所示，由此可知本文所提出的模型在相同的訓(xùn)練輪次下在Accuracy有更好的表現(xiàn)，測試集精度達(dá)0.8657。另外一個觀察是，在對比驗證集和測試集后，發(fā)現(xiàn)本模型在驗證集和測試集上的精度損失僅為0.0137，遠(yuǎn)低于其他融合模型。由此可見，Conv-Attention-MLP模型不僅在精度方面表現(xiàn)出色，其魯棒性也高于其他模型。換句話說，本模型能更好地適應(yīng)數(shù)據(jù)的變化。

4?結(jié)語

本研究提出了一種基于模型融合Conv-Attention-MLP網(wǎng)絡(luò)，旨在對多個維度的新能源汽車電池數(shù)據(jù)進(jìn)行檢測。該方法在卷積層中采用多種卷積核對多個維度的電池數(shù)據(jù)降維，從而有效減輕了計算負(fù)擔(dān)。在多頭自注意力機(jī)制中，考慮了時間步之間以及數(shù)據(jù)邏輯之間的相互關(guān)系，以重新構(gòu)建特征空間。同時，在多層感知機(jī)的線性映射與非線性計算過程中，產(chǎn)生復(fù)雜的分段映射，使得特征擬合效果更加出色。本研究在vloongs新能源汽車電池數(shù)據(jù)集上取得了令人矚目的結(jié)果，Accuracy達(dá)到了86.57%。此外，Mixup數(shù)據(jù)預(yù)處理方式通過對訓(xùn)練數(shù)據(jù)進(jìn)行混合，擴(kuò)增了數(shù)據(jù)的多樣性，從而有效緩解了數(shù)據(jù)不平衡和過擬合問題。這種方法的引入使得我們的模型能夠更好地應(yīng)對真實世界中各種復(fù)雜的電池工作狀態(tài)和環(huán)境變化。未來，我們將進(jìn)一步探索并整合其他有效的數(shù)據(jù)處理技術(shù)，以進(jìn)一步提升該方法在電池數(shù)據(jù)檢測領(lǐng)域的應(yīng)用性能。

參考文獻(xiàn)

• 馬速良，武亦文，李建林，等.聚類分析架構(gòu)下基于遺傳算法的電池異常數(shù)據(jù)檢測方法[J].電網(wǎng)技術(shù)，2023，47（2）：859-867.
• 孫潔，劉夢，劉曉悅，等.LSTM神經(jīng)網(wǎng)絡(luò)算法對鋰電池故障信號檢測的研究[J].?現(xiàn)代電子技術(shù)，2022，45（3）：73-77.
• 郭鐵峰，賀建軍，申帥，等.基于動態(tài)規(guī)整與改進(jìn)變分自編碼器的異常電池在線檢測方法[J/OL].?電子與信息學(xué)報，2023，（6）：1-10.[2024-02-06].http：//kns.cnki.net/kcms/detail/11.4494.TN.20230629.1011.002.html.
• 周麗娟，毛嘉寧.視覺Transformer識別任務(wù)研究綜述[J].中國圖象圖形學(xué)報，2023，28（10）：2969-3003.
• 徐浩森，姜囡，齊志坤.基于注意力機(jī)制的卷積循環(huán)網(wǎng)絡(luò)語音降噪[J].科學(xué)技術(shù)與工程，2022，22（5）：1950-1957.?
• 張偉雄，唐娉，張正.基于時序自注意力機(jī)制的遙感數(shù)據(jù)時間序列分類[J].遙感學(xué)報，2023，27（8）：1914-1924.
• 方偉，江金光，謝東鵬.基于MLP神經(jīng)網(wǎng)絡(luò)改進(jìn)組合導(dǎo)航算法[J].計算機(jī)工程與設(shè)計，2021，42（1）：65-69
• 郝建紅，范宗皓，王暉.基于ELU卷積神經(jīng)網(wǎng)絡(luò)的視頻煙霧檢測[J].燕山大學(xué)學(xué)報，2020，44（4）：397-402
• 葉之騫，鐘紫鵬，鄧永聰，等.基于Mixup數(shù)據(jù)增強(qiáng)的CNN-GRU深度學(xué)習(xí)電火花線切割放電狀態(tài)識別[J].機(jī)械，2023，50（9）：8-15.