摘要：傳統(tǒng)海量邊緣計(jì)算數(shù)據(jù)處理方法直接對(duì)海量邊緣計(jì)算數(shù)據(jù)實(shí)施壓縮，未對(duì)海量邊緣計(jì)算數(shù)據(jù)進(jìn)行動(dòng)態(tài)合并處理，處理效果差。因此，該文提出基于LSTM神經(jīng)網(wǎng)絡(luò)的海量邊緣計(jì)算數(shù)據(jù)處理方法，該方法對(duì)海量邊緣計(jì)算數(shù)據(jù)進(jìn)行動(dòng)態(tài)合并處理，為決策和應(yīng)用提供更全面和準(zhǔn)確的信息支持；對(duì)合并的數(shù)據(jù)進(jìn)行壓縮，提高處理效率；最后基于LSTM神經(jīng)網(wǎng)絡(luò)，實(shí)現(xiàn)海量邊緣計(jì)算數(shù)據(jù)的處理，實(shí)驗(yàn)結(jié)果表明該研究方法處理效果更好。

關(guān)鍵詞：LSTM神經(jīng)網(wǎng)絡(luò)；海量邊緣計(jì)算數(shù)據(jù)；海量數(shù)據(jù)；處理方法

doi：10.3969/J.ISSN.1672-7274.2024.07.024

中圖分類號(hào)：G 642；TP 3 文獻(xiàn)標(biāo)志碼：A 文章編碼：1672-7274（2024）07-00-03

Processing Method of Massive Edge Computing Data Based on LSTM Neural Network

YAO Wenguang， CHEN Sining

（Aotuo Technology Co.， Ltd.， Nanjing 210012， China）

Abstract： The traditional massive edge computing data processing method directly compresses the massive edge computing data， but does not dynamically merge the massive edge computing data， so the processing effect is poor. Therefore， this paper proposes a massive edge computing data processing method based on LSTM neural network. This method dynamically merges massive edge computing data to provide more comprehensive and accurate information support for decision-making and application; Compress the merged data to improve processing efficiency; Finally， based on LSTM neural network， massive edge computing data are processed， and the experimental results show that the processing effect of this research method is better.

Keywords： LSTM neural network; massive edge computing data; massive data; processing method

隨著物聯(lián)網(wǎng)（IoT）、移動(dòng)設(shè)備、智能家居、自動(dòng)駕駛等技術(shù)的快速發(fā)展，邊緣計(jì)算正日益成為處理海量數(shù)據(jù)的必要手段[1]。盡管深度學(xué)習(xí)已經(jīng)在數(shù)據(jù)中心級(jí)別的數(shù)據(jù)處理上取得了巨大成功，但其通常需要大量的計(jì)算資源和數(shù)據(jù)中心級(jí)別的硬件支持。這使得其在邊緣計(jì)算環(huán)境中應(yīng)用起來困難重重[2]。

近年來，長短期記憶網(wǎng)絡(luò)（LSTM）已經(jīng)在序列數(shù)據(jù)處理上取得了巨大成功[3]。已經(jīng)展現(xiàn)出了強(qiáng)大的能力。本文提出了基于LSTM神經(jīng)網(wǎng)絡(luò)的海量邊緣計(jì)算數(shù)據(jù)處理方法。結(jié)合了邊緣計(jì)算的特性和LSTM的優(yōu)點(diǎn)，旨在高效地處理和分析海量數(shù)據(jù)[4]。

1 基于LSTM神經(jīng)網(wǎng)絡(luò)的海量邊緣計(jì)算

數(shù)據(jù)處理方法設(shè)計(jì)

1.1 海量邊緣計(jì)算數(shù)據(jù)動(dòng)態(tài)合并處理

邊緣海量數(shù)據(jù)在網(wǎng)絡(luò)互聯(lián)互通中具有特殊性，使得網(wǎng)絡(luò)中的數(shù)據(jù)大多存在一定的相關(guān)性[5]。為了提高數(shù)據(jù)存儲(chǔ)的效率，現(xiàn)運(yùn)用并行算法對(duì)海量網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行綜合處理。公式如下：

（1）

式中，為邊緣海量數(shù)據(jù)的存儲(chǔ)效率；、、為系數(shù)；、、分別為網(wǎng)絡(luò)中節(jié)點(diǎn)的連通性、節(jié)點(diǎn)的度以及聚類系數(shù)。

（2）

式中，為低質(zhì)量數(shù)據(jù)的訪問速度；、為系數(shù)；、分別為數(shù)據(jù)的集成程度和并行處理程度。

通過以上公式，得出提高邊緣海量數(shù)據(jù)存儲(chǔ)效率和低質(zhì)量數(shù)據(jù)訪問速度的方法。海量邊緣計(jì)算數(shù)據(jù)動(dòng)態(tài)合并處理步驟如下：

①首先，需要從各種來源和傳感器收集海量的邊緣計(jì)算數(shù)據(jù)。這些數(shù)據(jù)可能來自不同的設(shè)備、系統(tǒng)和應(yīng)用程序，并且可能包括各種類型的數(shù)據(jù)。

②將式（1）、式（2）得到的計(jì)算結(jié)果進(jìn)行清洗、整理和標(biāo)準(zhǔn)化等預(yù)處理，以便后續(xù)的數(shù)據(jù)分析和處理。

③將預(yù)處理后的數(shù)據(jù)進(jìn)行集成，通過數(shù)據(jù)聚合、數(shù)據(jù)融合、數(shù)據(jù)轉(zhuǎn)換等技術(shù)實(shí)現(xiàn)，以便進(jìn)行更全面的數(shù)據(jù)分析和處理。

④利用子組組件的挖掘算法和其他數(shù)據(jù)分析工具，對(duì)集成后的數(shù)據(jù)進(jìn)行深入的挖掘和分析，提取出有價(jià)值的信息和知識(shí)?；跀?shù)據(jù)挖掘和分析的結(jié)果，將相關(guān)的數(shù)據(jù)進(jìn)行動(dòng)態(tài)合并。

1.2 壓縮海量邊緣計(jì)算數(shù)據(jù)

由于連續(xù)采集的數(shù)據(jù)在時(shí)間維度上存在數(shù)據(jù)冗余的特點(diǎn)，因而可以在時(shí)域上對(duì)質(zhì)量邊緣計(jì)算數(shù)據(jù)進(jìn)行壓縮。如果傳感器設(shè)備的位置相對(duì)固定，可以利用本地計(jì)算能力來處理時(shí)域數(shù)據(jù)壓縮。如圖1所示，對(duì)每個(gè)設(shè)備的傳輸對(duì)象的生產(chǎn)過程進(jìn)行了以下假設(shè)。

圖1 海量邊緣計(jì)算數(shù)據(jù)壓縮模型

傳感器節(jié)點(diǎn)k負(fù)責(zé)收集電信號(hào)，并將這些電信號(hào)轉(zhuǎn)換為電信號(hào)數(shù)據(jù)。所獲取的原始海量邊緣計(jì)算數(shù)據(jù)的時(shí)間長度為T，T代表一個(gè)計(jì)算卸載選擇時(shí)隙。因此，計(jì)算該傳感器原始數(shù)據(jù)體積為TXN。每個(gè)傳感器節(jié)點(diǎn)會(huì)對(duì)儲(chǔ)罐的長度進(jìn)行T時(shí)間序列的壓縮處理。采用壓縮傳感技術(shù)有助于減少數(shù)據(jù)傳輸?shù)拇笮?，降低?jì)算著陸策略所需的等待時(shí)間，并在轉(zhuǎn)運(yùn)和云端轉(zhuǎn)運(yùn)過程中選擇較小的節(jié)點(diǎn)。

考慮到在原始場景保持不變的情況下，建議添加一個(gè)霧節(jié)點(diǎn)F-AP-Tmin，專門用于處理與壓縮重建模型訓(xùn)練相關(guān)的所有計(jì)算。在確定系統(tǒng)的海量邊緣數(shù)據(jù)處理模式時(shí)，引入了一個(gè)二進(jìn)制變量，其中0表示壓縮模型處于訓(xùn)練狀態(tài)，終端無法處理海量邊緣數(shù)據(jù)的壓縮；1表示壓縮模型已經(jīng)經(jīng)過訓(xùn)練，終端發(fā)送的所有數(shù)據(jù)都是經(jīng)過重壓縮的數(shù)據(jù)。

如果系統(tǒng)的質(zhì)量計(jì)算數(shù)據(jù)處理模式為0，新添加的F-AP將從最近的幾個(gè)F-AP和云端中獲取用戶著陸任務(wù)作為訓(xùn)練網(wǎng)絡(luò)。在訓(xùn)練期間，F(xiàn)-AP將向頻率為Z的F-AP發(fā)送最新的取消任務(wù)，并使用重建數(shù)據(jù)作為客觀標(biāo)準(zhǔn)來評(píng)估最大信號(hào)與噪聲的比率（PSNR）。如果滿足要求，則將系統(tǒng)數(shù)據(jù)處理模式設(shè)置為1。如果系統(tǒng)的數(shù)據(jù)處理模式為0-1，則F-AP將壓縮模式矩陣與所有傳感器、F-AP和云端同步。

在1模式中，模型如下：

本地加載（m=local）：如果選擇本地卸載，數(shù)據(jù)不需要無線傳輸，傳感器可以直接計(jì)算收集的數(shù)據(jù)來獲得結(jié)果。公式如下所示：

（3）

邊緣計(jì)算霧節(jié)點(diǎn)卸載（m=edge）：在霧節(jié)點(diǎn)卸載選擇下，將收集到的數(shù)據(jù)上傳到F-AP進(jìn)行計(jì)算。在這種模式下，考慮到海量邊緣計(jì)算數(shù)據(jù)的時(shí)間相關(guān)性，該時(shí)間段內(nèi)的大部分信息是通過在時(shí)間長度為T的時(shí)間段內(nèi)進(jìn)行適當(dāng)?shù)念l率采樣獲得的。根據(jù)壓縮感知原理對(duì)數(shù)據(jù)進(jìn)行壓縮后，為壓縮率。處理后的數(shù)據(jù)顯著減少，壓縮大小如下：

（4）

式中，為通過壓縮以單位收集數(shù)據(jù)的實(shí)際大小。鑒于邊緣層導(dǎo)致的等待時(shí)間的變化，壓縮數(shù)據(jù)不能在邊緣服務(wù)器上直接計(jì)算，使用壓縮重建來恢復(fù)數(shù)據(jù)。在上述基礎(chǔ)上，得到基于壓縮感知的邊緣層時(shí)延為：

（5）

式中，為卸載到邊緣服務(wù)器后，邊緣服務(wù)器重建數(shù)據(jù)所需的時(shí)間。該時(shí)間可能為重新發(fā)送等待時(shí)間。鑒于小霧節(jié)點(diǎn)的落地，為了減少數(shù)據(jù)壓縮后傳輸?shù)难舆t，代入式（5）計(jì)算并獲得最終的對(duì)應(yīng)結(jié)果：

（6）

結(jié)果表明，如果數(shù)據(jù)大小、傳輸速度、時(shí)域壓縮比和邊緣計(jì)算能力相同，則和只與結(jié)果數(shù)據(jù)恢復(fù)算法有關(guān)。

在選擇將數(shù)據(jù)卸載到云端服務(wù)器時(shí)，首先會(huì)將數(shù)據(jù)首次加載到廣告節(jié)點(diǎn)進(jìn)行計(jì)算，再將數(shù)據(jù)加載到云端服務(wù)器。數(shù)據(jù)采集和卸載選項(xiàng)都使用了壓縮傳感算法。云端中的臨時(shí)變化表述如下：

（7）

式中，為數(shù)據(jù)下載到云端服務(wù)器后，在云端服務(wù)器上重建數(shù)據(jù)所花費(fèi)的時(shí)間。因其重新轉(zhuǎn)運(yùn)而延遲，并且云端服務(wù)器具有高計(jì)算能力，可以將數(shù)據(jù)重建所需的時(shí)間降至零。

隨著數(shù)據(jù)量的增加，訓(xùn)練組越來越趨于龐大，模型收斂性也逐漸增加，因此重傳的可能性顯著降低并且可以忽略。根據(jù)式（8），數(shù)據(jù)壓縮處理系統(tǒng)中的總壓縮數(shù)據(jù)表示如下：

（8）

1.3 基于LSTM神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)海量邊緣計(jì)算

數(shù)據(jù)處理

本文將利用上述壓縮海量邊緣計(jì)算數(shù)據(jù)，將LSTM神經(jīng)網(wǎng)絡(luò)與海量邊緣計(jì)算相結(jié)合，基于LSTM神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)處理算法如圖2所示構(gòu)建。

圖2 LSTM神經(jīng)網(wǎng)絡(luò)算法結(jié)構(gòu)示意圖

首先，使用上述方法在平臺(tái)上進(jìn)行電力交易管理，具體過程如圖3所示。用戶需要分析各種數(shù)據(jù)，將雜亂無章的數(shù)據(jù)通過訓(xùn)練和模型進(jìn)行處理。通過這種方法，得出具有準(zhǔn)確性和完整性的結(jié)果。

圖3 海量數(shù)據(jù)處理流程

構(gòu)建一個(gè)信息存儲(chǔ)庫，并以CSV格式進(jìn)行存儲(chǔ)。這種存儲(chǔ)格式使用逗號(hào)分隔數(shù)據(jù)，使得每個(gè)數(shù)據(jù)都成為此存儲(chǔ)文件的屬性。在實(shí)現(xiàn)算法時(shí)，需要嚴(yán)格按照?qǐng)D3的流程圖進(jìn)行編寫，以確保數(shù)據(jù)的準(zhǔn)確性和完整性。

2 實(shí)驗(yàn)論證

2.1 實(shí)驗(yàn)準(zhǔn)備

準(zhǔn)備一臺(tái)高性能邊緣計(jì)算服務(wù)器，配置最新的處理器和充足的內(nèi)存，用于處理海量數(shù)據(jù)。準(zhǔn)備相應(yīng)的數(shù)據(jù)集，確保數(shù)據(jù)量達(dá)到海量級(jí)別。將數(shù)據(jù)集分成兩個(gè)部分，一部分用于訓(xùn)練模型，另一部分用于實(shí)驗(yàn)測試。在訓(xùn)練過程中，使用邊緣計(jì)算服務(wù)器進(jìn)行訓(xùn)練，記錄所需開銷。在實(shí)驗(yàn)過程中，使用相同的服務(wù)器，利用傳統(tǒng)方法1和傳統(tǒng)方法2以及本文方法，分別對(duì)隨機(jī)選定的四組海量數(shù)據(jù)進(jìn)行處理，記錄所需開銷，如表1所示。

2.2 對(duì)比實(shí)驗(yàn)

由表1可知，本文方法能夠更好地縮短邊緣計(jì)算數(shù)據(jù)處理開銷，相比于傳統(tǒng)方法1和傳統(tǒng)方法2處理開銷分別減少2.23 s和3.13 s。實(shí)驗(yàn)結(jié)果表明，本文設(shè)計(jì)方法相比傳統(tǒng)方法處理效果更好。

3 結(jié)束語

在本文中，深入探討了基于LSTM神經(jīng)網(wǎng)絡(luò)的海量邊緣計(jì)算數(shù)據(jù)處理方法。通過結(jié)合邊緣計(jì)算的特性和LSTM的優(yōu)點(diǎn)，提出了一種新穎、高效的數(shù)據(jù)處理和分析方法。實(shí)驗(yàn)結(jié)果表明，該方法相比傳統(tǒng)的方法具有顯著的優(yōu)勢。

參考文獻(xiàn)

[1] 錢志遠(yuǎn)，張鳳凱，李堯．基于ESPRIT算法的陣列天線定向鉆孔雷達(dá)數(shù)據(jù)處理方法[J]．科學(xué)技術(shù)與工程，2023，23（16）：6810-6816．

[2] 魏楓展，柯澤鋒，賈德民，等．全可變液壓氣門系統(tǒng)氣門運(yùn)動(dòng)規(guī)律動(dòng)態(tài)測量與數(shù)據(jù)處理方法[J]．內(nèi)燃機(jī)與動(dòng)力裝置，2023，40（3）：1-7，32．

[3] 周揚(yáng)，郭慶坤，魏輝．基于VB編程語言的土地征收成片開發(fā)方案編制數(shù)據(jù)處理方法——以界址點(diǎn)成果表自動(dòng)化生成為例[J]．測繪與空間地理信息，2023，46（1）：115-117，121．

[4] 彭程，王健，王肖磊，等．基于微小質(zhì)量自動(dòng)測量系統(tǒng)的數(shù)據(jù)處理方法研究[J]．計(jì)量科學(xué)與技術(shù)，2022，66（5）：29-36．

[5] 劉寧，朱波，陰艷超，等．一種混合CGAN與SMOTEENN的不平衡數(shù)據(jù)處理方法[J]．控制與決策，2023，38（9）：2614-2621．