陳傲晗 杜建斌 景鑫淼

摘要：物聯(lián)網(wǎng)有望革命性地改變醫(yī)療、能源、教育、交通、制造、軍事、農(nóng)業(yè)等多個行業(yè)。然而，要在各行業(yè)成功部署物聯(lián)網(wǎng)，需要設(shè)計和實(shí)施檢測安全漏洞的方法。近年來，雖然許多學(xué)者和工業(yè)界研究者已經(jīng)利用機(jī)器學(xué)習(xí)技術(shù)設(shè)計和實(shí)施了計算機(jī)網(wǎng)絡(luò)入侵檢測系統(tǒng)，但在物聯(lián)網(wǎng)領(lǐng)域的研究相對較少。為解決物聯(lián)網(wǎng)中的入侵檢測問題，我們采用了專門的損失函數(shù)，能夠自動降低簡單樣本的權(quán)重，從而有效地訓(xùn)練模型。我們利用兩種深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)架構(gòu)實(shí)現(xiàn)了這一方法。在三個不同物聯(lián)網(wǎng)領(lǐng)域的數(shù)據(jù)集上進(jìn)行的廣泛實(shí)驗(yàn)評估結(jié)果顯示，相較于使用交叉熵?fù)p失函數(shù)，我們的方法在準(zhǔn)確度、精確度、F1和MCC指標(biāo)上均有顯著提升，分別高出24%、39%、39%和60%。

關(guān)鍵詞：焦點(diǎn)損失函數(shù)；卷積神經(jīng)網(wǎng)絡(luò)；基線模型

引言

物聯(lián)網(wǎng)（the internet of things，IoT）是通過有線和無線網(wǎng)絡(luò)相互連接的設(shè)備網(wǎng)絡(luò)。該技術(shù)可能徹底改變醫(yī)療、能源、教育、交通、制造、軍事、農(nóng)業(yè)等多個行業(yè)[1]。IoT設(shè)備不僅在工業(yè)領(lǐng)域，還在個人生活中扮演著重要角色。然而，與任何其他網(wǎng)絡(luò)信息系統(tǒng)一樣，IoT也容易受到網(wǎng)絡(luò)攻擊的影響。例如，2016年10月21日，利用Mirai惡意軟件，一系列利用IoT設(shè)備漏洞的分布式拒絕服務(wù)（DDoS）攻擊在美國全境爆發(fā)。因此，保護(hù)IoT中可能收集和處理敏感私人數(shù)據(jù)的設(shè)備免受各種網(wǎng)絡(luò)攻擊的威脅變得必不可少[2]。

1. 基于焦點(diǎn)損失函數(shù)的深度學(xué)習(xí)模型

1.1 任務(wù)建模

模型的輸入數(shù)據(jù)是一個二維的矩陣，其中為一個D維的向量。標(biāo)簽yi與xi相對應(yīng)且，為標(biāo)簽類別。對于每個數(shù)據(jù)集來說，有N個樣本，其中每個樣本有L個攻擊類別。神經(jīng)網(wǎng)絡(luò)將使用這些數(shù)據(jù)進(jìn)行訓(xùn)練以得到一個函數(shù)，被稱為估計函數(shù)，對于任意一個樣本xi，優(yōu)化的目標(biāo)是希望與真實(shí)的函數(shù)在某些特定的損失（如交叉熵?fù)p失函數(shù)）下距離最小。

1.2 深度學(xué)習(xí)模型

1.2.1 深度前饋神經(jīng)網(wǎng)絡(luò)

一般來說，DFNN具有至少3層，即輸入層、輸出層和至少一個隱藏層。這里僅介紹具有一個隱藏層的網(wǎng)絡(luò)計算方式，具有多個隱藏層的網(wǎng)絡(luò)同理。令，分別為隱藏層和輸出層的可訓(xùn)練權(quán)值矩陣，則從輸入層到隱藏層的計算可以表示為：

其中，為輸入數(shù)據(jù)集，bh表示偏置，為非線性激活函數(shù)，例如Sigmod函數(shù)。容易知道隱藏層的輸出。最終，輸出層的計算可以表示為：

其中，M應(yīng)與數(shù)據(jù)集中類別個數(shù)相同，例如在二分類問題中，M=2。

1.2.2 卷積神經(jīng)網(wǎng)絡(luò)

CNN的優(yōu)勢在于，由于在計算過程中存在卷積核，可以學(xué)習(xí)到某一樣本xi的鄰域信息并將卷積核大小之內(nèi)的信息采用某種方式進(jìn)行融合，比如常見的最大池化或平均池化。一個卷積神經(jīng)網(wǎng)絡(luò)有若干卷積層和一個深度前饋神經(jīng)網(wǎng)絡(luò)構(gòu)成，其中卷積層的輸出作為深度前饋神經(jīng)網(wǎng)絡(luò)的輸入。卷積層通常由兩部分操作完成，分別為卷積操作和池化操作。對于數(shù)據(jù)集矩陣來說，卷積核為一個自定義大小的矩陣C，不妨令，在進(jìn)行卷積操作時，C中的元素與X中的元素按照從左到右從上到下的順序，以自定義的步長移動C，做逐元素（element-wise）乘法。池化操作將按照某種規(guī)則做逐元素乘法得到的矩陣進(jìn)行壓縮，比如最大池化會選擇4個數(shù)字中最大的作為代表參與之后的計算。

1.3 焦點(diǎn)損失函數(shù)

在各個領(lǐng)域中，許多數(shù)據(jù)集普遍存在類別不平衡問題。交叉熵?fù)p失是一種傳統(tǒng)的損失函數(shù)，在分類任務(wù)中被廣泛使用。首先考慮最簡單的二分類問題中的交叉熵?fù)p失函數(shù)，

在二分類問題中，樣本xi對應(yīng)的標(biāo)簽，分別表示正類和負(fù)類。上式表示模型對樣本xi的標(biāo)簽yi=1做出的概率估計?；旧?，交叉熵?fù)p失試圖通過使用負(fù)對數(shù)似然來減少整個數(shù)據(jù)集上的平均損失。因此，任何使用這種損失函數(shù)（如交叉熵?fù)p失）來訓(xùn)練模型的深度學(xué)習(xí)模型都能夠準(zhǔn)確地預(yù)測多數(shù)類別，但無法正確地預(yù)測少數(shù)類別，因?yàn)槠淠繕?biāo)是最小化訓(xùn)練集上的平均損失。近年來，針對計算機(jī)視覺中的類別不平衡問題，提出了專門的損失函數(shù)（如Dice損失和焦點(diǎn)損失）。例如，Dice損失使用Dice系數(shù)來解決這個問題，如下所示：

其中表示樣本xi所屬類別的估計值。然而，在類別極度不平衡且分母較小的情況下，比如入侵檢測任務(wù)的數(shù)據(jù)集，Dice損失的梯度本質(zhì)上是不穩(wěn)定的。因此，少數(shù)樣本的錯誤分類可能會導(dǎo)致Dice系數(shù)顯著降低，這對于少數(shù)類別不利，因此在入侵檢測任務(wù)中表現(xiàn)不佳。為了解決入侵檢測任務(wù)中的這個問題，本文使用了最初用于目標(biāo)檢測場景的焦點(diǎn)損失函數(shù)。焦點(diǎn)損失函數(shù)的關(guān)鍵思想是重新塑造損失函數(shù)，使得簡單的示例權(quán)重降低，而訓(xùn)練集重點(diǎn)放在難以正確分類的負(fù)例上。令

則焦點(diǎn)損失函數(shù)定義為：

其中可以被視為調(diào)整因子來平衡類別權(quán)重。進(jìn)一步地，可以令

其中at加入可以更大程度上解決數(shù)據(jù)集中的類別不平衡問題。在γ選取過大的情況下，少數(shù)類別將會獲得比多數(shù)類別更大的權(quán)重，反之亦然。

2. 實(shí)驗(yàn)

2.1 模型實(shí)現(xiàn)

在模型的實(shí)現(xiàn)上，本文使用了深度學(xué)習(xí)模型DFNN和CNN。實(shí)現(xiàn)的DFNN包含三個隱藏層，分別包含50、30和20個神經(jīng)元；輸出層包含與攻擊類型數(shù)量相匹配的神經(jīng)元。對于WUSTL-EHMS-2020數(shù)據(jù)集，使用了一個包含50個神經(jīng)元的單隱藏層。最終的分類是通過softmax函數(shù)執(zhí)行的。使用了ReLU激活函數(shù)和Adam優(yōu)化器。loT入侵檢測的數(shù)據(jù)集由一系列一維數(shù)據(jù)組成，因此本文使用了一維卷積神經(jīng)網(wǎng)絡(luò)（conv1D）進(jìn)行實(shí)驗(yàn)。對于conv1D，本文使用了32個濾波器，核大小為3。池化操作上使用了最大池化。與DFNN類似，對于conv1D，我們應(yīng)用了relu激活函數(shù)和Adam優(yōu)化器。每個網(wǎng)絡(luò)訓(xùn)練了100個epoch，并使用了提前停止技術(shù)。在基線模型中，本文使用了交叉熵作為要對比的損失函數(shù)。而在本文提出的模型實(shí)現(xiàn)中，使用了焦點(diǎn)損失函數(shù)作為一種專門的損失函數(shù)。焦點(diǎn)損失函數(shù)有兩個超參數(shù)，即焦點(diǎn)因子和平衡因子。在Bot-IoT數(shù)據(jù)集的訓(xùn)練中，對于DFNN，我們將焦點(diǎn)因子設(shè)置為2，平衡因子設(shè)置為1；對于 conv1D，我們將這些參數(shù)分別設(shè)置為5和5。在WUSTL-IIoT-2021數(shù)據(jù)集上的訓(xùn)練中，對于DFNN，我們將焦點(diǎn)因子和平衡因子分別設(shè)置為 2.5 和 0.15；對于 conv1D，我們將焦點(diǎn)因子和平衡因子分別設(shè)置為 2.0 和 0.3。最后，在WUSTL-EHMS-2020數(shù)據(jù)集上的訓(xùn)練中，對于 FNN，我們將焦點(diǎn)因子γ和平衡因子α分別設(shè)置為 2 和 2；對于 conv1D，我們將焦點(diǎn)因子γ和平衡因子α分別設(shè)置為 2 和 0.2。

2.2 評價指標(biāo)

本文使用以下定量指標(biāo)來評估各種ML分類器的性能：準(zhǔn)確率（Acc）、精確度（Pre）、召回率（Rec）、F1-Score。在我們的實(shí)驗(yàn)中，我們計算了所有四個參數(shù)的宏平均，這是評估不平衡數(shù)據(jù)集方法的期望度量標(biāo)準(zhǔn)。Acc表示算法預(yù)測特定事件發(fā)生的準(zhǔn)確程度；Pre指算法預(yù)測的不同類型入侵的頻率。Rec表示算法預(yù)測為入侵且實(shí)際為入侵的比例。精確度和召回率的調(diào)和平均的倒數(shù)稱為F1-Score。最近，Matthew's Correlation Coefficient（MCC）在評估分類性能時被證明比準(zhǔn)確率和F1-Score產(chǎn)生更真實(shí)的評估。MCC只有在四個類別（ 真正例TP、假反例FN、真反例TN和假正例FP）中都取得良好結(jié)果時才會產(chǎn)生高分。此外，MCC不受數(shù)據(jù)集不平衡的影響。本文還將MCC作為評估指標(biāo)之一。各個指標(biāo)的計算方法如表1所示。

2.3 數(shù)據(jù)集

2.3.1 WUSTL-lloT-2021數(shù)據(jù)集

WUSTL-IIoT-2021數(shù)據(jù)集包含工業(yè)物聯(lián)網(wǎng)（IIoT）相關(guān)的數(shù)據(jù)。該數(shù)據(jù)集是使用IIoT測試平臺中描述的監(jiān)控控制和數(shù)據(jù)采集架構(gòu)生成的。該測試平臺旨在盡可能真實(shí)地模擬實(shí)際的工業(yè)系統(tǒng)，并允許進(jìn)行實(shí)際的網(wǎng)絡(luò)攻擊。作者已經(jīng)收集了約2.7GB的數(shù)據(jù)并對收集到的數(shù)據(jù)集進(jìn)行了預(yù)處理和清洗過程（刪除缺失值和損壞值，即無效條目）。該數(shù)據(jù)集具有45個屬性，包含與以下四種不同類型的攻擊相關(guān)的數(shù)據(jù)：DoS、命令注入、偵察和后門。需要強(qiáng)調(diào)的是，該數(shù)據(jù)集沒有單獨(dú)的測試和訓(xùn)練數(shù)據(jù)集。因此，我們根據(jù)數(shù)據(jù)項的時間戳對數(shù)據(jù)集進(jìn)行了排序，然后將前80%的樣本用于訓(xùn)練，剩余的用于測試。

2.3.2 WUSTL-EHMS-2020數(shù)據(jù)集

WUSTL-EHMS-2020數(shù)據(jù)集是使用實(shí)時增強(qiáng)型醫(yī)療監(jiān)測系統(tǒng)（EHMS）生成的。測試平臺收集了網(wǎng)絡(luò)流量指標(biāo)和患者生物指標(biāo)。EHMS測試平臺包括四個組件：醫(yī)療傳感器、網(wǎng)關(guān)、網(wǎng)絡(luò)和控制與可視化。在該測試平臺中，數(shù)據(jù)流從連接到患者身體的傳感器開始，然后繼續(xù)傳輸?shù)骄W(wǎng)關(guān)。使用交換機(jī)和路由器，網(wǎng)關(guān)將數(shù)據(jù)傳輸?shù)椒?wù)器以進(jìn)行可視化。數(shù)據(jù)在到達(dá)服務(wù)器之前可以被攻擊者截取。這個數(shù)據(jù)集包含了關(guān)于中間人攻擊的數(shù)據(jù)，包括欺騙和數(shù)據(jù)注入。在這個數(shù)據(jù)集中，數(shù)據(jù)項具有43個特征：其中35個是網(wǎng)絡(luò)流量指標(biāo)，另外8個是患者生物特征。該數(shù)據(jù)集中的樣本有兩種類型的標(biāo)簽：正常和攻擊。根據(jù)源MAC地址特征，作者將攻擊者電腦的MAC地址標(biāo)記為1，其余的標(biāo)記為0。WUSTL-EHMS-2020數(shù)據(jù)集與WUSTL-IIoT-2021數(shù)據(jù)集類似，沒有單獨(dú)的測試和訓(xùn)練數(shù)據(jù)集。由于它不包含時間戳特征，我們隨機(jī)地將數(shù)據(jù)集分割為訓(xùn)練和測試數(shù)據(jù)集。

3. 基線模型

OriM：模型是使用原始數(shù)據(jù)集（即未進(jìn)行平衡處理的數(shù)據(jù)集）進(jìn)行訓(xùn)練的。我們使用數(shù)據(jù)集中的原始訓(xùn)練樣本，使用傳統(tǒng)的損失函數(shù)，即交叉熵?fù)p失函數(shù)，來訓(xùn)練分類器。BalM：模型是在經(jīng)過平衡處理的數(shù)據(jù)集上使用隨機(jī)過采樣進(jìn)行訓(xùn)練的。我們使用隨機(jī)過采樣來平衡三個訓(xùn)練數(shù)據(jù)集。隨機(jī)過采樣涉及在少數(shù)類別中隨機(jī)復(fù)制樣本，以平衡數(shù)據(jù)集。在整個采樣過程中，從每個類別中獨(dú)立地選擇樣本。經(jīng)過隨機(jī)過采樣平衡訓(xùn)練數(shù)據(jù)集后，在Bot-IoT、WUSTL-IIoT-2021和WUSTL-EHMS-2020數(shù)據(jù)集中，各類別的訓(xùn)練樣本數(shù)量分別約為1233052、797261和10275。Dice：模型是使用Dice損失函數(shù)進(jìn)行訓(xùn)練的。在處理圖像分割中的數(shù)據(jù)不平衡問題時，通常會使用Dice損失函數(shù)。Dice損失是基于Dice系數(shù)計算的。一般情況下，Dice系數(shù)可以通過將實(shí)際值和預(yù)測值的總和除以實(shí)際值和預(yù)測值的交集的兩倍來計算。本文在所有三個原始訓(xùn)練數(shù)據(jù)集上使用Dice損失函數(shù)來訓(xùn)練DL模型，用于多類別和二分類任務(wù)。本文將上述三種控制變量得來的處理方法，分別與DFNN和CNN進(jìn)行組合，并在對應(yīng)的數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，以探究本文提出方法的有效性。

3.1 結(jié)果分析

3.1.1 Bot-loT數(shù)據(jù)集

表2包含了我們使用Bot-IoT數(shù)據(jù)集評估的各種模型的性能結(jié)果。DFNN-Focal和CNN-Focal在準(zhǔn)確性、精確率、F1分?jǐn)?shù)和MCC分?jǐn)?shù)方面明顯優(yōu)于設(shè)定的基線方法。具體地，就MCC而言，DFNN-Focal和CNN-Focal相對于FNN-OriM和CNN-OriM分別提升了10%和29%。另外，可以看到，DFNN-Focal和CNN-Focal在所有比較的方法中表現(xiàn)最佳。同樣，DFNN-Focal和CNN-Focal的準(zhǔn)確率分別比DFNN-OriM和CNN-OriM提高了3%和17%；在F1-Score方面，DFNN-Focal和CNN-Focal分別提高了3%和16%。這種性能上的提升可以歸因于DFNN-Focal和CNN-Focal中使用的焦點(diǎn)損失所實(shí)現(xiàn)的動態(tài)縮放梯度更新。

3.1.2 WUSTL-lloT-2021數(shù)據(jù)集

表3包含了不同模型在WUSTL-IIoT-2021數(shù)據(jù)集上的性能結(jié)果?？傮w而言，所有方法在該數(shù)據(jù)集上的性能與它們在Bot-IoT數(shù)據(jù)集上的性能相似。在所有同類方法中，DFNN-Focal和CNN-Focal具有最高的準(zhǔn)確性、精確度、F1-Score和MCC。在所有基于DFNN的方法中，DFNN-Focal的MCC比最接近的FNN-OriM高出25%；盡管CNN-Focal的MCC僅比CNN-OriM高2%，但它在所有基于CNN的方法中具有最高的MCC。相對于DFNN-OriM和CNN-OriM，DFNN-Focal和CNN-Focal的F1-Score分別提高了18%和5%。

3.1.3 WUSTL-EHMS-2020數(shù)據(jù)集

表4描述了基線模型和本文提出的方法在WUSTL-EHMS-2020數(shù)據(jù)集上的結(jié)果?？梢钥吹?，無論是在準(zhǔn)確性、精確度、F1-Score還是MCC方面，DFNN-Focal和CNN-Focal都表現(xiàn)得比其他基線DL分類器要好。綜合來看，與本文方法最接近的是OriM基線方法，其中，DFNN-Focal的性能分別提高了0.002，2，0.001，0.003和1.1。類似地，與CNN-OriM相比，CNN-Focal在準(zhǔn)確性、精確度、F1-Score和MCC方面的性能分別提高了0.019，2，0.004和0.012。因此，無論是DFNN-Focal還是CNN-Focal都只表現(xiàn)出了微小的改善。從這些結(jié)果中可以得出結(jié)論，使用焦點(diǎn)損失函數(shù)的方法在F1分?jǐn)?shù)和MCC方面始終優(yōu)于所有競爭模型，并且在準(zhǔn)確性、精確率和召回率方面也更好。在所有數(shù)據(jù)集上，DFNN-Dice和CNN-Dice的MCC分?jǐn)?shù)都為零。這是因?yàn)镈ice損失在少數(shù)類上表現(xiàn)不佳。

結(jié)語

在過去的十年中，研究人員已經(jīng)使用機(jī)器學(xué)習(xí)技術(shù)設(shè)計和實(shí)現(xiàn)了計算機(jī)網(wǎng)絡(luò)的入侵檢測系統(tǒng)，但在物聯(lián)網(wǎng)領(lǐng)域的入侵檢測方面，還沒有做太多的工作。本文填補(bǔ)了這一空白，提出了一種新的基于深度學(xué)習(xí)的物聯(lián)網(wǎng)入侵檢測方法，即使用焦點(diǎn)損失函數(shù)，并在物聯(lián)網(wǎng)的三個不同領(lǐng)域中使用三個不同的數(shù)據(jù)集進(jìn)行了性能評估。通過廣泛的實(shí)驗(yàn)評估將本文提出的方法的性能與幾個基線模型進(jìn)行了比較。我們的評估結(jié)果表明，相對于基線模型，加入焦點(diǎn)損失函數(shù)的方法在多個數(shù)據(jù)集上的準(zhǔn)確性、精確度、F1-Score和MCC分別提高了多達(dá)24%、39%、39%和60%。

參考文獻(xiàn)：

[1]樊琳娜，李城龍，吳毅超，等.物聯(lián)網(wǎng)設(shè)備識別及異常檢測研究綜述[EB/OL].（2023-5-26）[2023-08-30].https：//doi.org/ 10.13328/j.cnki.jos.006818.

[2]劉云，鄭文鳳，張軼.代價約束算法對入侵檢測特征提取的優(yōu)化研究[J].計算機(jī)工程與科學(xué)，2022，44（3）：447-453.

作者簡介：陳傲晗，本科，研究方向：物聯(lián)網(wǎng)網(wǎng)絡(luò)安全領(lǐng)域；杜建斌，本科，研究方向：計算機(jī)網(wǎng)絡(luò)安全領(lǐng)域；景鑫淼，本科，研究方向：威脅防御、網(wǎng)絡(luò)安全標(biāo)準(zhǔn)化。