吳煒霞，向紅權，石 凱

（中國電子科技集團公司第三十研究所，四川 成都 610041）

0 引 言

隨著無人平臺的廣泛應用，其面臨的信息安全問題也成了研究熱點[1]。具有自主運動和決策能力的智能無人系統(tǒng)，不僅要面對傳統(tǒng)針對無人平臺的網(wǎng)絡攻擊，也要面對針對智能系統(tǒng)發(fā)起的新型安全攻擊。這將使智能無人系統(tǒng)面臨的安全威脅比有人系統(tǒng)更難發(fā)現(xiàn)和應對。由于沒有人工操作員在線實時地監(jiān)視、操作、決策和控制，導致智能無人系統(tǒng)面對異?；蛭唇?jīng)授權的系統(tǒng)行為時更加難以察覺。研究人工智能安全防御，推動無人平臺安全向智能安全轉(zhuǎn)變，構建智能無人系統(tǒng)的安全防御體系，具有很強的現(xiàn)實意義和學術價值。

2006年，多倫多大學的Hinton教授在頂級期刊Science上發(fā)表論文，并對深度學習進行定義，開啟了深度學習研究和發(fā)展的熱潮。深度學習方法帶動了語音、計算機視覺、自然語言處理等人工智能相關技術領域的跨越式發(fā)展，也在諸多行業(yè)應用中取得巨大成功[2]。

隨著人工智能在無人平臺中的廣泛應用，人工智能面臨的安全威脅也引入到智能無人系統(tǒng)中。2013年，谷歌研究人員首次證實深度神經(jīng)網(wǎng)絡面臨對抗樣本攻擊威脅[3]，由此引發(fā)了學術界對人工智能的安全性和可信賴性的擔憂。近年來，國內(nèi)外高度重視人工智能的安全性，開展了大量的技術研究[4-5]，規(guī)避人工智能帶來的安全風險挑戰(zhàn)。目前，國內(nèi)外針對人工智能安全的研究內(nèi)容包含：對抗樣本攻擊和防御、訓練數(shù)據(jù)投毒攻擊和防御、模型可解釋、算法后門攻擊和防御、聯(lián)邦學習、差分隱私機器學習、深度偽造及檢測、機器學習開源框架平臺安全漏洞挖掘修復等多個領域。

1 智能無人系統(tǒng)安全威脅分析

智能無人系統(tǒng)的整個生命周期中潛在的安全威脅[6]如圖1所示。

圖1 智能無人系統(tǒng)各階段面臨的安全威脅

（1）平臺任務規(guī)劃階段，主要面臨的安全風險有學習框架后門和漏洞攻擊、預訓練模型投毒攻擊、計算環(huán)境網(wǎng)絡攻擊等。

這個階段的主要任務是開發(fā)智能系統(tǒng)，選擇機器學習模型和框架，確保系統(tǒng)的準確性、魯棒性、計算資源和運行時效性等指標。

（2）訓練數(shù)據(jù)采集階段，典型的攻擊手段有數(shù)據(jù)投毒攻擊、標注投毒攻擊、數(shù)據(jù)集偏差攻擊和預處理攻擊等。

數(shù)據(jù)投毒攻擊的實施可以發(fā)生在離線數(shù)據(jù)采集、模型訓練階段和模型在線微調(diào)階段。數(shù)據(jù)投毒攻擊通過在訓練數(shù)據(jù)集合中注入虛假數(shù)據(jù)或混淆性標記信息，影響深度模型的歸納偏差，造成模型推理性能下降。通過在訓練集中添加污染后的有毒數(shù)據(jù)，使得正確模型的決策邊界出現(xiàn)偏離，從而造成測試樣本的分類出現(xiàn)錯誤。

（3）智能模型訓練階段，面臨的主要攻擊手段有后門植入攻擊、云中心攻擊、木馬攻擊、超參數(shù)攻擊和可解釋模型攻擊等。

首先在準備階段選擇算法框架時，可以利用框架、依賴包等軟件bug或漏洞，發(fā)起拒絕服務（Denial of Service，DoS）攻擊和逃避攻擊。攻擊者利用這些漏洞，不僅能竊取模型參數(shù)，更嚴重的后果是利用模型實施惡意攻擊。

深度學習網(wǎng)絡具有脆弱性，當攻擊者對開源模型進行攻擊時，會向其中注入惡意行為，生成“變異”的神經(jīng)網(wǎng)絡模型。變異的神經(jīng)網(wǎng)絡模型一般情況下表現(xiàn)正常，隱藏其中的惡意行為很難暴露，會引起重大的安全問題。攻擊者也可以通過數(shù)據(jù)污染和修改模型參數(shù)等方法誤導模型的訓練過程，改變訓練模型導致模型針對特定樣本分類出錯。

人工智能框架自身可能存在安全漏洞，而開發(fā)人員在實現(xiàn)人工智能算法時難免會出現(xiàn)內(nèi)存越界、空指針引用等程序漏洞。這些客觀存在的各種漏洞將成為影響人工智能模型安全運行的重要因素。

（4）智能模型推理階段，典型的攻擊手段有對抗樣本攻擊[7]，攻擊者通過構造惡意輸入樣本，導致模型以高置信度輸出錯誤結果，包含白盒攻擊和黑盒攻擊。

對抗樣本攻擊，通過在物理域中構建光電或射頻擾動，或者在數(shù)字域中添加對抗噪聲，這種細微擾動跨越了模型的決策邊界，導致智能算法判決出錯，使深度學習模型表現(xiàn)出一定的脆弱性。與傳統(tǒng)物理域的欺騙不同，對抗樣本攻擊的實施攻擊成本更低，部署和應用更加靈活。推理階段的許多攻擊方法不需要獲取數(shù)據(jù)和模型的先驗信息，采用黑盒方法，基于遷移性進行攻擊，安全危害極大。

（5）智能無人平臺應用階段，典型的攻擊手段有模型竊取攻擊、模型逆向攻擊[8-9]、無人系統(tǒng)通信網(wǎng)絡攻擊等。

模型竊取攻擊，攻擊者向目標網(wǎng)絡發(fā)送海量數(shù)據(jù)，模型通常會返回預測結果，有時甚至會返回置信度。如果將模型視為一個黑盒，通過這些精心構造的信息嘗試構建出與原模型盡可能相似的模型，實現(xiàn)對模型信息的提取。

模型逆向攻擊，模型的輸出結果隱含著訓練/測試數(shù)據(jù)的相關屬性，攻擊者利用返回的結果信息，恢復原始輸入數(shù)據(jù)，竊取用戶隱私。在分布式訓練智能模型的場景中，多個模型訓練方之間交換模型參數(shù)的梯度也可用于竊取訓練數(shù)據(jù)。

無人系統(tǒng)通信網(wǎng)絡攻擊，無人系統(tǒng)依賴各種通信網(wǎng)絡傳遞信息。特別是移動無人平臺，嚴重依賴無線通信鏈路實現(xiàn)測控信息的有效傳輸。這些通信網(wǎng)絡將面對偵察、監(jiān)聽、竊聽、篡改、飽和攻擊和病毒注入等攻擊，威脅無人系統(tǒng)的安全運行。

（6）智能無人系統(tǒng)部署階段，將測試完成后的模型部署到相應的軟硬件平臺中，并完成真實物理環(huán)境中用戶交互驗證。智能系統(tǒng)部署階段面臨的主要安全風險有軟件系統(tǒng)攻擊、硬件系統(tǒng)漏洞、操作系統(tǒng)后門等。此外，無人平臺工作在不受控的環(huán)境中，可能存在因數(shù)據(jù)采樣設備、GPU服務器、端側設備等基礎設施缺乏安全防護而被攻擊者入侵等現(xiàn)象，進而被利用實施惡意行為。

2 智能無人系統(tǒng)安全防御體系

智能無人系統(tǒng)安全防御體系構建了“線上防御”和“線下防御”一體化動態(tài)防護，“應用—樣本—無人—智能—驗證”全生命周期、綜合化、多維度安全防御體系。智能無人系統(tǒng)安全防御體系通過“感知—決策—防御—評估—溯源”的高效閉環(huán)，實現(xiàn)智能無人系統(tǒng)安全防御體系聯(lián)動，對攻擊和漏洞進行檢測與評估，支撐各類典型安全威脅的動態(tài)聯(lián)動防御，形成智能無人系統(tǒng)的安全威脅感知預警、智能要素的一體化防護、線上線下動態(tài)多維協(xié)同響應、智能無人系統(tǒng)安全攻防評估體系。智能無人系統(tǒng)的安全防御體系如圖2所示。

圖2 智能無人系統(tǒng)安全防御體系

“線下防御”是在模型發(fā)布前從智能安全和安全驗證兩個角度出發(fā)，建立智能載荷的魯棒性和安全性，對已知攻擊進行驗證，屬于最大化模型的防御能力?！熬€上防御”包含無人安全防護、樣本安全防護和系統(tǒng)安全治理。無人安全防護包含無人平臺安全、無人系統(tǒng)計算環(huán)境安全和無人系統(tǒng)通信網(wǎng)絡安全。智能模型部署到無人系統(tǒng)之后，從輸入樣本獲取和模型應用兩個角度出發(fā)，在確保傳感器數(shù)據(jù)準確的基礎上，實時檢測和擦除輸入樣本中的對抗噪聲，實現(xiàn)智能系統(tǒng)中數(shù)據(jù)和算法的全周期安全加固防御。智能無人安全治理軟件主要用于監(jiān)測智能無人系統(tǒng)運行狀態(tài)，完成工作日志存儲、上報和可視化呈現(xiàn)等功能，實現(xiàn)防御體系動態(tài)聯(lián)動。

2.1 應用安全

智能模型在實際部署應用的過程中，由于客觀或主觀的原因?qū)е轮悄苣Ｐ瓦\行時出現(xiàn)多種安全風險防護技術，其中包括：智能應用軟硬件安全、模型竊取防護、模型逆向防護[10-11]、導航定位傳感器數(shù)據(jù)防欺騙等。

2.2 樣本安全

智能載荷工作階段，首先確保獲取的任務傳感器數(shù)據(jù)準確，通過異常樣本檢測實現(xiàn)傳感器信號安全防護。獲取的傳感器數(shù)據(jù)在線檢測和擦除輸入樣本中的對抗樣本。其中，對抗樣本檢測屬于被動防御，若輸入的是對抗樣本，則進行數(shù)據(jù)預處理，將對抗樣本擦除，或?qū)箻颖具€原為正常樣本或非攻擊樣本。被動防御無須對智能系統(tǒng)本身進行更改，防御操作與智能系統(tǒng)解耦，具有靈活、復用性強的特點，適合在線對抗樣本防護應用場景。

2.3 無人安全防護

無人平臺的安全防護可以通過平臺失控預警實現(xiàn)。無人平臺通過基于多因素的平臺失控綜合判斷能力，提供預警信號。

無人系統(tǒng)計算環(huán)境安全主要通過對平臺上的操作系統(tǒng)、軟硬件模塊、芯片、計算服務平臺等設施進行安全加固與安全控制來實現(xiàn)。

無人系統(tǒng)通信網(wǎng)絡安全主要包括無線傳輸安全、網(wǎng)絡傳輸安全和網(wǎng)絡安全傳輸控制等防御技術。

2.4 智能無人系統(tǒng)安全治理軟件

安全治理軟件首先通過建立智能無人系統(tǒng)全生命周期初始安全行為基線，對智能無人系統(tǒng)的安全狀態(tài)進行綜合監(jiān)測和展現(xiàn)，持續(xù)對智能無人系統(tǒng)全生命周期各階段行為信息進行收集。通過大數(shù)據(jù)綜合分析、機器學習、人工智能等方法對收集的信息進行分析、建模和分類判斷，發(fā)現(xiàn)其中隱藏的有意/無意惡意行為以及未知攻擊威脅。進而通過數(shù)據(jù)標識實現(xiàn)全路徑追蹤溯源，構建一體化、智能化、聯(lián)動式的各環(huán)節(jié)和全鏈條人工智能行為監(jiān)控及追蹤溯源軟件，實現(xiàn)對智能無人系統(tǒng)全生命周期的綜合化、智能化監(jiān)管。

2.5 智能安全

智能安全是智能無人系統(tǒng)安全的重要組成部分，包括智能框架、智能模型、智能數(shù)據(jù)、對抗樣本多個要素的安全防護[12]。

智能框架安全檢測修復，對來自第三方的預訓練模型和機器學習開源框架平臺進行安全檢測，并對發(fā)現(xiàn)的安全問題即時修復，以提前感知風險，降低安全事件發(fā)生概率，制定完善的漏洞管理流程，提高快速響應安全漏洞問題的能力。

智能模型安全，完成模型后門的檢測和消除。模型后門檢測方面，針對后門模型參數(shù)構建觸發(fā)器檢測機制，依據(jù)多維度檢測標準建立過濾條件，實現(xiàn)對模型中隱藏后門的快速識別。模型后門消除方面，針對常規(guī)后門攻擊、基于圖案觸發(fā)器的攻擊可以采用網(wǎng)絡裁剪法、后門逆向法等后門防御技術。

智能數(shù)據(jù)安全，對惡意的訓練數(shù)據(jù)進行篩選剔除，保證訓練數(shù)據(jù)的純凈可用，實現(xiàn)數(shù)據(jù)投毒攻擊的防范。

對抗樣本防御[13-14]，是對抗樣本嚴重威脅了深度神經(jīng)網(wǎng)絡模型的安全。對抗樣本主動防御通過網(wǎng)絡蒸餾、對抗訓練等方式增強深度學習模型本身的魯棒性。

2.6 智能無人安全驗證平臺

構建包含智能無人測試方案庫、典型智能模型庫、典型智能威脅庫、安全性評估庫等測試驗證組件。模擬智能無人系統(tǒng)的應用場景、部署環(huán)境、運行使用過程，檢測智能無人系統(tǒng)安全脆弱性，并進行安全風險評估。采用可重構、體系化和模塊化的智能無人系統(tǒng)攻防驗證試驗技術，構建攻防演練平臺，以及面向攻防場景的安全對抗演示驗證環(huán)境。

3 智能無人系統(tǒng)安全防御關鍵技術

3.1 全生命周期安全評估體系構建技術

智能無人系統(tǒng)承載了不同類型的智能模型和應用，面對不同類型的安全攻擊和系統(tǒng)不可控行為，研究安全性測試方法，建立全周期安全等級量化評估方法。從智能無人模型對抗防御能力和行為表征兩個角度出發(fā)，建立智能無人系統(tǒng)的安全性標準體系，實現(xiàn)安全性的標準評價。

以多層次、多維度安全可信指標體系為基礎，研究智能無人系統(tǒng)安全可信屬性動態(tài)推理技術，分析安全可信指標在系統(tǒng)動態(tài)演化過程中的相互關聯(lián)與相互影響，建立智能無人系統(tǒng)安全可信屬性動態(tài)演變模型，實現(xiàn)由智能算法、組件、行為等孤立指標向系統(tǒng)綜合指標的轉(zhuǎn)變，進而構建跨領域智能無人系統(tǒng)的安全性評估理論體系。

在智能無人系統(tǒng)生命周期安全評估體系的基礎上，檢驗目標系統(tǒng)面對不同攻擊時的健壯性，從總體上評估深度學習系統(tǒng)的魯棒性，以制定更好的防御策略來應對對抗攻擊等安全威脅。

3.2 智能框架安全防護技術

以機器學習開源框架平臺和預訓練模型庫為代表的算法基礎設施，因開發(fā)者蓄意破壞或代碼實現(xiàn)不完善而面臨后門算法嵌入、代碼安全漏洞等風險。

以典型人工智能算法框架（如Tensorflow等）為研究對象，從第三方庫、內(nèi)存分配、識別污染訓練數(shù)據(jù)、識別惡意樣本、軟件實現(xiàn)方面的漏洞、數(shù)據(jù)可控監(jiān)測、程序執(zhí)行監(jiān)測等多個維度對常用的人工智能平臺進行安全性的檢測和增強。對框架本身的漏洞進行修復，實現(xiàn)框架缺少的實時監(jiān)測報警等功能，從而最大限度地減少安全風險。

3.3 高對抗能力的模型投毒檢測防護技術

面向模型的防護主要檢測模型中是否含有后門，若含有，則將后門消除。后門消除主要利用剪枝、微調(diào)以及基于微調(diào)的剪枝3種方法。后門觸發(fā)器會在模型的神經(jīng)元上產(chǎn)生較大的激活值，使得模型出現(xiàn)誤分類的現(xiàn)象。目前，通過剪枝操作刪除模型中與正常分類無關的神經(jīng)元，以實現(xiàn)后門攻擊防御。提取正常數(shù)據(jù)在模型神經(jīng)元上的激活值，根據(jù)從小到大的順序?qū)ι窠?jīng)網(wǎng)絡進行剪枝，直到剪枝后的模型在數(shù)據(jù)集上的正確率不高于預先設定的閾值為止。然而，若攻擊者意識到防御者可能采取剪枝防御操作，將后門特征嵌入到正常特征激活的相關神經(jīng)元上，這種防御策略將會失效。研究應對這種高對抗性攻擊的防御能力，通過使用干凈數(shù)據(jù)集對模型進行微調(diào)便可以有效消除模型中的后門，結合剪枝和微調(diào)的防御方法能在多種場景下消除模型中的后門。

3.4 高泛化能力對抗樣本安全防護技術

對抗樣本攻擊主要是指在智能模型推理階段的攻擊，通過在原始樣本中加入精心構造的微小噪聲便能使深度學習模型識別出錯，主要包括白盒攻擊、防護遷移和模型邊界刻畫技術。高泛化能力對抗樣本安全防護技術通過產(chǎn)生新型對抗樣本的對抗網(wǎng)絡，不斷輸入人工智能算法模型，提高神經(jīng)網(wǎng)絡的魯棒性，增強防護模型的泛化能力，形成演進協(xié)同的模型防護機制，構建具有擴展能力的魯棒性學習模型。

4 結 語

本文分析了智能無人系統(tǒng)的安全威脅，構建了融合傳統(tǒng)無人平臺安全防御和人工智能安全防御在內(nèi)的全新智能無人防御體系，梳理了主要關鍵技術，積極推動傳統(tǒng)無人平臺的安全防護向智能無人系統(tǒng)的安全防御演進。下一步，將智能無人系統(tǒng)安全防御體系及關鍵技術應用于各類型無人系統(tǒng)的人工智能載荷，如人工智能光電系統(tǒng)、無人自主運動系統(tǒng)、無人智能決策系統(tǒng)等，將是深化落實智能無人安全防御研究的主要方向。