寧庭勇 熊婕 胡永波

(云賽智聯(lián)股份有限公司，上海 200233)

0 引言

縱觀當今社會，人工智能(Artificial Intelligence，AI)已廣泛滲透經(jīng)濟生產(chǎn)活動的各個環(huán)節(jié)。AI將催生新技術(shù)、新產(chǎn)品、新產(chǎn)業(yè)、新業(yè)態(tài)、新模式，實現(xiàn)社會生產(chǎn)力的整體躍升，推動社會進入智能經(jīng)濟時代。目前，我國大型企業(yè)基本都已在持續(xù)規(guī)劃投入實施AI項目，已有超過10%的企業(yè)將AI與其主營業(yè)務相結(jié)合，實現(xiàn)產(chǎn)業(yè)地位的提高和經(jīng)營效益的優(yōu)化[1-2]。

雖然AI技術(shù)已經(jīng)開始在眾多行業(yè)中找到落地場景，成為助推傳統(tǒng)業(yè)務數(shù)字化轉(zhuǎn)型的重要工具，但AI技術(shù)在工程化和應用落地過程中還面臨諸多挑戰(zhàn)[3]。例如，產(chǎn)品能力參差不齊、缺乏行業(yè)基準和標桿、用戶選型存在困難、由算法缺陷和應用安全隱患所衍生的安全事件頻發(fā)等，這些問題制約了AI技術(shù)產(chǎn)業(yè)的深入發(fā)展。

1 人工智能領(lǐng)域應用面臨安全考驗

1.1 安全現(xiàn)狀

根據(jù)艾瑞咨詢研究院的報告[2]，過去幾年AI安全研究論文呈現(xiàn)爆炸式增長。近兩年，全球政府、學術(shù)界和工業(yè)界發(fā)布的AI安全性方面的研究論文多達3500 篇[2]，美國、中國、歐盟之間的激烈競爭預計將在可信AI競賽中繼續(xù)。

現(xiàn)實中的AI安全事件正在快速增長，尤其在汽車、生物識別、機器人技術(shù)和互聯(lián)網(wǎng)行業(yè)。作為AI的早期采用者，最受關(guān)注的行業(yè)是互聯(lián)網(wǎng)(23%)、網(wǎng)絡安全(17%)、生物識別技術(shù)(16%)和自治(13%)[1-2]。AI行業(yè)對于現(xiàn)實世界的黑客攻擊還沒有做好充分的準備，60種最常用的機器學習(ML)模型平均至少有一個安全漏洞[4]。

1.2 芯片、算法和數(shù)據(jù)的安全可控變得十分重要

隨著近5年AI滲透率在各行業(yè)的提升，AI的局限和問題逐漸暴露，如對抗樣本帶來的安全隱患、原理不可解釋等。能真正落地，并用于關(guān)鍵應用場景的AI方案必須是安全、可控、可理解的，否則很難說服用戶買單，尤其是企業(yè)級、政府級客戶。

國內(nèi)近些年在AI安全標準方面建樹不少。中國信息通信研究院自2018年就啟動了AI第三方評測工作[3]，針對產(chǎn)業(yè)實際問題，建設(shè)權(quán)威的測試數(shù)據(jù)集和軟硬件環(huán)境，牽頭完成AI評測標準體系，其中《ITU-T F.748.11(2020)》是國際首個AI芯片評測標準；2018年7月，中國電子工業(yè)標準化技術(shù)協(xié)會發(fā)布由中國人工智能開源軟件發(fā)展聯(lián)盟起草的《T/CESA 1026-2018人工智能深度學習算法評估規(guī)范》團標；2021年3月，中國金融標準化技術(shù)委員會正式發(fā)布了由中國人民銀行提出的《人工智能算法金融應用評價規(guī)范》(JR/T 0221-2021)行標。這些研究和標準研究機構(gòu)正在從芯片、算法、應用等各個層面不斷地給與市場指導規(guī)范。

1.3 人工智能的發(fā)展也在改變網(wǎng)絡安全的發(fā)展

AI技術(shù)的發(fā)展在很大程度上也改變了原有的網(wǎng)絡攻防模式，自動化攻防的出現(xiàn)更是加速了整個網(wǎng)絡空間安全領(lǐng)域的發(fā)展。AI與安全是相輔相成的關(guān)系，AI的應用給網(wǎng)絡空間賦予了新的內(nèi)涵，網(wǎng)絡安全和大數(shù)據(jù)技術(shù)的進步也能讓AI在更多的領(lǐng)域得以應用[5]。國內(nèi)主要的安全廠商如安恒信息、深信服、360等都先后在自身的安全產(chǎn)品中加入了大數(shù)據(jù)和AI技術(shù)用以抗衡網(wǎng)絡攻防中巨量數(shù)據(jù)分析和攻擊特征識別等問題。

2 人工智能應用安全架構(gòu)

2.1 人工智能技術(shù)應用所面臨的安全問題類別

從AI產(chǎn)業(yè)層次來看，AI分為基礎(chǔ)能力層、感知與認知技術(shù)層、領(lǐng)域應用賦能層[6]。基礎(chǔ)層主要是AI的三大基本要素，即算力、算法和數(shù)據(jù)[7]；技術(shù)層主要是基于AI的研究方向分類，主要分為感知類技術(shù)和認知類技術(shù)；應用層主要為AI技術(shù)落地在各領(lǐng)域智能化場景實現(xiàn)AI賦能，具體參見圖1。

圖1 人工智能產(chǎn)業(yè)發(fā)展技術(shù)層級

整體上看，AI系統(tǒng)面臨以下幾個方面的安全挑戰(zhàn)：從軟件及硬件方面來看，理論上應用、模型、平臺和芯片的編碼都可能存在漏洞或后門，一旦攻擊者發(fā)現(xiàn)，則能夠利用這些漏洞或后門實施高級攻擊。從算法模型方面來看，攻擊者同樣可能在模型中植入后門并實施高級攻擊，由于部分模型的不可解釋性，在模型中植入的惡意后門會很難被檢測。在模型參數(shù)層面，服務提供者往往只希望提供模型查詢服務，而不希望暴露自己訓練的模型，但通過多次查詢，攻擊者能夠構(gòu)建出一個相似的模型，進而獲得模型的相關(guān)信息，甚至可以訓練出對抗樣本用以攻擊原有模型。同樣，如果訓練模型時的樣本覆蓋性不足，會使模型魯棒性不強，當面對惡意樣本攻擊時，模型也會無法給出正確的判斷結(jié)果。從數(shù)據(jù)安全方面來看，如果攻擊者能夠在訓練階段摻入惡意數(shù)據(jù)，則會影響模型推理能力，如果攻擊者在推理階段對要判斷的數(shù)據(jù)加入少量噪音，就會產(chǎn)生刻意改變判斷結(jié)果的嚴重問題。在用戶提供訓練數(shù)據(jù)的場景下，攻擊者有可能通過反復查詢訓練好的模型獲得用戶的隱私信息進而產(chǎn)生敏感數(shù)據(jù)泄露的問題[8]。

以上這些問題有的存在于基礎(chǔ)層，有的存在于技術(shù)層面，大部分都是在應用層使用后暴露出來，如近幾年來特斯拉自動駕駛發(fā)生的Autopilot安全事故[9]，有很大一部分都是訓練樣本不足或現(xiàn)實環(huán)境中的對抗樣本識別出現(xiàn)偏差后造成的嚴重后果。

面對如上眾多而又廣泛的安全問題，AI系統(tǒng)部署到業(yè)務場景時需要在三個層次實施防御和安全增強。一是注意對已知攻擊進行有針對性地防御；二是通過各種措施提升模型健壯性；三是使用數(shù)據(jù)安全技術(shù)保證數(shù)據(jù)的安全和隱私保密；最后，就是在模型部署的業(yè)務中設(shè)計各種安全機制保證架構(gòu)的安全。

參考AI應用架構(gòu)，其主要分為模型訓練環(huán)境和生產(chǎn)環(huán)境兩個部分，一般情況下兩個環(huán)境是相對隔離并運行在不同的物理或云環(huán)境中(見圖2)。

圖2 人工智能應用架構(gòu)

2.2 人工智能訓練環(huán)境中的安全威脅

在訓練環(huán)境中，樣本數(shù)據(jù)準備環(huán)節(jié)要防范數(shù)據(jù)投毒攻擊以造成模型傾斜，為模型提供可解釋性樣本數(shù)據(jù)的同時要注意反饋機制規(guī)避虛假數(shù)據(jù)導入，并要保證系統(tǒng)的數(shù)據(jù)自洽性；在模型訓練環(huán)節(jié)，要防止閃避和后門攻擊，同時在模型設(shè)計方面要保證模型的可驗證性及樣本數(shù)據(jù)足夠完整，并要充分考慮數(shù)據(jù)噪聲，訓練出足夠健壯的模型；訓練出的推理模型要針對模型竊取攻擊進行測試和驗證，并對模型的可解釋性進行充分的分析，同時針對應用場景需求，可以設(shè)計多個模型進行適配。

2.3 人工智能推理環(huán)境中的安全威脅

在生產(chǎn)環(huán)境中，數(shù)據(jù)采集環(huán)節(jié)要防止數(shù)據(jù)過度采集，對個人屬性的生物特征，如人臉、指紋、聲音等信息要適度進行脫敏或轉(zhuǎn)換后再進行利用，在數(shù)據(jù)傳輸和應用環(huán)節(jié)可適當采用數(shù)據(jù)加密技術(shù)和訪問控制手段進行保護；在業(yè)務系統(tǒng)模型管理方面，要有專門的模型倉庫管理和監(jiān)控機制，要保障模型的安全訪問和使用情況審計，對每個不同的模型實例都要有詳細的訪問控制和調(diào)用的日志管理；在最終的業(yè)務邏輯中，在滿足業(yè)務穩(wěn)定運行的條件約束下，系統(tǒng)需要分析識別最佳方案并發(fā)送至控制系統(tǒng)進行驗證并實施。通常業(yè)務安全架構(gòu)要對各個功能模塊進行隔離，并設(shè)置對模塊之間的訪問控制機制，以減少攻擊程序針對推理程序的攻擊面。在業(yè)務系統(tǒng)中，使用持續(xù)監(jiān)控和攻擊檢測程序，用以綜合分析系統(tǒng)安全狀態(tài)，給出當前威脅風險級別。當威脅風險較大時，綜合決策可以不采納自動系統(tǒng)的建議，將最終控制權(quán)交回界面，通過人員判斷保證在遭受可疑攻擊情況下的可控性。在業(yè)務系統(tǒng)進行關(guān)鍵操作時，業(yè)務程序要對AI推理給出的分析結(jié)果進行確定性分析，當確定性低于閾值時交回界面人工處理。在業(yè)務模型可選的情況下，可以搭建業(yè)務“多模型架構(gòu)”，通過對關(guān)鍵業(yè)務部署多個AI模型，避免單個模型出現(xiàn)異常時不影響業(yè)務最終決策，從而提升整個系統(tǒng)的強壯性。

3 人工智能應用安全生命周期

為了應對AI應用所面對的各種威脅，筆者建議使用AI安全生命周期框架來啟動AI應用安全計劃(見圖3)。

圖3 人工智能應用安全生命周期

在AI應用安全生命周期中，4個區(qū)域代表了AI系統(tǒng)從開始規(guī)劃設(shè)計到部署應用成熟使用的各個階段，并不斷循環(huán)進行持續(xù)改進。這些步驟從基本到復雜依次進行，后面的步驟依賴于前面的結(jié)果。AI生命周期參考了NIST網(wǎng)絡安全框架和Gartner的自適應安全架構(gòu)(網(wǎng)絡安全生命周期管理的流行參考框架)。

3.1 識別階段

該階段的目標是通過資產(chǎn)管理、威脅建模和風險評估活動了解當前人工智能安全態(tài)勢。其行動為：通過資產(chǎn)管理，識別和記錄所有使用的人工智能模型、數(shù)據(jù)集、云平臺和供應商；通過威脅建模，了解破壞模型、數(shù)據(jù)集、環(huán)境和供應鏈的風險；通過風險評估，執(zhí)行安全審計并確定模型、數(shù)據(jù)集和其環(huán)境中的漏洞優(yōu)先級。

3.2 保護階段

該階段的目標是實施保護性控制，如安全意識、系統(tǒng)強化和安全人工智能開發(fā)實踐。其行動為：通過建立安全意識，從管理、產(chǎn)品安全和人工智能開發(fā)等各方面對利益相關(guān)者進行安全風險教育；使用模型強化措施，對模型的攻擊應用進行安全防御，確保安全輸入，防止數(shù)據(jù)外泄；通過安全開發(fā)，完善應用程序安全的常規(guī)流程，涵蓋從開發(fā)到落地的整個過程。

3.3 檢測階段

該階段的目標是通過定期滲透測試，驗證安全監(jiān)控和威脅檢測系統(tǒng)抵御主動攻擊。其行動為：通過安全監(jiān)控，收集和分析來自業(yè)務系統(tǒng)中推理業(yè)務的事件和異常，如訪問、錯誤和度量問題；通過威脅檢測，檢測并阻止針對業(yè)務系統(tǒng)機密性、完整性和可用性的對抗性攻擊[10]；通過滲透測試，進行紅藍對抗演習，以評估系統(tǒng)的穩(wěn)健性，并檢查檢測和響應控制機制是否可靠。

3.4 響應階段

該階段的目標是通過引入調(diào)查、遏制實踐、緩解工具、技術(shù)和程序，為人工智能安全事件做好準備。其行動為：通過特征提取，建立人工智能安全事件分類、影響分析和技術(shù)調(diào)查的專業(yè)知識；通過事故響應，制定事故控制和與利益相關(guān)者溝通的行動指導手冊；通過建立應急預案，改善技術(shù)控制和組織政策，以減少重復發(fā)生人工智能安全事件的機會。

4 結(jié)束語

綜上所述，人工智能應用的大規(guī)模普及和發(fā)展需要很強的安全性保證。本文主要從當前人工智能應用所面臨的主要安全威脅進行分類描述，對人工智能應用落地的訓練和推理環(huán)境所面臨的三大安全威脅進行了剖析。最后，結(jié)合安全領(lǐng)域的現(xiàn)有經(jīng)驗，提出了人工智能應用安全生命周期的階段和具體方法論，供業(yè)內(nèi)實施人工智能應用時予以參考。