2024年4月，美國國土安全部（DHS）發(fā)布了《降低人工智能風(fēng)險(xiǎn)：關(guān)鍵基礎(chǔ)設(shè)施所有者和運(yùn)營者功能安全和網(wǎng)絡(luò)安全指南》（以下簡稱《指南》）。《指南》以2024年1月網(wǎng)絡(luò)安全和基礎(chǔ)設(shè)施安全局（CISA）對(duì)行業(yè)風(fēng)險(xiǎn)管理機(jī)構(gòu)（SRMA）和相關(guān)獨(dú)立監(jiān)管機(jī)構(gòu)開展的跨行業(yè)人工智能（AI）風(fēng)險(xiǎn)評(píng)估研究為起點(diǎn)；由CISA分析了跨行業(yè)AI用例和應(yīng)用模式，同時(shí)建立了三種不同類型跨行業(yè)AI風(fēng)險(xiǎn)的研究方法；并由國土安全部借鑒了上述研究成果，結(jié)合美國政府現(xiàn)有政策，制定了具體的功能安全和網(wǎng)絡(luò)安全準(zhǔn)則，以減輕關(guān)鍵基礎(chǔ)設(shè)施面臨的跨行業(yè)AI風(fēng)險(xiǎn)。

一、發(fā)布背景

2023年10月30日，美國總統(tǒng)拜登正式簽署第14110號(hào)《關(guān)于安全、可靠、可信開發(fā)和使用人工智能》行政令，為美國發(fā)展AI提供了總體指導(dǎo)。其中，明確要求在該行政令發(fā)布之日起180天內(nèi)，國土安全部部長應(yīng)與商務(wù)部部長協(xié)調(diào)，并根據(jù)SRMA和國土安全部部長確定的其他監(jiān)管機(jī)構(gòu)意見，酌情將國家標(biāo)準(zhǔn)與技術(shù)研究院（NIST）的《人工智能風(fēng)險(xiǎn)管理框架》（AI RMF）以及其他適當(dāng)?shù)陌踩改?，納入相關(guān)功能安全和網(wǎng)絡(luò)安全指南，供關(guān)鍵基礎(chǔ)設(shè)施所有者和運(yùn)營者使用。根據(jù)以上要求，國土安全部與商務(wù)部、16個(gè)關(guān)鍵基礎(chǔ)設(shè)施行業(yè)SRMA（見表1）以及相關(guān)獨(dú)立監(jiān)管機(jī)構(gòu)協(xié)調(diào)，針對(duì)影響關(guān)鍵基礎(chǔ)設(shè)施系統(tǒng)和功能的跨行業(yè)AI風(fēng)險(xiǎn)制定了《指南》，以滿足關(guān)鍵基礎(chǔ)設(shè)施所有者和運(yùn)營者業(yè)務(wù)需求，同時(shí)應(yīng)對(duì)國家安全和公共安全。

二、主要內(nèi)容概述

（一）行業(yè)人工智能用例和應(yīng)用模式

在《指南》前期工作中，SRMA對(duì)各自行業(yè)AI用例和應(yīng)用模式分析研究，確定了150余種有益應(yīng)用，CISA將上述有益應(yīng)用劃分為10類（見圖1）。

（二）跨行業(yè)人工智能風(fēng)險(xiǎn)類別

《指南》基于各行業(yè)報(bào)告的數(shù)據(jù)，明確了三類跨行業(yè)AI風(fēng)險(xiǎn)類別，即使用AI的攻擊、針對(duì)AI系統(tǒng)的攻擊、AI設(shè)計(jì)和實(shí)施的缺陷。使用AI的攻擊是指利用AI的自動(dòng)、增強(qiáng)、規(guī)劃、擴(kuò)展功能，對(duì)關(guān)鍵基礎(chǔ)設(shè)施實(shí)施物理攻擊或網(wǎng)絡(luò)攻擊；針對(duì)AI系統(tǒng)的攻擊是指針對(duì)關(guān)鍵基礎(chǔ)設(shè)施AI系統(tǒng)實(shí)施有針對(duì)性的攻擊；AI設(shè)計(jì)和實(shí)施的缺陷是指AI工具或系統(tǒng)在規(guī)劃、結(jié)構(gòu)、實(shí)施、執(zhí)行、維護(hù)方面存在缺陷或不足，導(dǎo)致其產(chǎn)生故障或其他意外，進(jìn)而影響關(guān)鍵基礎(chǔ)設(shè)施運(yùn)營。

（三）關(guān)鍵基礎(chǔ)設(shè)施所有者和運(yùn)營者指南

《指南》遵循NIST發(fā)布的AI RMF，從治理、映射、測量、管理四個(gè)方面構(gòu)建了應(yīng)對(duì)AI風(fēng)險(xiǎn)的核心準(zhǔn)則（見圖2），其中，治理作為當(dāng)前企業(yè)風(fēng)險(xiǎn)管理（ERM）功能的組成部分，橫跨整個(gè)AI RMF，明確了組織對(duì)AI風(fēng)險(xiǎn)的管理方法。

1.治理：建立人工智能風(fēng)險(xiǎn)管理組織文化

《指南》支持建立政策、流程和程序，以預(yù)測、識(shí)別和管理AI全生命周期的利益和風(fēng)險(xiǎn)。關(guān)鍵基礎(chǔ)設(shè)施所有者和運(yùn)營者可通過將AI功能安全和網(wǎng)絡(luò)安全優(yōu)先事項(xiàng)與其自身組織原則和戰(zhàn)略優(yōu)先事項(xiàng)保持一致，來培養(yǎng)風(fēng)險(xiǎn)管理文化。該組織方法應(yīng)遵循“設(shè)計(jì)安全”理念，即領(lǐng)導(dǎo)者優(yōu)先考慮和主導(dǎo)功能安全和網(wǎng)絡(luò)安全成果，并構(gòu)建以安全為首要任務(wù)的組織結(jié)構(gòu)。

2.映射：了解自身人工智能使用情境和風(fēng)險(xiǎn)狀況

《指南》為關(guān)鍵基礎(chǔ)設(shè)施的所有者和運(yùn)營者提供了評(píng)估和降低AI風(fēng)險(xiǎn)的基礎(chǔ)指引。關(guān)鍵基礎(chǔ)設(shè)施所有者和運(yùn)營者應(yīng)首先了解AI系統(tǒng)的使用方式、地點(diǎn)和起因，以便評(píng)估特定情境和特定行業(yè)的安全風(fēng)險(xiǎn)，并解決其對(duì)功能安全和網(wǎng)絡(luò)安全的潛在影響。

3.測量：開發(fā)系統(tǒng)用于評(píng)估、分析和跟蹤人工智能風(fēng)險(xiǎn)

《指南》明確了可復(fù)制的方法和度量標(biāo)準(zhǔn)，來測量和監(jiān)控AI全生命周期的風(fēng)險(xiǎn)和影響。關(guān)鍵基礎(chǔ)設(shè)施所有者和運(yùn)營者可開發(fā)滿足自身特定情境的測試、評(píng)估、驗(yàn)證和確認(rèn)（TEVV）流程，以指導(dǎo)應(yīng)用和AI風(fēng)險(xiǎn)管理決策。

4.管理：根據(jù)人工智能風(fēng)險(xiǎn)對(duì)功能安全和網(wǎng)絡(luò)安全影響進(jìn)行排序并處理

《指南》定義了風(fēng)險(xiǎn)管理控制措施以及實(shí)施和維護(hù)這些措施的最佳實(shí)踐，以提高AI系統(tǒng)的效益，同時(shí)降低不利于功能安全和網(wǎng)絡(luò)安全的影響因素。為了很好地實(shí)施“管理”，關(guān)鍵基礎(chǔ)設(shè)施所有者和運(yùn)營者應(yīng)根據(jù)管理流程，定期分配資源并制定應(yīng)對(duì)措施，來化解已映射和測量出的AI風(fēng)險(xiǎn)。

三、主要特點(diǎn)分析

（一）明確《指南》重要意義和應(yīng)用范圍

《指南》指出了AI有望為美國關(guān)鍵基礎(chǔ)設(shè)施提供變革性解決方案，但也將使其受到關(guān)鍵故障、物理攻擊和網(wǎng)絡(luò)攻擊的影響，同時(shí)也為擴(kuò)大和增強(qiáng)攻擊提供新途徑。因此，制定關(guān)鍵基礎(chǔ)設(shè)施功能安全和網(wǎng)絡(luò)安全指南，降低AI風(fēng)險(xiǎn)，具有極其重大意義，不僅是關(guān)鍵基礎(chǔ)設(shè)施所有者和運(yùn)營者的業(yè)務(wù)需要，也是國家安全和公共安全的當(dāng)務(wù)之急。

《指南》應(yīng)用范圍廣泛，足以適用所有16個(gè)關(guān)鍵基礎(chǔ)設(shè)施行業(yè)，然而AI風(fēng)險(xiǎn)與具體情況密切相關(guān)，且隨著新的AI系統(tǒng)和用例的開發(fā)，風(fēng)險(xiǎn)和應(yīng)對(duì)策略也可能發(fā)生變化，關(guān)鍵基礎(chǔ)設(shè)施所有者和運(yùn)營者還應(yīng)根據(jù)實(shí)際情況綜合運(yùn)用《指南》。鑒于AI供應(yīng)商也在確保關(guān)鍵基礎(chǔ)設(shè)施安全可靠方面發(fā)揮舉足輕重的作用，因此，《指南》也同樣適用于AI供應(yīng)商。

此外，《指南》旨在為關(guān)鍵基礎(chǔ)設(shè)施所有者和運(yùn)營者開展功能安全和網(wǎng)絡(luò)安全提供參考，無論是實(shí)質(zhì)上還是程序上，均未設(shè)立任何在法律或公平上的權(quán)力或權(quán)利，不以任何方式產(chǎn)生約束力。

（二）細(xì)分行業(yè)AI風(fēng)險(xiǎn)類型及應(yīng)對(duì)策略

《指南》詳細(xì)說明了CISA對(duì)跨行業(yè)AI風(fēng)險(xiǎn)子類別的歸納總結(jié)，并結(jié)合各個(gè)風(fēng)險(xiǎn)類別針對(duì)性提出應(yīng)對(duì)策略。

第一類風(fēng)險(xiǎn)類別是指“使用AI的攻擊”。該風(fēng)險(xiǎn)類別包括的風(fēng)險(xiǎn)子類別有“網(wǎng)絡(luò)破壞、自動(dòng)物理攻擊、物理目標(biāo)和漏洞識(shí)別、社會(huì)性破壞、供應(yīng)鏈破壞、盜竊知識(shí)產(chǎn)權(quán)和逆向工程、武器開發(fā)”。該風(fēng)險(xiǎn)類別的應(yīng)對(duì)策略方法包括：生成內(nèi)容識(shí)別技術(shù)、防御性AI能力、實(shí)施加密、主機(jī)安全、網(wǎng)絡(luò)安全、設(shè)置紅隊(duì)、設(shè)計(jì)安全、提升用戶安全意識(shí)等。

第二類風(fēng)險(xiǎn)類別是指“針對(duì)AI系統(tǒng)的攻擊”。該風(fēng)險(xiǎn)類別包括的風(fēng)險(xiǎn)子類別有惡意操縱算法或數(shù)據(jù)、規(guī)避攻擊、服務(wù)中斷攻擊、數(shù)據(jù)被盜、模型反轉(zhuǎn)和提取等。該風(fēng)險(xiǎn)類別的應(yīng)對(duì)策略方法包括：替代流程冗余、數(shù)據(jù)屏蔽、數(shù)據(jù)集驗(yàn)證、防御性AI能力、實(shí)施加密、主機(jī)安全、人工監(jiān)督、信息與通信技術(shù)供應(yīng)鏈風(fēng)險(xiǎn)管理、身份和訪問控制、輸入驗(yàn)證、模型驗(yàn)證、網(wǎng)絡(luò)安全、設(shè)置紅隊(duì)、設(shè)計(jì)安全、設(shè)置軟件物料清單、提升用戶安全意識(shí)等。

第三類風(fēng)險(xiǎn)類別是指“AI設(shè)計(jì)和實(shí)施的缺陷”。該風(fēng)險(xiǎn)類別包括的風(fēng)險(xiǎn)子類別有系統(tǒng)和設(shè)計(jì)缺陷、系統(tǒng)維護(hù)不一致、AI系統(tǒng)與非AI系統(tǒng)互操作性和配置、過度依賴AI、統(tǒng)計(jì)偏差、主題專家短缺、供應(yīng)鏈漏洞、對(duì)AI的依賴不足等。該風(fēng)險(xiǎn)類別的應(yīng)對(duì)策略方法包括：數(shù)據(jù)、模型和功能驗(yàn)證、人工監(jiān)督、信息與通信技術(shù)供應(yīng)鏈風(fēng)險(xiǎn)管理、身份和訪問控制、AI工具和模型的非公開實(shí)例、設(shè)置軟件物料清單等。

（三）呼應(yīng)已有規(guī)定的同時(shí)將持續(xù)更新

《指南》除采用CISA提出的三種不同類別跨行業(yè)AI風(fēng)險(xiǎn)外，還充分考慮了NIST制定的AI RMF關(guān)于功能安全、網(wǎng)絡(luò)安全和復(fù)原能力的所有子類，并參照AI RMF來制定應(yīng)對(duì)AI風(fēng)險(xiǎn)的四項(xiàng)核心準(zhǔn)則，即治理、映射、測量和管理，同時(shí)還將功能安全和網(wǎng)絡(luò)安全準(zhǔn)則與AI RMF特定子類的內(nèi)容對(duì)比列出，以方便對(duì)比查看。此外，國土安全部還參考了其他相關(guān)文件內(nèi)容，包括《安全人工智能系統(tǒng)開發(fā)指南》《網(wǎng)絡(luò)安全信息表：安全部署人工智能系統(tǒng)》以及白宮管理和預(yù)算辦公室（OMB）關(guān)于政府機(jī)構(gòu)使用AI的備忘錄等。

《指南》說明了國土安全部將隨著AI風(fēng)險(xiǎn)和應(yīng)對(duì)策略的發(fā)展，以及新的AI系統(tǒng)和用例的開發(fā)，在必要時(shí)繼續(xù)為關(guān)鍵基礎(chǔ)設(shè)施所有者和運(yùn)營者更新這些功能安全和網(wǎng)絡(luò)安全指南，同時(shí)還將考慮基于不斷發(fā)展的技術(shù)、標(biāo)準(zhǔn)更新、關(guān)鍵基礎(chǔ)設(shè)施風(fēng)險(xiǎn)評(píng)估意見、AI功能安全和網(wǎng)絡(luò)安全委員會(huì)意見以及其他利益相關(guān)者意見，開發(fā)包括應(yīng)對(duì)手冊在內(nèi)的其他資源，以協(xié)助實(shí)施這些指導(dǎo)方針，支持關(guān)鍵基礎(chǔ)設(shè)施所有者和運(yùn)營者把握AI技術(shù)進(jìn)步帶來的新機(jī)遇和新挑戰(zhàn)。

四、總結(jié)和啟示

《指南》通過分析AI用例和應(yīng)用模式，明確跨行業(yè)AI風(fēng)險(xiǎn)類別，并針對(duì)特定風(fēng)險(xiǎn)制定關(guān)鍵基礎(chǔ)設(shè)施功能安全和網(wǎng)絡(luò)安全指南，為所有者和運(yùn)營者提供指導(dǎo)，應(yīng)對(duì)國家安全和公共安全風(fēng)險(xiǎn)。

《指南》的發(fā)布，對(duì)我國關(guān)鍵信息基礎(chǔ)設(shè)施安全保護(hù)具有重要的參考意義，建議從以下三方面開展工作：一是針對(duì)AI技術(shù)快速發(fā)展和行業(yè)應(yīng)用特點(diǎn)，加快開展AI安全問題研究，并提出針對(duì)性應(yīng)對(duì)策略和安全措施；二是增強(qiáng)國家安全和公共安全風(fēng)險(xiǎn)意識(shí)，落實(shí)關(guān)鍵信息基礎(chǔ)設(shè)施運(yùn)營者的責(zé)任義務(wù)，定期開展關(guān)鍵基礎(chǔ)設(shè)施風(fēng)險(xiǎn)評(píng)估和安全檢測，及時(shí)發(fā)現(xiàn)問題；三是加快落實(shí)《關(guān)鍵信息基礎(chǔ)設(shè)施安全保護(hù)條例》，制定相關(guān)配套的標(biāo)準(zhǔn)指南，有效指導(dǎo)關(guān)鍵信息基礎(chǔ)設(shè)施運(yùn)營者開展安全保護(hù)工作。