周鴻祎

面對網(wǎng)絡戰(zhàn)的嚴峻挑戰(zhàn)，亟需一套基于“大數(shù)據(jù)+威脅情報+安全知識+安全專家”的全新戰(zhàn)法，構建一個覆蓋我國整個網(wǎng)絡國土的智能網(wǎng)絡防御系統(tǒng)，即國家網(wǎng)絡安全大腦。

近年來，人工智能（AI）快速發(fā)展的同時，帶來的安全問題也越來越突出?，F(xiàn)實世界中，我們看到針對物聯(lián)網(wǎng)、智能家居、無人駕駛汽車等AI系統(tǒng)的攻擊不斷出現(xiàn)，AI用于網(wǎng)絡攻擊、網(wǎng)絡犯罪的事件也時有發(fā)生。習近平總書記強調，要確保人工智能安全、可靠、可控。人工智能和安全是一體之兩翼、驅動之雙輪，需要有機結合、協(xié)調發(fā)展。沒有安全，人工智能就難以持續(xù)健康地發(fā)展;反過來，安全也需要人工智能賦能，才能更好地解決未來復雜的安全問題。

一、人工智能大熱背后的隱憂

目前，人工智能已上升到國家層面的激烈博弈，競爭趨向白熱化，我國人工智能取得長足進步。清華大學發(fā)布的《中國人工智能發(fā)展報告2018》顯示，我國AI綜合實力已位居世界前列：AI論文總量和高被引論文數(shù)量均為世界第一，人才擁有量全球第二;截至2018年6月，我國AI企業(yè)數(shù)量已達1011家，位列世界第二;從2013年到2018年第一季度，我國AI投融資占全球的60%，成為全球最“吸金”的國家。

但與此同時，我國人工智能發(fā)展仍存在一些突出問題。

一是核心技術比較薄弱，發(fā)展基礎不夠牢固。我國AI優(yōu)勢主要體現(xiàn)在應用方面，在硬件和算法等核心技術領域依然不強。2018年5月，牛津大學發(fā)布《解密中國AI夢》報告，認為我國綜合AI潛力指數(shù)只有美國的一半。

二是頂尖人才數(shù)量上，與美、英、德等國還有較大差距。2018年12月，《哈佛商業(yè)評論》公布全球最受關注的十大AI領軍人物榜單，我國內地僅一人上榜。

三是產(chǎn)學研結合不夠緊密，大量成果還停留在大學和科研機構里。數(shù)據(jù)顯示，我國科研機構與企業(yè)合作的AI論文占比只有2.55%，而美、英、法、德等國都在6%以上。

四是過于“迷信”機器學習、深度學習，忽視人的作用。事實上，現(xiàn)在很多AI只是一種基于數(shù)據(jù)智能的概率判斷系統(tǒng)，還不能代替人做出決策。比如，美國大數(shù)據(jù)公司Palantir就有4000名安全專家，AI和專家協(xié)同才能發(fā)揮作用。

五是產(chǎn)業(yè)出現(xiàn)“盲目跟風、重復投資”的泡沫化傾向。許多企業(yè)打著AI口號，其實只是偽人工智能。同時，AI商業(yè)變現(xiàn)比較困難，未來如果找不到合適的落地場景，將影響AI行業(yè)的健康發(fā)展。

二、人工智能帶來的安全挑戰(zhàn)

除了AI自身發(fā)展存在隱憂外，更重要的是AI面臨越來越嚴重的安全挑戰(zhàn)，表現(xiàn)為三個方面：AI技術自身不完善引起的安全問題;AI被不當使用帶來的安全問題;AI進化帶來的倫理道德風險。

（一）人工智能自身安全隱患

1.傳感器可以被攻擊

AI廣泛依賴各類智能傳感器，但這些傳感器自身并不安全，易遭受攻擊。比如，智能汽車的雷達、攝像頭、無鑰匙進入系統(tǒng)、藍牙等都能被破解，引發(fā)安全事故。360公司研究人員就曾利用千元民用設備，實現(xiàn)了對特斯拉毫米波雷達、超聲傳感器的欺騙，使其產(chǎn)生錯誤判斷。

再比如，智能手機、智能手表、智能音箱、車載語音助手等都可以遭受“海豚音攻擊”而被控制。360公司與浙大聯(lián)合開展的試驗結果表明，“海豚音攻擊”可以在用戶毫不知情的情況下，對受害設備撥打任意電話、發(fā)短信、打開視頻通話等，受影響的設備種類多、范圍廣。

2.訓練數(shù)據(jù)可以被污染

很多人工智能都依靠海量數(shù)據(jù)訓練。攻擊者通過構建畸形或者污染的訓練數(shù)據(jù)，或者給數(shù)據(jù)打上錯誤標簽，就可以欺騙AI系統(tǒng)。比如，通過在路標上放置正方形、炸彈形狀或花朵形狀，可以誤導無人駕駛出錯。

近來，360安全人員發(fā)現(xiàn)AI在數(shù)據(jù)預處理階段還存在數(shù)據(jù)流降維攻擊的風險。研究團隊提出了一種新型的針對數(shù)據(jù)預處理脆弱性的降維攻擊方法，其有效性已在谷歌、微軟、阿里云等AI云平臺上得到驗證。

3.內部算法可以被欺騙

許多AI系統(tǒng)易于遭受對抗樣本（Adversarial examples）攻擊，通過在樣本數(shù)據(jù)上添加一些很小的擾動，可以誘使算法識別出現(xiàn)誤判、漏判。比如，通過增加生成原始音頻的“基線”失真噪音可以欺騙語音識別系統(tǒng)。

此外，現(xiàn)在很多AI都采用深度學習模型，由于并非基于規(guī)則，如果輸入一組特殊的、未訓練過的數(shù)據(jù)，可能產(chǎn)生無法預言的結果。比如，今年4月，比利時研究人員發(fā)現(xiàn)將一塊40cm×40cm的神奇貼紙掛在身上，就可以“屏蔽”人臉識別系統(tǒng)。

4.實現(xiàn)平臺有漏洞

AI算力離不開背后大量軟硬件的支撐。但是軟件只要是人寫的，就一定會有錯，就有漏洞。據(jù)統(tǒng)計，每千行代碼中通常會有4到6個漏洞，是漏洞就能被黑客利用，引發(fā)嚴重后果。

現(xiàn)在AI系統(tǒng)大都基于TensorFlow、PyTorch、Caffe等開源軟件框架實現(xiàn)，360公司近三年發(fā)現(xiàn)了217個AI漏洞，其中60多個與這些開源軟件框架及組件相關，可以造成致任意代碼執(zhí)行、拒絕服務攻擊、信息泄露等危害。

（二）人工智能濫用已經(jīng)凸顯

除了AI自身不完備可能帶來風險之外，它也可能被濫用做壞事。

1.增加了無人值守系統(tǒng)的危險

現(xiàn)在越來越多的AI機槍、無人機、巡航導彈、智能戰(zhàn)車等自主武器系統(tǒng)走向戰(zhàn)場，這些武器能夠自主發(fā)現(xiàn)目標和自動射擊，如果被黑客“劫持”，將造成可怕后果。前年在日內瓦聯(lián)合國武器公約會議上，一段關于蜂群無人機殺人的視頻引起世界恐慌。這些無人機起飛后可以通過人臉識別將“死亡黑名單”的人挑選出來，給予致命一擊。

2.提升了黑客網(wǎng)絡對抗能力

黑客可以利用機器學習創(chuàng)建逃避安全檢測的惡意軟件。比如，利用AI攻擊僵尸網(wǎng)絡識別器，自動生成逃避檢測的域名，防止被機器學習算法檢測出來。AI還使得網(wǎng)絡武器的制作、分發(fā)和執(zhí)行等流程自動化，大大提升攻擊效率。更為棘手的是，這些網(wǎng)絡武器容易在地下交易和傳播，管控起來十分困難。

3.可能會危害國家和社會安全

AI可以精確地進行個人畫像，再結合社交網(wǎng)絡強大的煽動能力，甚至能影響政治格局。去年Facebook海量用戶數(shù)據(jù)泄露影響美國政治選舉的事件，已顯示出一些端倪。AI也降低了個人做假成本，使網(wǎng)絡欺騙更難識別。未來可能會出現(xiàn)許多假新聞、假視頻，顛覆人們“百聞不如一見”的固有觀念，嚴重沖擊社會信任。

4.可能侵害用戶隱私信息

許多AI應用擁有用戶的指紋、聲紋、行蹤軌跡、面部特征等隱私信息。這些應用一旦出現(xiàn)安全問題，海量用戶隱私數(shù)據(jù)可能被非法利用。比如，前段時間某酒店集團旗下的5億條用戶數(shù)據(jù)在暗網(wǎng)上被泄露售賣，走紅的換臉軟件“ZAO”涉嫌違規(guī)收集用戶隱私等。

（三）人工智能沖擊倫理道德

AI可能會對現(xiàn)有社會倫理道德體系造成沖擊。一方面，部分AI系統(tǒng)設計者過于迷信技術，由于缺乏人文邏輯導致設計缺陷，引發(fā)機器取代人獲得控制權的倫理問題。另一方面，由于AI自身不具備法律主體資格，AI安全導致的財產(chǎn)損失、人身傷害等難以追責，給現(xiàn)有法律和倫理帶來嚴峻挑戰(zhàn)。

比如，今年3月埃塞俄比亞航空公司發(fā)生波音737MAX墜機事件，根本原因就是在人與機器（機動特性增強系統(tǒng)MCAS）對操縱負有決定權的“搏斗”中，人類輸給了機器，機器出錯卻難以追溯責任。未來無人車、無人工廠、無人碼頭等AI系統(tǒng)一旦出錯，最后的決定權是留給機器還是人值得深思。

綜上所述，AI并不像人們想象得那樣美好，在提高生產(chǎn)生活水平的同時，也可能帶來各種安全隱患，甚至成為人類安全殺手。AI和安全需要協(xié)調發(fā)展、雙輪驅動。

三、利用人工智能解決安全問題

雖然AI可能帶來安全的負面問題，但AI本身是一把“雙刃劍”，通過AI賦能也可以更好地解決新時代的安全問題。

（一）人工智能助力網(wǎng)絡安全

近年來，隨著大數(shù)據(jù)、AI、云計算、IoT等技術的廣泛應用，物理世界和虛擬世界已深度連接，網(wǎng)絡攻擊的危害擴展到國家安全、國防安全、關鍵基礎設施安全、社會安全、金融安全和個人安全，網(wǎng)絡安全進入了大安全時代。

大安全時代，網(wǎng)絡防護難度越來越大。一是漏洞無處不在，未來數(shù)以百億計的智能設備都可能成為攻擊點，攻防不對等，防不勝防。二是隨著網(wǎng)絡攻擊越來越高端、越來越隱蔽，單從一個局部來發(fā)現(xiàn)就像“盲人摸象”，很難準確識別。三是網(wǎng)絡攻擊日益自動化、智能化，攻擊手段更新快、方式多樣，傳統(tǒng)的特征檢測技術已失效。四是對網(wǎng)絡威脅的響應速度要求越來越快，面對海量安全事件，靠人力已無法及時有效分析處理。

從發(fā)展趨勢看，將AI用于網(wǎng)絡安全已成為業(yè)界共識。目前，AI已經(jīng)在軟件二進制分析、網(wǎng)絡攻擊檢測、安全行為輔助分析、網(wǎng)絡信息過濾等領域獲得成功應用。

在軟件二進制分析方面，采用機器學習、深度學習等技術，可以輔助漏洞挖掘系統(tǒng)在海量數(shù)據(jù)中提取經(jīng)驗和知識，并根據(jù)訓練生成的模型對新樣本進行分類、預測，提高漏洞挖掘的精度和效率。

在網(wǎng)絡攻擊檢測方面，通過智能算法對海量數(shù)據(jù)進行預處理，可以降低數(shù)據(jù)處理壓力，輔助安全人員作出正確判斷。比如，麻省理工學院（MIT）2016年發(fā)表論文稱，通過與專家合作，其AI平臺的網(wǎng)絡攻擊檢測率達85%，準確率提高了2.92倍。

在安全行為輔助分析方面，AI算法可以觀察人員、端點和網(wǎng)絡設備等主體的網(wǎng)絡行為和活動，建立基線并識別偏差來標記潛在的惡意活動。比如，利用AI識別用戶密碼泄露和誤用行為。

在信息過濾方面，可以通過機器學習方法對機器人進行檢測，過濾垃圾信息。比如，MIT與卡塔爾已合作開發(fā)出一種可以鑒別信息來源準確性和個人政治偏見的AI系統(tǒng)，在檢測新聞來源是否具有高、中、低等程度的“真實性”方面的準確率達65%。

由于AI在網(wǎng)絡安全領域的巨大潛力，多國都在大力推進“AI+安全”的發(fā)展策略。比如，2018年美國國防部宣布成立聯(lián)合人工智能中心，為包括網(wǎng)絡防御在內的600多個AI項目提供服務，并投入20億美元開展AI Next研究計劃。日本防衛(wèi)省也在宣布，將AI用于自衛(wèi)隊的網(wǎng)絡防御，并考慮推廣至日本政府全部網(wǎng)絡系統(tǒng)。

從產(chǎn)業(yè)界看，網(wǎng)絡安全已成為AI創(chuàng)新應用最有前景的行業(yè)之一。市場調研分析機構CB Insights去年評選全球100家最有前景的AI創(chuàng)業(yè)公司，網(wǎng)絡安全行業(yè)入選的公司達11家，數(shù)量在25個行業(yè)中位列第一。

（二）構建安全大腦打贏網(wǎng)絡戰(zhàn)

大安全時代，網(wǎng)絡戰(zhàn)成為網(wǎng)絡安全的最大威脅。一是對手變了，從過去的小毛賊變成有國家背景、政治目的的網(wǎng)絡力量。二是對象變了，網(wǎng)絡戰(zhàn)不分軍民，首選電網(wǎng)、水利、機場、工廠等關鍵基礎設施。三是范圍變了，網(wǎng)絡攻擊已擴展到政治、軍事、經(jīng)濟、社會等各領域。四是假設變了，漏洞無處不在、沒有攻不破的網(wǎng)絡，不能再幻想御敵于國門之外，而要在假設敵人已攻進來的前提下做防御。五是方式變了，現(xiàn)在的網(wǎng)絡戰(zhàn)是超限戰(zhàn)，無所不用其極。

面對網(wǎng)絡戰(zhàn)的嚴峻挑戰(zhàn)，亟需一套基于“大數(shù)據(jù)+威脅情報+安全知識+安全專家”的全新戰(zhàn)法，構建一個覆蓋我國整個網(wǎng)絡國土的智能網(wǎng)絡防御系統(tǒng)，即國家網(wǎng)絡安全大腦，在第一時間“看見”網(wǎng)絡攻擊，并進行預測預警和響應處置，阻擊具有國家背景的網(wǎng)絡攻擊，捍衛(wèi)國家網(wǎng)絡空間安全。

國家網(wǎng)絡安全大腦的核心要素包括：

安全大數(shù)據(jù)?！翱匆姟惫舯仨毧看髷?shù)據(jù)，通過對海量大數(shù)據(jù)的分析和挖掘，在浩如煙海的大數(shù)據(jù)中發(fā)現(xiàn)攻擊的蛛絲馬跡。這些大數(shù)據(jù)來源于網(wǎng)關、終端、云端等各類實體，它們是海量、鮮活、標注的數(shù)據(jù)，既包括長期積累的歷史數(shù)據(jù)，也包括每天更新的實時數(shù)據(jù)。

威脅情報和安全知識。安全大數(shù)據(jù)在AI和安全專家的輔助下，經(jīng)過關聯(lián)、鉆取、挖掘等形成威脅情報。威脅情報和安全知識不僅包括漏洞、惡意樣本、惡意網(wǎng)址和威脅源分布等信息，還包括黑客組織、高級持續(xù)威脅（APT）攻擊，以及對敵方背景、動機、企圖和方法等知識的收集與分析。它們是網(wǎng)絡攻防長期實戰(zhàn)的沉淀和凝練，具有高度的經(jīng)驗性和實踐性。

安全專家。網(wǎng)絡戰(zhàn)的本質是人與人的對抗。安全專家對網(wǎng)絡攻防起決定性的作用。比如，在漏洞挖掘方面主要依靠大量經(jīng)驗豐富的安全專家進行人工挖掘;在響應處置方面，安全大腦“看見”網(wǎng)絡攻擊征兆后，需要進一步依靠頂尖專家分析研判;在安全運營方面，需要大量網(wǎng)絡安全運營服務專家來協(xié)同用戶第一時間處理安全事件;在攻防演練方面，需要安全專家?guī)椭M建紅藍雙方開展實戰(zhàn)對抗。

在安全大腦的防御體系中，AI起著關鍵的要素承接與鉸鏈作用。AI實現(xiàn)對安全大數(shù)據(jù)的自動、智能分析處理，在威脅情報和安全知識支持下，完成對網(wǎng)絡攻擊線索的輔助篩選和關聯(lián)比對，為安全專家提供決策輸入，減少人工分析量。安全專家則發(fā)揮群體智慧作用，和AI協(xié)同開展攻擊研判與網(wǎng)絡防御。

除核心要素外，安全大腦還為用戶提供安全運營中心、實戰(zhàn)攻防靶場、漏洞管理平臺、威脅情報中心、安全培訓中心等本地化支撐服務。

需要強調的是，安全大腦不是取代現(xiàn)在的安全解決方案，而是對現(xiàn)有網(wǎng)絡防御體系的一次大升級，通過對接用戶應急響應、指揮控制、態(tài)勢感知等典型防護系統(tǒng)，提升網(wǎng)絡安全重大風險感知防范和應急處置能力。

安全大腦已成為未來應對網(wǎng)絡作戰(zhàn)的重要方向和思路，這方面美國有相似認識。美國早就開始建設類似安全大腦的防御系統(tǒng)。比如，“愛因斯坦計劃”“持續(xù)診斷與緩解項目”就是國家級的網(wǎng)絡安全監(jiān)測防護系統(tǒng)。谷歌去年新成立子公司Chronicle Security，利用先進的AI技術快速發(fā)現(xiàn)并阻斷網(wǎng)絡攻擊。微軟也宣布將利用AI處理全球超過10億設備獲取的大數(shù)據(jù)，應對網(wǎng)絡威脅。

360公司過去幾年已經(jīng)構建了一個安全大腦的原型，發(fā)現(xiàn)了來自境外的40余APT攻擊。2019年8月，360安全大腦入選安全領域唯一的國家新一代人工智能開放創(chuàng)新平臺，表明安全大腦已得到國家和行業(yè)認可。

（三）產(chǎn)學研合作共建安全大生態(tài)

安全大腦不是一個單一的產(chǎn)品或平臺，而是一個能力不斷沉淀、持續(xù)進化、各方共建的安全生態(tài)系統(tǒng)。因此，需要政府、科研院所、企業(yè)和行業(yè)等各方緊密合作，按照“共建、分享、賦能、投資、培訓”的思路，構建安全大生態(tài)，帶動行業(yè)共同成長，真正形成良性的產(chǎn)業(yè)循環(huán)，提升我國網(wǎng)絡綜合防護能力。

責任編輯：王卓