■中國電子信息產(chǎn)業(yè)發(fā)展研究院安全產(chǎn)業(yè)所 黃玉垚 高宏

一、智能系統(tǒng)安全問題的成因分析

（一）智能系統(tǒng)關(guān)鍵技術(shù)不成熟

從波音737MAX 空難和多起特斯拉事故來看，智能系統(tǒng)的關(guān)鍵安全技術(shù)應(yīng)用并不是十分成熟。

一是智能系統(tǒng)的設(shè)計缺陷，人機(jī)互信機(jī)制并未完全建立，人能及時進(jìn)行干預(yù)、糾正或終止智能系統(tǒng)行動的最高權(quán)賦沒有得到保證。例如，從埃航墜機(jī)事故來看，波音737MAX配備的MCAS自動防失速系統(tǒng)，會自動觸發(fā)、自動控制飛機(jī)，讓飛機(jī)低頭。這一功能設(shè)計的初衷是用自動駕駛功能來保證飛行安全。而結(jié)果是，MCAS 作為一個輔助人類的機(jī)器系統(tǒng)，在生死攸關(guān)時，不僅沒有實現(xiàn)保障安全的目標(biāo)，而且還在“人機(jī)搏斗”中，人類飛行員最后也沒能奪回控制權(quán)，導(dǎo)致空難發(fā)生。

二是關(guān)鍵智能設(shè)備數(shù)據(jù)應(yīng)對能力存在缺陷，對周邊環(huán)境及靜態(tài)物體的感知不靈敏。再如，特斯拉在2015年推出Level 2 智能駕駛系統(tǒng)——Autopilot后，關(guān)于安全性的相關(guān)爭議就一直沒有停止過。從媒體披露的特斯拉事故來看，Autopilot 在很多方面都存在缺陷，目前的技術(shù)還不完備，應(yīng)對復(fù)雜環(huán)境的能力不足，可靠性不夠，即使是攝像頭、激光雷達(dá)能夠探測到車前的物體，也不能保證百分百有效識別。車輛行駛過程中遇到其他車輛并道的情況時，前方車輛車尾沒有完全進(jìn)入傳感器視線，傳感器無法及時識別車輛，從而出現(xiàn)意外事故。

（二）安全性評估缺乏監(jiān)管

一是美國聯(lián)邦航空局（FAA）對737 MAX 機(jī)型的大量安全評估授權(quán)給波音公司自己操作。據(jù)美國媒體報道，多年來因資金和人力短缺，F(xiàn)AA 一直授權(quán)波音公司承擔(dān)證明其自身飛機(jī)安全性的工作。在737 MAX 機(jī)型認(rèn)證早期，波音的工程師在FAA 授權(quán)下，對關(guān)鍵的MCAS 自動防失速系統(tǒng)進(jìn)行系統(tǒng)安全分析，得出了“符合聯(lián)邦航空局所有適用的規(guī)章”的結(jié)論。但目前來看，737 MAX 機(jī)型的自動防失速系統(tǒng)本身存在諸多設(shè)計缺陷，而波音向聯(lián)邦航空局提交的關(guān)于737 MAX機(jī)型飛行控制系統(tǒng)的最初安全分析報告數(shù)據(jù)也與實際不符；甚至，波音公司在長達(dá)一年多的時間里，竟然在停用一個關(guān)鍵性的737 MAX 客機(jī)攻角傳感器報警功能，造成“迎角不一致警示燈”功能異常情況后，沒有告知FAA 和民航界。

二是作為國家最高公路安全管理機(jī)構(gòu)，美國國家公路交通安全管理局（NHTSA）澄清，特斯拉公布的安全測試結(jié)論超出了其分析范圍。Autopilot 是特斯拉推出的輔助駕駛平臺，能自動幫助司機(jī)處理一些駕駛?cè)蝿?wù)。特斯拉曾聲稱，NHTSA曾發(fā)表的一份調(diào)查報告指出，Autopilot 能夠讓特斯拉汽車的撞車率降低40%；但NHTSA 表示，在特斯拉所提到的這份報告中，從未對Autopilot 的效率進(jìn)行過評估，所以特斯拉的說法并無根據(jù)。而且，NHTSA 是禁止汽車制造商“吹噓”自己擁有5星以上汽車安全等級的，但特斯拉在Model S 車型的宣傳卻違反了此規(guī)定。

（三）利益驅(qū)動下的市場優(yōu)先策略

無論波音還是特斯拉，商業(yè)利益在采用智能系統(tǒng)應(yīng)用于安全保障方面都扮演了尷尬的角色。

第一，由于來不及開發(fā)一款全新的客機(jī)來跟空客下一代A320Neo 競爭，波音不得不緊急啟動737MAX 升級計劃，在已經(jīng)“榨干”了737 原始設(shè)計的前提下，加大發(fā)動機(jī)體積、減小機(jī)翼的設(shè)計，改變了波音737 一直以來的空氣動力學(xué)，使飛機(jī)有可能在某些情況下拉高過多。為消除這種可能性，波音不敢開放對手動駕駛狀態(tài)的保護(hù)，才設(shè)計了一個試圖用軟件補(bǔ)硬件的MCAS 系統(tǒng)，以便在起飛時候手動駕駛狀態(tài)也會自動干預(yù)抬頭。此外，737MAX的迎角傳感器的讀數(shù)功能和用來提示迎角數(shù)據(jù)不一致的故障燈是選配。這兩個功能對飛行員的判斷至關(guān)重要，但對波音來說這正好是提高利潤的好機(jī)會。對于埃航來說，為了降低成本只能選擇不配置。直到悲劇發(fā)生之后，波音才不得不取消了這種政策，為新下線的737MAX 免費(fèi)增加這兩種功能。

第二，為了在競爭激烈的智能汽車市場上占據(jù)一席之地，特斯拉試圖成為自動駕駛革命的先行者。為了達(dá)到這一目的，與其他傳統(tǒng)車企相比，在缺乏足夠汽車設(shè)計和自動駕駛技術(shù)積累的基礎(chǔ)上，特斯拉采取了更激進(jìn)、更敢拿消費(fèi)者的生命和自己的聲譽(yù)冒險的策略。根據(jù)美國IIHS（公路安全保險協(xié)會）的報告，盡管Autopilot 的完善度較高，并不一定意味著更安全。裝備了Autopilot 系統(tǒng)的車型，與其他車型前置碰撞預(yù)警、主動剎車和盲區(qū)提示等功能對安全改善的效果基本是一致的，并沒有更出色的表現(xiàn)。然而，現(xiàn)在的問題是，更大的事故率來自特斯拉的宣傳策略，引導(dǎo)用戶過度使用Autopilot。但包括特斯拉在內(nèi)都承認(rèn)，Autopilot 依然只是一個駕駛輔助系統(tǒng)，而且在未來很長一段時間之內(nèi)，仍舊不能完全成為自動駕駛系統(tǒng)。

二、規(guī)避智能系統(tǒng)安全隱患的對策建議

加強(qiáng)智能系統(tǒng)的軟硬件檢測

一是完善對智能系統(tǒng)的軟件測試要求。通過智能系統(tǒng)的軟件測試，對其功能性、可靠性、可用性、可維護(hù)性、可移植性、效率等方面的檢測，對軟件系統(tǒng)組件和模塊進(jìn)行全生命周期測試，最終能夠放心、安全地使用。

二是健全對智能系統(tǒng)硬件的質(zhì)量檢驗。應(yīng)當(dāng)在現(xiàn)有電子信息檢測機(jī)構(gòu)中，從信息化、智能化方面，建立重點針對系統(tǒng)的智能芯片、智能探測和傳感系統(tǒng)、各類接口系統(tǒng)等硬件的可靠性進(jìn)行檢測，確保在基于物聯(lián)網(wǎng)應(yīng)用的層面上，智能系統(tǒng)自身的安全可靠。

嚴(yán)控智能安全裝備的安全評估評價

第一，慎重下放對于安全產(chǎn)品的安全評價權(quán)。從美國的經(jīng)驗教訓(xùn)可以看出，在沒有建立一套比較完善的安全評價標(biāo)準(zhǔn)和體制機(jī)制前，盲目下放智能系統(tǒng)檢測權(quán)限，無法實現(xiàn)有效的監(jiān)管，對智能安全系統(tǒng)應(yīng)用是不負(fù)責(zé)任的。

第二，嚴(yán)格相關(guān)產(chǎn)品和系統(tǒng)安全評價的資格認(rèn)證。在保證檢測檢驗機(jī)構(gòu)公正、誠實的立場，保持檢驗活動獨(dú)立性的前提下，應(yīng)當(dāng)嚴(yán)格控制對安全防范與信息安全產(chǎn)品及系統(tǒng)檢驗檢測機(jī)構(gòu)的認(rèn)可、授權(quán)和考核，并建立類似3C 認(rèn)證的智能系統(tǒng)檢驗標(biāo)準(zhǔn)體系。

第三，完善智能系統(tǒng)和裝備的應(yīng)用統(tǒng)計分析。以大數(shù)據(jù)為核心，通過對安全事故的數(shù)據(jù)統(tǒng)計分析，建立智能系統(tǒng)測試數(shù)據(jù)庫，并對數(shù)據(jù)進(jìn)行深度的挖掘和分析，最終實現(xiàn)智能化控制和消除安全隱患的目標(biāo)。

規(guī)范智能系統(tǒng)的市場秩序

首先，為防止的惡性競爭，應(yīng)當(dāng)建立針對智能安全系統(tǒng)和產(chǎn)品從企業(yè)資質(zhì)、研發(fā)能力、生產(chǎn)設(shè)備、檢驗設(shè)備、安裝和售后服務(wù)等方面的評價與市場準(zhǔn)入機(jī)制。

其次，通過檢驗測試、系統(tǒng)分析、用戶評價等方式，選擇高品質(zhì)、有保障的智能安全系統(tǒng)和產(chǎn)品，出臺相應(yīng)的智能安全產(chǎn)品技術(shù)與產(chǎn)品的推廣目錄，達(dá)到通過推廣智能安全技術(shù)和產(chǎn)品，保障安全、降低傷害和減少事故發(fā)生的目的。

最后，建立完善的智能安全技術(shù)、產(chǎn)品和系統(tǒng)的通用標(biāo)準(zhǔn)，并強(qiáng)化監(jiān)管，通過安全監(jiān)管、市場監(jiān)管、產(chǎn)品監(jiān)管等多部門綜合治理和規(guī)范，讓安全性與安全性能成為生產(chǎn)企業(yè)的初心，使不成熟的技術(shù)、不可靠的產(chǎn)品、不完善的系統(tǒng)失去生存的空間。

完善智能系統(tǒng)的關(guān)鍵技術(shù)和設(shè)計

統(tǒng)籌各類資源，進(jìn)一步促進(jìn)機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、人機(jī)交互、自然語言、機(jī)器視覺等多個技術(shù)的研發(fā)與應(yīng)用，在投入使用前，要充分開展研究實驗，以數(shù)字化模擬和真實場景試驗為重點，深挖智能技術(shù)及系統(tǒng)的缺陷，完善智能技術(shù)對復(fù)雜環(huán)境的有效識別，提升智能技術(shù)對隱患的準(zhǔn)確判斷和響應(yīng)能力。

此外，智能系統(tǒng)的邏輯設(shè)計應(yīng)是人機(jī)協(xié)作，而不是機(jī)器換人，人必須擁有系統(tǒng)使用的最高權(quán)限。尤其是在自動駕駛領(lǐng)域，如果解除了自動駕駛狀態(tài)，則自動駕駛系統(tǒng)應(yīng)當(dāng)徹底停止工作，只顯示實時故障，飛機(jī)或汽車完全由駕駛員指揮并協(xié)調(diào)處理各類問題。