(騰訊公司 騰訊研究院,廣東 深圳 518057)
據(jù)國(guó)外媒體報(bào)告,當(dāng)?shù)貢r(shí)間2018年3月18日晚10點(diǎn)左右,一輛Uber自動(dòng)駕駛汽車(Autonomous Car)在美國(guó)亞利桑那州坦佩市碰撞到一個(gè)橫穿馬路的行人,該行人在送往醫(yī)院后不治身亡。據(jù)稱,這是全球首個(gè)自動(dòng)駕駛汽車在公共道路上撞擊行人致死事件,引發(fā)了各界關(guān)于自動(dòng)駕駛汽車監(jiān)管、法律責(zé)任等方面的激烈討論。[1]
事件發(fā)生時(shí),這輛Uber自動(dòng)駕駛汽車處于自動(dòng)駕駛模式(據(jù)稱是四級(jí)以上),駕駛位配有安全駕駛員(應(yīng)急司機(jī)),沒有搭載乘客。事件發(fā)生后,Uber旋即停止了在坦佩、匹茲堡、舊金山、多倫多等城市進(jìn)行的自動(dòng)駕駛汽車測(cè)試活動(dòng)。
坦佩市警方發(fā)言人稱,初步調(diào)查發(fā)現(xiàn)這輛Uber自動(dòng)駕駛汽車在最高時(shí)速35英里的道路上以時(shí)速38英里行駛,似乎沒有采取剎車的企圖;安全駕駛員沒有收到任何信號(hào),直到碰撞發(fā)生后才意識(shí)到。死者Elaine Herzberg是一名49歲的婦女;據(jù)稱,她可能是一個(gè)流浪者,從道路旁走出來,企圖推著自行車從人行橫道外橫穿馬路。
一般交通事故發(fā)生后,司機(jī)是第一位的責(zé)任人,依其注意義務(wù)和過錯(cuò)大小承擔(dān)責(zé)任。正因如此,交強(qiáng)險(xiǎn)(即機(jī)動(dòng)車交通事故責(zé)任強(qiáng)制保險(xiǎn))保的是司機(jī)的責(zé)任。這起事故中的Uber自動(dòng)駕駛汽車應(yīng)是四級(jí)以上;按照美國(guó)汽車工程師學(xué)會(huì)(SAE)的自動(dòng)駕駛級(jí)別分類,在四級(jí)和五級(jí)自動(dòng)駕駛模式下,自動(dòng)駕駛系統(tǒng)在特定條件或所有條件下,從事所有的駕駛活動(dòng)和功能,不再需要司機(jī)對(duì)道路狀況和駕駛條件進(jìn)行監(jiān)測(cè)。這意味著駕駛活動(dòng)從司機(jī)讓渡給了自動(dòng)駕駛系統(tǒng),在有安全駕駛員的情況下,司機(jī)僅在系統(tǒng)因脫離(Disengagement,意即需要人為干預(yù))而請(qǐng)求時(shí)才接管駕駛活動(dòng)。
結(jié)合以上論證,如果能夠證明在這起事故中,這輛Uber自動(dòng)駕駛汽車在當(dāng)時(shí)的道路交通條件下,符合所搭載的四級(jí)自動(dòng)駕駛系統(tǒng)所要求的運(yùn)行設(shè)計(jì)領(lǐng)域(Operational Domain Design,即運(yùn)行所要求的參數(shù)和限制),則安全駕駛員不控制駕駛活動(dòng),在當(dāng)時(shí)的情況下對(duì)駕駛活動(dòng)也就沒有注意義務(wù)(due care),所以可能不承擔(dān)侵權(quán)責(zé)任。這一觀點(diǎn)符合德國(guó)2017年5月通過的交通法修訂案的規(guī)定,該法案將自動(dòng)駕駛系統(tǒng)合法化,并明確了司機(jī)和制造商之間的責(zé)任分配;其他一些國(guó)家有類似的規(guī)定。[2]
在四級(jí)和五級(jí)自動(dòng)駕駛模式下,當(dāng)上路行駛的自動(dòng)駕駛汽車符合其運(yùn)行設(shè)計(jì)領(lǐng)域時(shí),由于司機(jī)不再控制駕駛活動(dòng)或者根本就不存在司機(jī)(比如谷歌的Waymo從2017年起開始在美國(guó)加州測(cè)試完全的無人駕駛汽車,加州最新的自動(dòng)駕駛汽車測(cè)試和部署立法允許企業(yè)從今年4月起測(cè)試和部署完全的無人駕駛汽車,即不再需要測(cè)試司機(jī),測(cè)試機(jī)構(gòu)對(duì)車輛進(jìn)行遠(yuǎn)程監(jiān)控即可[3]),所以當(dāng)發(fā)生事故時(shí),只能考慮追究汽車制造商、自動(dòng)駕駛系統(tǒng)提供者等相關(guān)主體的責(zé)任,一般為產(chǎn)品責(zé)任。
自動(dòng)駕駛技術(shù)是汽車產(chǎn)業(yè)與人工智能、物聯(lián)網(wǎng)、高性能計(jì)算等新一代信息技術(shù)深度融合的產(chǎn)物。自動(dòng)駕駛汽車則至少包括汽車車身和執(zhí)行自動(dòng)駕駛功能所必備的軟硬件設(shè)備,前者由汽車制造商提供,后者由自動(dòng)駕駛系統(tǒng)研發(fā)企業(yè)(如Waymo、Uber等)提供。對(duì)于汽車,各國(guó)都有產(chǎn)品責(zé)任的規(guī)定。具體而言,因產(chǎn)品存在缺陷造成他人損害的,被侵權(quán)人可以向產(chǎn)品的生產(chǎn)者或銷售者請(qǐng)求賠償,需要證明:產(chǎn)品有缺陷,損害事實(shí)的存在,以及產(chǎn)品缺陷和損害事實(shí)之間存在因果關(guān)系。產(chǎn)品缺陷一般包括設(shè)計(jì)缺陷、制造缺陷和警示缺陷。
此次的事故車,由沃爾沃XC90 SUV改裝,軟件系統(tǒng)和識(shí)別感知方案全為Uber后來添加,車頂裝有激光雷達(dá)和攝像頭等傳感器互相彌補(bǔ),這也是目前自動(dòng)駕駛領(lǐng)域比較主流的方案。如果最終證明這起事故是因沃爾沃汽車自身的缺陷(比如剎車失靈)造成的,則沃爾沃需要承擔(dān)產(chǎn)品責(zé)任。但在這起事故中,似乎并不存在剎車失靈的情況。那就需要看Uber的自動(dòng)駕駛系統(tǒng)是否存在設(shè)計(jì)缺陷。
自動(dòng)駕駛系統(tǒng)提供者一般要對(duì)汽車進(jìn)行改裝,安裝必要的雷達(dá)、傳感器、攝像頭等硬件設(shè)備,同時(shí)研發(fā)自動(dòng)駕駛軟件系統(tǒng),執(zhí)行駕駛?cè)蝿?wù)。一般而言,當(dāng)汽車被改裝成自動(dòng)駕駛汽車后,汽車制造商不對(duì)改裝后的缺陷承擔(dān)責(zé)任。傳感器、攝像頭等外設(shè)設(shè)備輸入數(shù)據(jù),自動(dòng)駕駛軟件對(duì)輸入的數(shù)據(jù)進(jìn)行分析處理并作出駕駛決策。所以自動(dòng)駕駛活動(dòng)一般可簡(jiǎn)單分為感知、分析和決策。
美國(guó)交通部2017年9月發(fā)布的自動(dòng)駕駛汽車指南《自動(dòng)駕駛系統(tǒng):安全愿景2.0》針對(duì)自動(dòng)駕駛系統(tǒng)提出了12項(xiàng)安全標(biāo)準(zhǔn),其中一項(xiàng)為物體和事故探測(cè)和反應(yīng)(Object and Event Detection and Response,OEDR)。[4]如果可以證明Uber自動(dòng)駕駛系統(tǒng)不符合這項(xiàng)或其他各項(xiàng)安全標(biāo)準(zhǔn),則可能需要承擔(dān)責(zé)任。
這起事故主要涉及準(zhǔn)確、及時(shí)地感知、識(shí)別到障礙物(本案例中為行人)并采取剎車等措施從而避免碰撞,即前述OEDR標(biāo)準(zhǔn)。那么,如果是某個(gè)傳感器或攝像頭出了故障(即存在缺陷),導(dǎo)致沒有感知到行人,則Uber可能需要承擔(dān)責(zé)任?;蛘邆鞲衅鞫颊9ぷ?,但Uber的軟件系統(tǒng)沒有識(shí)別到行人,導(dǎo)致沒有采取剎車,亦可能需要承擔(dān)責(zé)任。假設(shè)感知和識(shí)別都是正常的、準(zhǔn)確的,則存在另一個(gè)問題,即及時(shí)性問題。
就前述OEDR標(biāo)準(zhǔn)而言,假設(shè)存在一個(gè)“避免碰撞”標(biāo)準(zhǔn):如果障礙物(包括人類)在距離汽車12英尺時(shí)被檢測(cè)到,那么自動(dòng)駕駛汽車必須能夠在其行進(jìn)路線上檢測(cè)到障礙物并避免碰撞。根據(jù)坦佩市警方的初步報(bào)告,死者Elaine Herzberg可能是突然從路邊進(jìn)入這輛Uber自動(dòng)駕駛汽車的行車道的,她與這輛Uber自動(dòng)駕駛汽車之間的距離可能太?。ū热缧∮?2英尺),導(dǎo)致碰撞在當(dāng)時(shí)的情況下是不可避免的,也就很難證明Uber自動(dòng)駕駛系統(tǒng)存在設(shè)計(jì)缺陷。但如果這輛Uber自動(dòng)駕駛汽車是在避免碰撞的安全距離之外檢測(cè)到了她卻未能避免碰撞,就可能存在不合理危險(xiǎn),故可能需要承擔(dān)責(zé)任。能否在不考慮缺陷、過錯(cuò)和注意義務(wù)的情況下,要求Uber就其自動(dòng)駕駛汽車承擔(dān)嚴(yán)格的高度危險(xiǎn)責(zé)任,尚需要進(jìn)一步論證。
此外,從行為預(yù)測(cè)功能來看,自動(dòng)駕駛汽車在行駛過程中,需要對(duì)路面車輛、行人等進(jìn)行行為預(yù)測(cè),進(jìn)而做出駕駛決策。行為預(yù)測(cè)功能依賴于感知的輸入、計(jì)算模型以及大量的道路場(chǎng)景數(shù)據(jù),需要通過大量的路測(cè)來不斷訓(xùn)練自動(dòng)駕駛系統(tǒng)的場(chǎng)景遍歷性。尚不知該自動(dòng)駕駛系統(tǒng)的行為預(yù)測(cè)功能是否達(dá)到了所應(yīng)具備的性能。更進(jìn)一步,行人未走人行橫道和事故車超速可能也是造成此次事故的原因。目前自動(dòng)駕駛汽車具備識(shí)別路牌標(biāo)識(shí)、感應(yīng)人行橫道并及時(shí)減速的能力,但此次行人未走人行橫道,且在視線不好的情況下,可能導(dǎo)致自動(dòng)駕駛汽車無法及時(shí)響應(yīng)。
結(jié)合前述分析,在這起事故中,Uber是最可能的責(zé)任承擔(dān)方。然而,即使Uber自動(dòng)駕駛系統(tǒng)存在缺陷,但由于人工智能系統(tǒng)自身的黑箱性質(zhì)和不可解釋性,也很難證明缺陷的存在。在之前的特斯拉Autopilot自動(dòng)駕駛模式致死案件中,美國(guó)國(guó)家高速公路交通安全管理局(NHTSA)最終認(rèn)定,Autopilot在設(shè)計(jì)和性能上不存在任何缺陷,該系統(tǒng)在事故中的反應(yīng)也符合其設(shè)計(jì)。[5]
最后,按照加州的自動(dòng)駕駛汽車測(cè)試和部署立法,制造商需要購(gòu)買500萬(wàn)美元的保險(xiǎn),以便有能力響應(yīng)針對(duì)自動(dòng)駕駛汽車造成的人身傷亡損害或財(cái)產(chǎn)損害的判決。因此,受害人能不能獲得這筆保險(xiǎn)賠償,最終還需要有權(quán)機(jī)構(gòu)來裁決。
這起自動(dòng)駕駛汽車致行人死亡事故將自動(dòng)駕駛汽車監(jiān)管,尤其是自動(dòng)駕駛汽車的安全性,推上了風(fēng)口浪尖。其中存在兩個(gè)核心的問題,一是如何衡量自動(dòng)駕駛汽車的安全性;二是自動(dòng)駕駛汽車是需要人類駕駛員來共同掌控駕駛活動(dòng),還是可以完全實(shí)現(xiàn)無人駕駛。事件發(fā)生后,坦佩市市長(zhǎng)Mark Mitchell稱Uber的決定是負(fù)責(zé)任的,但警告人們不要對(duì)自動(dòng)駕駛技術(shù)下定論,言下之意即是不要就此認(rèn)為自動(dòng)駕駛技術(shù)不安全。而在2017年3月,當(dāng)一輛Uber自動(dòng)駕駛汽車與另一輛汽車碰撞時(shí),亞利桑那州州長(zhǎng)Doug Ducey表示不需要額外的安全監(jiān)管,因?yàn)殄e(cuò)不在自動(dòng)駕駛汽車,而在另一輛汽車。
其實(shí)坦佩市所在的亞利桑那州對(duì)自動(dòng)駕駛汽車一直輕監(jiān)管,州長(zhǎng)于2015年8月發(fā)布行政命令,對(duì)自動(dòng)駕駛活動(dòng)實(shí)行零監(jiān)管,要求各機(jī)構(gòu)“采取必要措施,支持亞利桑那州公路上自動(dòng)駕駛車輛的測(cè)試和運(yùn)行”。[6]企業(yè)可以完全自由、開放地測(cè)試和部署自動(dòng)駕駛汽車。今年3月州長(zhǎng)發(fā)布新的行政命令,正式宣布沒有人類駕駛員的完全自動(dòng)駕駛汽車可以在公共道路上運(yùn)行。[7]唯一的限制是自動(dòng)駕駛汽車需要遵守針對(duì)汽車和司機(jī)的既有交通法規(guī)。加州則在今年2月更新了自動(dòng)駕駛汽車測(cè)試和部署法規(guī),從4月起企業(yè)可測(cè)試和部署無人駕駛汽車,意即不再需要測(cè)試司機(jī)。而且美國(guó)國(guó)會(huì)正在制定的自動(dòng)駕駛汽車法案對(duì)這個(gè)新興行業(yè)非常包容,不僅提供了力度更大的安全性豁免,而且允許無人駕駛的發(fā)展方向。
與美國(guó)推動(dòng)無人駕駛不同的是,德國(guó)、中國(guó)則采取了另外一種模式,即允許在汽車上運(yùn)行自動(dòng)駕駛系統(tǒng),但司機(jī)不能離開駕駛位。無論是德國(guó)去年5月出臺(tái)的交通法修訂案,還是中國(guó)北京、上海、重慶等地的自動(dòng)駕駛汽車測(cè)試法規(guī),都規(guī)定需要配置測(cè)試司機(jī),但司機(jī)是否需要監(jiān)測(cè)駕駛活動(dòng)則存在不同。但這種模式存在一個(gè)難題即“脫手”(hands-off)問題。這個(gè)問題涉及如何在緊急情況下將駕駛控制權(quán)限從自動(dòng)駕駛系統(tǒng)平穩(wěn)過渡到司機(jī),從而避免發(fā)生事故。如果司機(jī)在駕駛過程或活動(dòng)中,長(zhǎng)時(shí)間不參與駕駛,這很有可能會(huì)影響其在人機(jī)切換過程中的反應(yīng)能力,導(dǎo)致發(fā)生事故。
當(dāng)然,對(duì)自動(dòng)駕駛汽車安全性的衡量才是最重要的問題。全世界都在探索自動(dòng)駕駛汽車的安全和性能標(biāo)準(zhǔn),美國(guó)交通部提出了12項(xiàng)非強(qiáng)制性的標(biāo)準(zhǔn),包括系統(tǒng)安全、運(yùn)行設(shè)計(jì)領(lǐng)域(ODD)、OEDR標(biāo)準(zhǔn)、后備方案(即最小威脅狀況,當(dāng)發(fā)生問題或自動(dòng)駕駛汽車不能安全運(yùn)行時(shí),確??梢云椒€(wěn)過渡到最小危險(xiǎn)狀況)、可合理消除與自動(dòng)駕駛汽車相關(guān)的安全風(fēng)險(xiǎn)的驗(yàn)證方法、人機(jī)交互界面、網(wǎng)絡(luò)安全、防碰撞性、自動(dòng)駕駛汽車碰撞后行為、事故數(shù)據(jù)記錄、交通法規(guī)遵守等。
目前的自動(dòng)駕駛系統(tǒng)仍難以做到完全的安全可靠性。關(guān)于安全性的法律標(biāo)準(zhǔn)也需要進(jìn)一步定義并量化。很多人堅(jiān)持認(rèn)為,無人駕駛汽車只有達(dá)到100%完美的安全可靠性才能合法,那意味著沒有任何碰撞、事故或失誤。然而事實(shí)是,如果需要完美的安全可靠性,無人駕駛汽車將永遠(yuǎn)不會(huì)獲得合法地位,因?yàn)闆]有任何無人駕駛系統(tǒng)能夠做到始終完美可靠。[8]
其實(shí),可以對(duì)自動(dòng)駕駛汽車的安全可靠性進(jìn)行量化,標(biāo)準(zhǔn)就是它在無人工干預(yù)的情況下可以單獨(dú)運(yùn)行的時(shí)間長(zhǎng)度。由于自動(dòng)駕駛汽車的安全性是通過安全里程來衡量的,所以我們可以設(shè)定一個(gè)基于安全里程的衡量標(biāo)準(zhǔn):平均故障間隔距離(MDBF)。
統(tǒng)計(jì)顯示,人類司機(jī)基本上每20萬(wàn)英里就會(huì)發(fā)生一次事故。顯然我們不能接受自動(dòng)駕駛技術(shù)和人類駕駛同樣安全,那樣的話,只不過是多增加了一個(gè)馬路殺手而已。但可以設(shè)置一個(gè)最低限度的標(biāo)準(zhǔn),即無人駕駛汽車比人類駕駛安全兩倍,即平均每40萬(wàn)英里發(fā)生一次事故。這樣的自動(dòng)駕駛汽車安全性可被稱為人類駕駛安全系數(shù)2.0,那也就會(huì)有人類駕駛安全系數(shù)3.0、人類駕駛安全系數(shù)5.0等等。無人駕駛汽車的人類駕駛安全系數(shù)水平將取決于汽車的軟件和計(jì)算能力以及硬件傳感器的數(shù)量和類型。
加州機(jī)動(dòng)車管理局發(fā)布的自動(dòng)駕駛汽車脫離報(bào)告顯示,在2016年12月到2017年11月之間,Waymo自動(dòng)駕駛汽車行駛了35萬(wàn)英里,脫離63次(即需要人類駕駛員重新掌控方向盤),平均每隔5600英里發(fā)生一次脫離現(xiàn)象。[9]顯然,即使處于業(yè)內(nèi)領(lǐng)先水平的Waymo自動(dòng)駕駛系統(tǒng)距離人類駕駛安全系數(shù)2.0都還非常遙遠(yuǎn)。
發(fā)展自動(dòng)駕駛技術(shù)的一個(gè)理由是,比人類駕駛更優(yōu)的安全性?,F(xiàn)代汽車的安全性得到了極大的提高,發(fā)生故障可謂小概率事件。直接因汽車故障或缺陷而導(dǎo)致的交通事故少之又少,94%的交通事故是因?yàn)槿藶槭д`而導(dǎo)致。人類駕駛活動(dòng)的負(fù)外部性值得反思。這種負(fù)外部性至少包括兩個(gè)層面:交通事故和交通擁堵。就前者而言,每年120萬(wàn)人喪生,由此帶來額外的社會(huì)和經(jīng)濟(jì)成本,包括醫(yī)療支出、勞動(dòng)力喪失、經(jīng)濟(jì)收益減少等等。就后者而言,包括時(shí)間成本、對(duì)經(jīng)濟(jì)活動(dòng)的負(fù)面影響、環(huán)境污染等等。如果把人類駕駛活動(dòng)的負(fù)外部性換算成金錢,數(shù)額恐怕是非常巨大的。無論如何,人們希望自動(dòng)駕駛汽車能夠避免因人類駕駛活動(dòng)而造成的負(fù)外部性,從而給社會(huì)和經(jīng)濟(jì)產(chǎn)生顯著的積極影響。
如今,以機(jī)器學(xué)習(xí)為代表的人工智能被認(rèn)為是通用技術(shù),其將從顛覆駕駛開始,深刻影響人類社會(huì)和經(jīng)濟(jì)。當(dāng)然,圍繞自動(dòng)駕駛汽車的安全爭(zhēng)議會(huì)繼續(xù)存在下去,對(duì)自動(dòng)駕駛汽車測(cè)試和部署進(jìn)行適當(dāng)?shù)谋O(jiān)管可能也是必要的,但各界將來需要就自動(dòng)駕駛技術(shù)的安全標(biāo)準(zhǔn)達(dá)成共識(shí),惟其如此,才能促進(jìn)自動(dòng)駕駛汽車的工業(yè)化和商業(yè)化發(fā)展。
正如這次Uber自動(dòng)駕駛汽車事故所表明的那樣,自動(dòng)駕駛汽車尤其是四級(jí)以上的自動(dòng)駕駛技術(shù)將對(duì)責(zé)任、保險(xiǎn)、隱私等法律制度和倫理規(guī)范帶來深刻影響,需要制度的適應(yīng)性調(diào)整。當(dāng)然,最終人們希望自動(dòng)駕駛汽車比人類更安全,無論是安全2倍,還是10倍或者20倍,都意味著更好的交通出行環(huán)境和更少的交通事故。但自動(dòng)駕駛汽車的發(fā)展不會(huì)一蹴而就,需要城市設(shè)計(jì)、道路規(guī)劃、交通系統(tǒng)、法律政策、社會(huì)公眾接納等各方面的適應(yīng)性調(diào)整。這次Uber自動(dòng)駕駛汽車致死事件對(duì)自動(dòng)駕駛汽車的安全問題敲響了警鐘,但絕不應(yīng)當(dāng)打擊人類對(duì)自動(dòng)駕駛甚至無人駕駛的信心和追求。
當(dāng)然,這起事故也給我們帶來一些啟示。自動(dòng)駕駛汽車是一個(gè)潛在的公共危險(xiǎn)源,需要進(jìn)行必要的監(jiān)管,以便在促進(jìn)創(chuàng)新的同時(shí),也能夠維護(hù)公共安全。因此,國(guó)家需要營(yíng)造自動(dòng)駕駛汽車發(fā)展的政策和法律環(huán)境,構(gòu)建自動(dòng)駕駛安全保障體系。針對(duì)自動(dòng)駕駛汽車上路測(cè)試和部署、安全和性能標(biāo)準(zhǔn)、許可和檢驗(yàn)認(rèn)證、自動(dòng)駕駛操作規(guī)范、責(zé)任和保險(xiǎn)、網(wǎng)絡(luò)安全等事項(xiàng),探索制定相應(yīng)的規(guī)則和法律要求,從而確保自動(dòng)駕駛汽車的安全穩(wěn)定性,加速自動(dòng)駕駛汽車商業(yè)化進(jìn)程。
[1]Self-Driving Uber Car Kills Pedestrian in Arizona, Where Robots Roam[EB/OL].(2018-03-19)[2018-03-30].https://www.nytimes.com/2018/03/19/technology/uber-driverlessfatality.html.
[2]司曉,曹建峰.論人工智能的民事責(zé)任——以自動(dòng)駕駛汽車和智能機(jī)器人為切入點(diǎn)[J].法律科學(xué),2017(05):166-173.
[3]Driverless Testing of Autonomous Vehicles[EB/OL].(2018-02-26)[2018-03-30].https://www.dmv.ca.gov/portal/dmv/detail/vr/autonomous/bkgd.
[4]U.S.DOT releases new Automated Driving Systems guidance[EB/OL].(2017-09-12)[2018-03-30].https://www.nhtsa.gov/press-releases/us-dot-releases-new-automated-drivingsystems-guidance.
[5]U.S.National Highway Traffic Safety Administration:NHTSA.ODI RESUME[EB/OL].(2017-01-19)[2018-03-30].https://static.nhtsa.gov/odi/inv/2016/INCLA-PE16007-7876.PDF.
[6]Autonomous Vehicles | Self-Driving Vehicles Enacted Legislation[EB/OL].(2018-03-26)[2018-03-30].http://www.ncsl.org/research/transportation/autonomous-vehicles-selfdriving-vehicles-enacted-legislation.aspx.
[7]Gov.Doug Ducey: Self-driving cars allowed on Arizona roads without human behind the wheel[EB/OL].(2018-03-01)[2018-03-30].https://www.azcentral.com/story/money/business/tech/2018/03/01/gov-doug-duceyissues-order-keep-arizona-capital-self-driving-cars/385812002/.
[8]胡迪·利普森,梅爾芭·庫(kù)曼.無人駕駛[M].林露茵,金陽(yáng)譯.上海:文匯出版社,2017.
[9]Autonomous Vehicle Disengagement Reports 2017[EB/OL].(2017-12-29)[2018-03-30].https://www.dmv.ca.gov/portal/wcm/connect/42aff875-7ab1-4115-a72a-97f6f24b23cc/Waymofull.pdf?MOD=AJPERES.