◆文/安徽 程增木

本文主要為讀者解析特斯拉自動駕駛軟件相關(guān)系統(tǒng)組成，筆者將從模型架構(gòu)、模型訓(xùn)練、信號傳輸方式等方面進(jìn)行說明。

一、綜述

特斯拉的Autopilot系統(tǒng)搭載了8個攝像頭，這8個攝像頭可以進(jìn)行超過1 000種不同任務(wù)的感知預(yù)測。在Tesla自研的FSD計算平臺上，這些感知功能可以檢測移動物體(例如行人、車輛、自行車、動物等)，靜態(tài)物體(車道線、路標(biāo)、道路邊緣、交通信號燈等)，行駛環(huán)境區(qū)域(例如學(xué)校區(qū)域、住宅區(qū)、收費(fèi)站等)。其中每個主功能下邊還有若干附屬功能，例如車輛檢測還包括車輛的靜止，朝向，開門等子任務(wù)的檢測，停止標(biāo)志檢測包括如右轉(zhuǎn)無需停車等細(xì)分類檢測等。

二、特斯拉的攝像頭搭載情況

特斯拉的Autopilot系統(tǒng)搭載了8個攝像頭，其中前方攝像頭模組共由3個攝像頭組成，這3個攝像頭都是基于2015年安森美半導(dǎo)體公司發(fā)布的120萬像素圖像傳感器開發(fā)的，其配備了3個AR0136A上的CMOS圖像傳感器，像素大小為3.75μm，分辨率為1 280×960(1.2MP)。

主視野攝像頭：視野能覆蓋大部分交通場景。

魚眼鏡頭：視野達(dá)120°的魚眼鏡頭能夠拍攝到交通信號燈、行駛路線上的障礙物和距離較近的物體，非常適用于城市街道、低速緩行的交通場景。

長焦距鏡頭：視野相對較窄，適用于高速行駛的交通場景，并可以清晰拍攝遠(yuǎn)達(dá)250m的物體。其前方攝像頭模組如圖1所示。

前方側(cè)視攝像頭：視場角為90°，前方側(cè)視攝像頭分別位于特斯拉兩側(cè)的B柱上，最大探測距離為80m。其能夠探測到高速公路上突然并入當(dāng)前車道的車輛，以及在進(jìn)入視野受限的交叉路口時進(jìn)行探測。前方側(cè)視攝像頭如圖2所示。

側(cè)方后視攝像頭：最大探測距離為100m，能監(jiān)測車輛兩側(cè)的后方盲區(qū)，在變道和匯入高速公路時起著重要作用。側(cè)方后視攝像頭如圖3所示。

后視攝像頭：探測距離為50m，主要進(jìn)行泊車輔助(圖4)。

三、模型架構(gòu)

特斯拉的各個相機(jī)是一種松耦合的狀態(tài)，即各個相機(jī)單獨(dú)進(jìn)行感知，然后把不同相機(jī)的感知結(jié)果通過濾波器或者其他技術(shù)進(jìn)行拼接。特斯拉在其Autopilot2.0系統(tǒng)中針對8個相機(jī)的特征層(Feature layer)輸入了融合層來對特征層進(jìn)行融合，隨后得到鳥瞰圖，最終在鳥瞰圖的基礎(chǔ)上再進(jìn)行目標(biāo)檢測、道路分割、邊緣檢測等功能輸出。如圖5和圖6所示。

特斯拉的Autopilot系統(tǒng)使用了規(guī)模巨大的多神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，不同相機(jī)根據(jù)不同的網(wǎng)絡(luò)負(fù)責(zé)不同功能，并且不同網(wǎng)絡(luò)引入RNN神經(jīng)網(wǎng)絡(luò)實現(xiàn)了跨時間的感知任務(wù)。前攝像頭模組可以感知車道線并且進(jìn)行目標(biāo)跟蹤，B柱攝像頭和側(cè)翼子板攝像頭可以結(jié)合上一時刻的圖像輸入以及本時刻的圖像輸入一起負(fù)責(zé)對于加塞工況的判斷，并且與前攝像頭模組是跨時間的任務(wù)組合配合。特斯拉的無人駕駛除了圖像檢測之外，還有很多訓(xùn)練功能網(wǎng)絡(luò)，包括圖像深度估計網(wǎng)絡(luò)、坐標(biāo)投影網(wǎng)絡(luò)、道路元素及布局推理網(wǎng)絡(luò)、道路元素關(guān)聯(lián)網(wǎng)絡(luò)。利用上述網(wǎng)絡(luò)特斯拉可以更方便的進(jìn)行模型感知及推理。特斯拉自動駕駛的感知網(wǎng)絡(luò)結(jié)構(gòu)如圖7所示。

FSD計算平臺處理完攝像頭的數(shù)據(jù)后，將數(shù)據(jù)傳輸給負(fù)責(zé)車輛控制的模塊，車輛控制模塊根據(jù)攝像頭識別的結(jié)果，控制車輛的方向盤轉(zhuǎn)角、油門、剎車、轉(zhuǎn)向燈等來控制車輛。

四、模型訓(xùn)練

特斯拉的自動駕駛技術(shù)高度依賴于神經(jīng)網(wǎng)絡(luò)，對于車載系統(tǒng)，如果實時運(yùn)算一個擁有48個網(wǎng)絡(luò)，1 000多個感知輸出的龐大神經(jīng)網(wǎng)絡(luò)模型是無法完成的事情。對于模型訓(xùn)練，特斯拉研發(fā)了專門用于模型訓(xùn)練的Dojo超級計算機(jī)群，如圖8所示。

對于神經(jīng)網(wǎng)絡(luò)的模型訓(xùn)練，我們最關(guān)注模型的損失函數(shù)、跨任務(wù)訓(xùn)練、數(shù)據(jù)優(yōu)化三個部分。

1.損失函數(shù)

損失函數(shù)(Loss Function)也可稱為代價函數(shù)(Cost Function)或誤差函數(shù)(Error Function)，用于衡量預(yù)測值與實際值的偏離程度。一般來說，我們在進(jìn)行機(jī)器學(xué)習(xí)任務(wù)時，使用的每一個算法都有一個目標(biāo)函數(shù)，算法便是對這個目標(biāo)函數(shù)進(jìn)行優(yōu)化，特別是在分類或者回歸任務(wù)中，便是使用損失函數(shù)(Loss Function)作為其目標(biāo)函數(shù)。機(jī)器學(xué)習(xí)的目標(biāo)就是希望預(yù)測值與實際值偏離較小，希望損失函數(shù)較小，也就是所謂的最小化損失函數(shù)。特斯拉把所有的子任務(wù)最終都加權(quán)平均到一個損失函數(shù)中，對這個損失函數(shù)進(jìn)行優(yōu)化。特斯拉在訓(xùn)練過程中，主要存在如下幾點問題的思考：

(1)不同任務(wù)的損失函數(shù)的范圍不同，并且分類和回歸權(quán)重也不同。例如感知人和道路邊緣是兩個任務(wù)，其范圍不同并且權(quán)重也不同，損失函數(shù)的歸一化是一個重要的問題。

(2)不同任務(wù)有著不同的重要性，例如行人檢測就有著比限速標(biāo)志牌更高的優(yōu)先級。

(3)有些任務(wù)比較簡單，有些比較困難，例如道路標(biāo)示牌在不同場景下的變化不大，模型可以快速訓(xùn)練到很好的效果，但是車道是一個很復(fù)雜的任務(wù)，道路模型具有多樣性的特點。

(4)模型的長尾數(shù)據(jù)較少(例如特殊車輛，事故檢測等數(shù)據(jù)量較少，對于十分依賴數(shù)據(jù)輸入的神經(jīng)網(wǎng)絡(luò)來說是一個很大的挑戰(zhàn))。

2.跨任務(wù)訓(xùn)練

因為模型在不同任務(wù)間進(jìn)行不同程度的參數(shù)共享，因此利用不同的數(shù)據(jù)對一些子任務(wù)進(jìn)行訓(xùn)練的時候，并不是整個網(wǎng)絡(luò)模型都會得到訓(xùn)練，而是根據(jù)任務(wù)和數(shù)據(jù)樣本整體網(wǎng)絡(luò)的一部分進(jìn)行訓(xùn)練。特斯拉的軟件架構(gòu)中也使用了這種方法來訓(xùn)練神經(jīng)網(wǎng)絡(luò)。此外，特斯拉還使用了分布式模型進(jìn)行模型訓(xùn)練，以此來減少模型訓(xùn)練時間。例如此時正在訓(xùn)練任務(wù)1(車道線模型訓(xùn)練)，任務(wù)2(道路標(biāo)志識別模型訓(xùn)練)此時也進(jìn)入訓(xùn)練隊列，系統(tǒng)會自動停止任務(wù)1的訓(xùn)練并記錄停止節(jié)點，優(yōu)先訓(xùn)練任務(wù)2(因為任務(wù)2訓(xùn)練更快，且訓(xùn)練結(jié)果無需重復(fù)標(biāo)注)，任務(wù)2結(jié)束后繼續(xù)訓(xùn)練任務(wù)1，提升網(wǎng)絡(luò)的訓(xùn)練效率。

3.數(shù)據(jù)優(yōu)化

為了解決長尾任務(wù)的訓(xùn)練，采用數(shù)據(jù)過采樣來保證任務(wù)內(nèi)的數(shù)據(jù)優(yōu)化以及任務(wù)間的數(shù)據(jù)平衡。例如，在現(xiàn)實交通燈數(shù)據(jù)中，黃燈的時間及出現(xiàn)頻率非常有限，通過過采樣達(dá)到在一項任務(wù)內(nèi)基本的一個數(shù)據(jù)分布的平衡。另外在特斯拉任務(wù)間也通過不同任務(wù)的優(yōu)先級，重要程度等設(shè)定過采樣率來調(diào)節(jié)不同任務(wù)的性能。對于數(shù)據(jù)量不同的訓(xùn)練任務(wù)，應(yīng)該對長尾任務(wù)(例如特殊車輛，事故檢測等數(shù)據(jù)量較少的任務(wù))以及噪聲影響較多的任務(wù)進(jìn)行大量數(shù)據(jù)優(yōu)化。

五、特斯拉FSD軟件信號傳輸?shù)牧鞒?/h2>

特斯拉FSD軟件信號傳輸?shù)牧鞒倘鐖D9所示。

特斯拉的8個攝像頭進(jìn)行數(shù)據(jù)感知，可以以每秒25億像素的最大速度采集輸入到FSD中，攝像頭的數(shù)據(jù)進(jìn)入到FSD的DRAM。然后通過圖像信號處理器ISP進(jìn)行圖像數(shù)據(jù)的預(yù)處理，每秒可以處理10億像素(大約8個全高清1080P屏幕，每秒60幀)。這一階段芯片將來自攝像頭傳感器的原始RGB數(shù)據(jù)轉(zhuǎn)換成除了增強(qiáng)色調(diào)和消除噪音之外實際上有用的數(shù)據(jù)。隨后數(shù)據(jù)進(jìn)入LPDDR中進(jìn)行存儲，影響此階段的關(guān)鍵要素就是內(nèi)存帶寬，F(xiàn)SD除了要處理攝像頭的內(nèi)存數(shù)據(jù)，還需要處理毫米波雷達(dá)及其他傳感器的數(shù)據(jù)。數(shù)據(jù)隨后存儲與SRAM中，最終通過特斯拉的NPU/GPU/CPU進(jìn)行數(shù)據(jù)處理，Dojo的訓(xùn)練結(jié)果會通過OTA定義更新到FSD上，特斯拉可以對目標(biāo)進(jìn)行識別并進(jìn)行跟蹤，并把識別及跟蹤結(jié)果傳輸給車輛控制模塊，車輛控制模塊通過控制方向盤、加速踏板、制動裝置等其他執(zhí)行機(jī)構(gòu)對車輛進(jìn)行控制。

六、總結(jié)與展望

特斯拉后續(xù)會持續(xù)升級其軟件系統(tǒng)，包括感知神經(jīng)網(wǎng)絡(luò)的訓(xùn)練及部署，并有可能使用新一代毫米波雷達(dá)或者使用4D毫米波雷達(dá)融合感知。特斯拉的自動駕駛軟件系統(tǒng)為自動駕駛提供了新的實現(xiàn)方法，現(xiàn)在各大主機(jī)廠、各大供應(yīng)商均開始大力研究自動駕駛的軟件系統(tǒng)及架構(gòu)，相信這會讓未來自動駕駛功能更加完善，可靠性更高。