高洪偉 呂貴林 陳濤 韓爽 隋聰
【摘要】為了加速自動(dòng)駕駛商業(yè)化落地,為自動(dòng)駕駛汽車提供遠(yuǎn)程控制能力,提出一種融合5G通信網(wǎng)絡(luò)、云控平臺(tái)、視頻監(jiān)控等多項(xiàng)技術(shù)的遠(yuǎn)程遙控駕駛系統(tǒng),車輛可以通過云平臺(tái)與遠(yuǎn)端用戶連接,將車輛的速度、擋位、位置、胎壓等信息實(shí)時(shí)發(fā)送到系統(tǒng),駕駛員可通過系統(tǒng)實(shí)時(shí)監(jiān)測(cè)車輛的狀態(tài)信息,進(jìn)行綜合決策,實(shí)現(xiàn)遠(yuǎn)程控制車輛行駛,可以為高等級(jí)自動(dòng)駕駛的商業(yè)落地提供安全冗余和有力保障。主要研究分析了基于5G通信技術(shù)的遠(yuǎn)程駕駛系統(tǒng)的總體架構(gòu)和基于系統(tǒng)各部分的架構(gòu)設(shè)計(jì)方案。通過實(shí)車測(cè)試,驗(yàn)證了云控遠(yuǎn)程駕駛系統(tǒng)的性能,以及系統(tǒng)實(shí)際應(yīng)用的可行性與先進(jìn)性。
關(guān)鍵詞:5G網(wǎng)絡(luò);遠(yuǎn)程駕駛;云控;視頻監(jiān)控
中圖分類號(hào):TP273? ?文獻(xiàn)標(biāo)志碼:A? DOI: 10.19822/j.cnki.1671-6329.20220165
Design and Implementation of Cloud-Controlled Remote Driving System
Gao Hongwei, Lü Guilin, Chen Tao, Han Shuang, Sui Cong
(Global R&D Center, China FAW Corporation Limited, Changchun 130013)
【Abstract】 In order to accelerate the large-scale commercialization of autonomous driving system and provide the remote control capability for autonomous vehicles, this paper proposes a remote driving system by integrating 5G communication network, cloud control platform, video monitoring and other technologies. The vehicle can connect with remote users through the cloud platform, and send the vehicle speed, gear, position, tire pressure and other information to the system in real time. Drivers can monitor the vehicle status information in real time through the system so as to make comprehensive decisions, and realize remote driving. It can provide safety redundancy and strong guarantee for the commercial landing of advanced automatic driving. The framework of the remote driving system based on 5G technology and the architectural design based on each part of the system are analyzed in this paper. Through the real vehicle test, the performance of the cloud-control remote driving system and its feasibility and superiority in application are verified.
Key words: 5G network, Remote driving, Cloud monitoring, Video monitoring
縮略語(yǔ)
IoT Hub? Internet of Things Hub
API? Application Programming Interface
GNSS? Global Navigation Satellite System
CAN? ? Controller Area Network
GPS? Global Positioning System
CPE Customer Premise Equipment
TSF Tencent Service Framework
IMU? ? ? Inertial Measurement Unit
SAAS Software as a Service
PAAS Platform as a Service
IAAS Infrastructure as a Service
CI Continuous Integration
CD Continuous Delivery
0 引言
在智能交通領(lǐng)域,5G通信技術(shù)以其高性能、低時(shí)延和高容量等優(yōu)勢(shì),為智能交通系統(tǒng)提供了技術(shù)支撐,為實(shí)現(xiàn)自動(dòng)駕駛奠定了基礎(chǔ)[1,2]。當(dāng)前,由于技術(shù)限制和制造成本高,自動(dòng)駕駛技術(shù)仍處于L3級(jí)別,即有條件的自動(dòng)駕駛。在這一背景下,車聯(lián)網(wǎng)成為解決自動(dòng)駕駛技術(shù)和安全難題的有效途徑[3]。然而,目前自動(dòng)駕駛技術(shù)仍不成熟,為了彌補(bǔ)技術(shù)不足,遠(yuǎn)程駕駛技術(shù)備受關(guān)注[4]。遠(yuǎn)程駕駛技術(shù)是非常精確的遠(yuǎn)程操作,有著廣泛的應(yīng)用前景。該項(xiàng)技術(shù)使得車輛在惡劣環(huán)境、危險(xiǎn)工作區(qū)域(如煤礦、錫礦等地區(qū)以及人類無法到達(dá)的地方),可以通過遠(yuǎn)程駕駛實(shí)現(xiàn)危險(xiǎn)品以及礦區(qū)車輛運(yùn)輸[5]。為了提高駕駛安全性,通過無線通信網(wǎng)絡(luò)連接遠(yuǎn)端車輛,并在遠(yuǎn)程駕駛平臺(tái)通過采集駕駛模擬器的控制信號(hào)下發(fā)至車輛,進(jìn)行遠(yuǎn)程駕駛[6]。同時(shí),該技術(shù)如果能夠投入到物流行業(yè)及共享汽車領(lǐng)域,未來調(diào)度車輛的成本也將大幅降低[7]。因此,對(duì)5G遠(yuǎn)程駕駛技術(shù)進(jìn)行研究有著非常重要的現(xiàn)實(shí)意義。目前,大多數(shù)遠(yuǎn)程駕駛技術(shù)仍受到場(chǎng)景的限制,通常基于設(shè)計(jì)的模擬駕駛艙來實(shí)現(xiàn)。文獻(xiàn)[8]、文獻(xiàn)[9]通過設(shè)計(jì)模擬駕駛艙成功實(shí)現(xiàn)了遠(yuǎn)程駕駛車輛。張凱[9]將遠(yuǎn)程駕駛技術(shù)應(yīng)用到自動(dòng)化集裝箱碼頭,拓展了該項(xiàng)技術(shù)在物流領(lǐng)域的應(yīng)用。王遠(yuǎn)淵[10]專注研究智能船舶的遠(yuǎn)程駕駛技術(shù),分析了遠(yuǎn)程駕駛在海運(yùn)行業(yè)的技術(shù)前景。
本文聚焦智能網(wǎng)聯(lián)汽車中的遠(yuǎn)程駕駛技術(shù),通過將車輛的狀態(tài)信息實(shí)時(shí)發(fā)送到遠(yuǎn)程駕駛平臺(tái),實(shí)現(xiàn)對(duì)車輛的遠(yuǎn)程監(jiān)測(cè)和操作。嘗試將遠(yuǎn)程駕駛技術(shù)的控制媒介從傳統(tǒng)的駕駛模擬艙轉(zhuǎn)變?yōu)楦鼮槿粘;皖l繁使用的移動(dòng)應(yīng)用程序(APP)。這一設(shè)計(jì)降低遠(yuǎn)程駕駛的成本,并擺脫了以往對(duì)特定場(chǎng)景的依賴,為遠(yuǎn)程駕駛技術(shù)的推廣和應(yīng)用提供了可行案例。
1 遠(yuǎn)程駕駛系統(tǒng)架構(gòu)設(shè)計(jì)
對(duì)于遠(yuǎn)程駕駛而言,為了保證安全性和可靠性,系統(tǒng)需要具備以下4個(gè)特點(diǎn)。
(1)低時(shí)延:視頻傳輸時(shí)延和車輛控制信息傳輸時(shí)延應(yīng)盡可能低,讓駕駛員能實(shí)時(shí)觀察到車輛周圍環(huán)境,同時(shí)在駕駛員做出操作時(shí),車輛能夠?qū)崟r(shí)響應(yīng)。
(2)合適的控制信息發(fā)送頻率:信息發(fā)送頻率直接影響到遠(yuǎn)程駕駛的駕駛體驗(yàn)和安全性。過快的發(fā)送頻率會(huì)導(dǎo)致網(wǎng)絡(luò)擁塞,過慢的發(fā)送頻率會(huì)導(dǎo)致車輛反饋不及時(shí),操作有明顯的滯后感。
(3)穩(wěn)定性:數(shù)據(jù)傳輸過程中的丟包問題會(huì)導(dǎo)致汽車控制指令失序和控制不當(dāng)[11]。因此,遠(yuǎn)程駕駛在數(shù)據(jù)傳輸過程中,可以對(duì)報(bào)文增加時(shí)間戳和任務(wù)編號(hào)等輔助信息,確保車內(nèi)指令按順序執(zhí)行。
(4)清晰且流暢的視頻畫面:遠(yuǎn)程駕駛過程中,駕駛員只能通過視頻信息判斷車輛周圍環(huán)境,視頻卡頓或者不清晰會(huì)增加駕駛員的反應(yīng)時(shí)間,增大事故發(fā)生的可能性。
遠(yuǎn)程駕駛目前仍采用遠(yuǎn)程駕駛艙的形式[11](圖1)??紤]到以往的遠(yuǎn)程駕駛會(huì)受到駕駛艙的限制,不能隨時(shí)隨地進(jìn)行遠(yuǎn)程操作,本文采用手機(jī)APP作為遠(yuǎn)程控制系統(tǒng)的載體。
本文設(shè)計(jì)的遠(yuǎn)程駕駛系統(tǒng)主要包含4部分:車端、手機(jī)端、云端、通信網(wǎng)絡(luò),具體架構(gòu)如圖2所示。
遠(yuǎn)程駕駛系統(tǒng)分為用戶端、云端和設(shè)備端。用戶端為用戶直接使用的遠(yuǎn)程駕駛平臺(tái)(手機(jī)APP),包括視頻監(jiān)控、車況顯示、最大速度控制、擋位和駐車控制、車輛橫向控制和縱向控制功能。云端分為應(yīng)用層、業(yè)務(wù)服務(wù)層、設(shè)備接入層和通信鏈路。云端和設(shè)備端、用戶端的通信鏈路主要分為3種。
(1)長(zhǎng)連接物聯(lián)網(wǎng)通信網(wǎng)關(guān)(Internet of Things Hub, IoT Hub):其主要應(yīng)用于設(shè)備端和云端之間傳輸車況和故障信息,以及用戶端向云端發(fā)送控車指令。
(2)短連接應(yīng)用程序編程接口(Application Programming Interface, API):其主要應(yīng)用于用戶端調(diào)用云端對(duì)外暴露的API接口,如車況請(qǐng)求接口、視頻請(qǐng)求接口。
(3)長(zhǎng)鏈接協(xié)議:用于云端和設(shè)備端使用消息隊(duì)列(Rabbit Message Queue, RabbitMQ)傳輸視頻數(shù)據(jù)。RabbitMQ是由Erlang語(yǔ)言開發(fā),基于高級(jí)消息隊(duì)列協(xié)議(Advanced Message Queuing Protocol, AMQP)實(shí)現(xiàn)的消息隊(duì)列。設(shè)備端即本系統(tǒng)中的車端,其中全球?qū)Ш叫l(wèi)星系統(tǒng)(Global Navigation Satellite System, GNSS)天線和定位裝置用于提供車輛定位信息,5G客戶前置設(shè)備(Customer Premise Equipment, CPE)作為通信單元,攝像頭用于提供車輛周身的視頻信息,車內(nèi)部件和網(wǎng)關(guān)與車內(nèi)控制器局域網(wǎng)絡(luò)(Controller Area Network, CAN)總線相連,用于提供車輛在行駛過程中的車況信息和故障信息,計(jì)算單元用于數(shù)據(jù)處理。
1.1 車端系統(tǒng)架構(gòu)設(shè)計(jì)
1.1.1 車端硬件架構(gòu)
基于5G通信技術(shù)的遠(yuǎn)程駕駛系統(tǒng)的車端硬件架構(gòu)基于車內(nèi)計(jì)算單元實(shí)現(xiàn),其主要分為4個(gè)模塊:視頻模塊、通信模塊、信息處理模塊和定位模塊,車端整體硬件架構(gòu)如圖3所示。
其中,視頻處理模塊采集車輛前方、后方和左右后視攝像頭的視頻流,通過通信模塊推流到視頻服務(wù)器;通信模塊為車端的硬件設(shè)備提供5G通信網(wǎng)絡(luò)服務(wù);信息處理模塊根據(jù)車輛CAN總線協(xié)議,提取報(bào)文經(jīng)解析后通過通信模塊發(fā)送,同時(shí)接收遠(yuǎn)程駕駛平臺(tái)下發(fā)的控制指令,封裝為總線報(bào)文,下行傳輸控制車輛;車輛定位模塊,通過慣性導(dǎo)航設(shè)備和GNSS天線采集車輛的GPS值和航向角,再通過通信模塊發(fā)送到云平臺(tái)。
1.1.2 車端軟件架構(gòu)
本系統(tǒng)車端軟件架構(gòu)功能主要分為視頻采集、發(fā)送車端數(shù)據(jù)、接收云平臺(tái)數(shù)據(jù)執(zhí)行3部分。車端軟件架構(gòu)如圖4所示。
視頻模塊從攝像頭采集原始視頻流,使用OpenCV對(duì)視頻進(jìn)行編碼,最后壓縮成Base64編碼推流到視頻服務(wù)器。車云之間通過IoT Hub進(jìn)行通信,使用消息隊(duì)列遙測(cè)傳輸協(xié)議(Message Queuing Telemetry Transport, MQTT)傳輸JSON字符串,數(shù)據(jù)傳輸分為數(shù)據(jù)上行和數(shù)據(jù)下行,數(shù)據(jù)上行傳輸部分從解析車輛CAN總線數(shù)據(jù)開始,到封裝成固定格式的JSON字符串,最后通過5G通信網(wǎng)絡(luò)傳輸?shù)竭h(yuǎn)程駕駛平臺(tái)[13],車輛上傳的消息所包含字段見表1。數(shù)據(jù)下行傳輸部分包括車端接收遠(yuǎn)程駕駛平臺(tái)控制指令、解析指令、計(jì)算單元下發(fā)指令,執(zhí)行控車[14],車輛接收到的消息所包含具體字段見表2。
1.2 遠(yuǎn)程駕駛平臺(tái)(手機(jī)APP)架構(gòu)設(shè)計(jì)
在本系統(tǒng)中,開發(fā)手機(jī)APP來實(shí)現(xiàn)遠(yuǎn)程駕駛平臺(tái),主要工作包含APP前端界面設(shè)計(jì)和后端應(yīng)用服務(wù)開發(fā)2部分,APP界面設(shè)計(jì)如圖5所示,主要包含以下9部分。
(1)最大速度選擇按鈕:可以實(shí)現(xiàn)對(duì)車輛最大速度的設(shè)置,可以實(shí)現(xiàn)不同速度下的車輛控制。
(2)退出:退出遠(yuǎn)程駕駛頁(yè)面,并結(jié)束控車。
(3)拍照:拍攝車端前后左右攝像頭當(dāng)前圖像,并上傳到云平臺(tái)進(jìn)行存儲(chǔ)。
(4)轉(zhuǎn)向盤:實(shí)現(xiàn)車輛橫向控制。
(5)前進(jìn)、后退:實(shí)現(xiàn)車輛縱向控制。
(6)緊急制動(dòng):以設(shè)定的最大減速度實(shí)現(xiàn)減速制動(dòng)。
(7)車速和擋位:顯示車輛當(dāng)前車速和擋位信息。
(8)遙控開始:表示啟動(dòng)遠(yuǎn)程遙控功能。
(9)左右+前后視角:顯示車輛左右視角和前后視角,其中,前后視角根據(jù)擋位狀態(tài)自動(dòng)切換。
APP后端應(yīng)用服務(wù)主要包括接收車端上行傳輸?shù)臄?shù)據(jù)包、解析車端數(shù)據(jù)包、拉取視頻流、轉(zhuǎn)發(fā)數(shù)據(jù)包至界面程序、采集用戶操作信號(hào)、發(fā)送控制指令至車端等功能。
1.3 云平臺(tái)架構(gòu)設(shè)計(jì)
云平臺(tái)滿足遠(yuǎn)程駕駛平臺(tái)(手機(jī)APP)和車端遠(yuǎn)距離通信的要求,應(yīng)該具備以下基礎(chǔ)功能:APP和車端的信息交互;記錄車輛遙控過程中的車況、故障;管理車輛上傳和APP拉取的視頻流。
本系統(tǒng)的云平臺(tái)分為業(yè)務(wù)服務(wù)層、基礎(chǔ)平臺(tái)層、基礎(chǔ)設(shè)施層,云平臺(tái)架構(gòu)(圖6)。基礎(chǔ)設(shè)施層包含服務(wù)器、網(wǎng)絡(luò)、安全、業(yè)務(wù)監(jiān)控等?;A(chǔ)平臺(tái)層包含設(shè)備接入網(wǎng)關(guān)、數(shù)據(jù)庫(kù)、組件庫(kù)和微服務(wù)平臺(tái)(Tencent Service Framework, TSF)框架。業(yè)務(wù)服務(wù)層基于先進(jìn)的微服務(wù)架構(gòu)開發(fā),各微服務(wù)業(yè)務(wù)解耦。
1.3.1 APP后臺(tái)
APP后臺(tái)在網(wǎng)關(guān)(GateWay)類中開放接口,接收手機(jī)APP發(fā)送的遠(yuǎn)程請(qǐng)求,包括遠(yuǎn)程打開/關(guān)閉視頻、查詢車況、打開/關(guān)閉遙控駕駛的功能。APP后臺(tái)將接收到的JSON消息進(jìn)行解析,填充VideoRequest,VehicleStatusRequest,RemoteDrivingRequest,CloseRemoteDriving實(shí)體類數(shù)據(jù)。同時(shí)將視頻請(qǐng)求通過聲明式服務(wù)調(diào)用(Feign)發(fā)送給視頻處理服務(wù),將啟動(dòng)/關(guān)閉遠(yuǎn)程駕駛請(qǐng)求發(fā)送給遠(yuǎn)程駕駛服務(wù)。
1.3.2 視頻處理
視頻處理服務(wù)主要實(shí)現(xiàn)請(qǐng)求/關(guān)閉視頻流和拍照的功能,根據(jù)VideoType字段判斷對(duì)哪個(gè)視頻流進(jìn)行操作,根據(jù)ServiceType字段判斷對(duì)視頻流進(jìn)行何種操作。將接收到的請(qǐng)求通過Feign轉(zhuǎn)發(fā)給遠(yuǎn)程控制服務(wù),將消息實(shí)時(shí)發(fā)送給車端或者APP端。其中,若收到關(guān)閉視頻的請(qǐng)求,除了轉(zhuǎn)發(fā)請(qǐng)求外,還需要對(duì)相應(yīng)的視頻流進(jìn)行主動(dòng)關(guān)閉。
1.3.3 遠(yuǎn)程駕駛服務(wù)
遠(yuǎn)程駕駛服務(wù)主要實(shí)現(xiàn)2個(gè)功能:
(1)接收車輛故障信息,在接收到車輛故障信息后,將信息轉(zhuǎn)發(fā)給遠(yuǎn)程控制服務(wù)。
(2)開啟/關(guān)閉遠(yuǎn)程駕駛,若接收到開啟/關(guān)閉遠(yuǎn)程駕駛請(qǐng)求,則發(fā)送控制指令給遠(yuǎn)程控制服務(wù)。
1.3.4 數(shù)據(jù)上行
在IoT Hub上配置Kafka消息隊(duì)列,數(shù)據(jù)上行服務(wù)作為消費(fèi)者,使用MsgConsumer類來循環(huán)讀取消息隊(duì)列中數(shù)據(jù),對(duì)數(shù)據(jù)進(jìn)行Base64解碼,使用JSON消息格式解析數(shù)據(jù),并將解析后的數(shù)據(jù)根據(jù)消息類型,使用MsgProducer類將不同的消息發(fā)送到對(duì)應(yīng)的Kafka 主題(Topic)中。
1.3.5 數(shù)據(jù)下行
數(shù)據(jù)下行服務(wù)使用MsgConsumer類消費(fèi)Kafka數(shù)據(jù),根據(jù)Type字段區(qū)分接收消息是發(fā)送給車端還是APP端。根據(jù)不同的消息讀取對(duì)應(yīng)的IoT Hub配置信息,利用配置信息生成hmac-sha1簽名,將簽名和發(fā)送信息進(jìn)行拼接,完成鑒權(quán),最后通過Post請(qǐng)求發(fā)送給IoT Hub。
1.3.6 車輛狀態(tài)機(jī)
車輛狀態(tài)機(jī)服務(wù)使用VehUpStreamReceiver接收數(shù)據(jù)上行分發(fā)到Kafka中的車況信息,然后根據(jù)Vin字段寫入到對(duì)應(yīng)車輛的Redis中間件中。同時(shí)通過StatusMachineController類提供查詢車況的功能,返回?cái)?shù)據(jù)庫(kù)內(nèi)當(dāng)前車輛的車況信息。
1.3.7 遠(yuǎn)程控制
遠(yuǎn)程控制主要實(shí)現(xiàn)遠(yuǎn)程發(fā)送控車指令和視頻請(qǐng)求的功能,供上層微服務(wù)調(diào)用,同時(shí)對(duì)指令消息發(fā)送頻率進(jìn)行控制,控制上層服務(wù)不能短時(shí)間內(nèi)發(fā)送大量消息,以防Kafka消息隊(duì)列堵塞,或者超過IoT Hub的最大消息頻率。在接收到上層微服務(wù)發(fā)送的請(qǐng)求后,使用MsgProducer類對(duì)消息進(jìn)行封裝,送入Kafka對(duì)應(yīng)的Topic中。
1.3.8 事件監(jiān)聽消息分發(fā)
事件監(jiān)聽消息分發(fā)使用KafkaReceiver類從Kafka中讀取對(duì)應(yīng)Topic的故障信息,將故障信息進(jìn)行記錄并通過RemoteDrivingNoticeFeign類將故障信息發(fā)送到遠(yuǎn)程駕駛服務(wù)和APP后臺(tái)服務(wù)。
1.3.9 車輛狀態(tài)機(jī)
車輛狀態(tài)機(jī)用于接收車況信息,根據(jù)車架號(hào)對(duì)不同車輛的車況信息進(jìn)行持久化存儲(chǔ),支撐遠(yuǎn)程駕駛平臺(tái)獲取車輛實(shí)時(shí)狀態(tài)數(shù)據(jù),也可以對(duì)車輛行駛狀況進(jìn)行還原和異常情況分析。車輛狀態(tài)機(jī)數(shù)據(jù)庫(kù)設(shè)計(jì)見表3。
2 遠(yuǎn)程駕駛系統(tǒng)驗(yàn)證
2.1 試驗(yàn)系統(tǒng)搭建
2.1.1 車端系統(tǒng)搭建
車端硬件設(shè)備組成包括攝像頭、計(jì)算單元、5G 客戶終端設(shè)備(Customer Premise Equipment, CPE)和定位設(shè)備等,具體設(shè)備部署如圖7所示。
在本系統(tǒng)設(shè)計(jì)中,車端前保險(xiǎn)杠部署了環(huán)視相機(jī),用于拍攝車輛正前方景象;在車端左右后視鏡下和車輛正后方部署了三路攝像頭,用來模擬車輛后視鏡畫面,提供車后畫面;車輛經(jīng)過改裝,車內(nèi)設(shè)備采用12 V電壓供電,工控機(jī)需要將電壓轉(zhuǎn)為24 V進(jìn)行供電。
在車端部署了慣導(dǎo)設(shè)備,慣導(dǎo)設(shè)備是車輛定位的核心設(shè)備,包括慣性測(cè)量單元(Inertial Measurement Unit,IMU)和GNSS[15]。根據(jù)性能需求,選擇了戴世IFS2000,設(shè)備支持多星座多頻段定位,能夠自主識(shí)別衛(wèi)星數(shù)據(jù)的定位方差和速度方差,再結(jié)合設(shè)備標(biāo)定參數(shù)值決定是否融合衛(wèi)星定位數(shù)據(jù)。其內(nèi)置算法支持從CAN總線直接讀取輪速和擋位信號(hào)并進(jìn)行濾波融合,且在沒有GNSS的情況下依然能夠持久地進(jìn)行運(yùn)動(dòng)測(cè)量和輸出高精度的定位數(shù)據(jù)。
車端計(jì)算單元使用研華工控機(jī)宸曜Nuvo-8240GC,5G通信網(wǎng)絡(luò)由華為5G CPE提供,該設(shè)備內(nèi)置5G/LTE主集天線,插入5G SIM卡后可提供5G網(wǎng)絡(luò),車端攝像頭視頻流可直接通過CPE提供的5G網(wǎng)絡(luò)推流到視頻服務(wù)器。
2.1.2 云平臺(tái)系統(tǒng)搭建
云平臺(tái)采用容器部署方式,部署在TSF微服務(wù)平臺(tái),使用MySQL、Redis等數(shù)據(jù)庫(kù)和中間件。云端部署架構(gòu)見圖8。
2.2 實(shí)車驗(yàn)證
2.2.1 視頻模塊驗(yàn)證
在5G網(wǎng)絡(luò)條件下使用客戶端對(duì)視頻進(jìn)行拉取,對(duì)視頻性能進(jìn)行定量分析。選取PC和安卓手機(jī)2個(gè)設(shè)備作為客戶端,對(duì)視頻進(jìn)行拉取,PC端測(cè)試網(wǎng)絡(luò)為百兆網(wǎng)絡(luò),安卓手機(jī)測(cè)試網(wǎng)絡(luò)為5G,試驗(yàn)的視頻流分辨率為720和1 080。針對(duì)以上試驗(yàn)環(huán)境,試驗(yàn)視頻傳輸所需帶寬、網(wǎng)絡(luò)波動(dòng)和視頻延時(shí)的性能。其中,網(wǎng)絡(luò)波動(dòng)采用1 min內(nèi)視頻每秒傳輸數(shù)據(jù)量的極值差和平均值的比值來衡量,具體測(cè)試數(shù)據(jù)見表4。
2.2.2 遠(yuǎn)程控車模塊測(cè)試
將APP和車端用同一個(gè)對(duì)時(shí)服務(wù)器(Network Time Protocol,NTP)進(jìn)行時(shí)間校準(zhǔn),APP下發(fā)控車指令時(shí)帶上當(dāng)前時(shí)間戳,將車端接收到指令后與當(dāng)前時(shí)間戳的差值作為延遲值。針對(duì)3個(gè)指令進(jìn)行試驗(yàn),分別為制動(dòng)指令、擋位指令和基礎(chǔ)控車指令(車輛前進(jìn)后退)指令,試驗(yàn)結(jié)果見圖9~圖11。因?yàn)樵趯?shí)際操作過程中,擋位和制動(dòng)指令的發(fā)送頻率要遠(yuǎn)低于基礎(chǔ)控車指令,因此對(duì)于制動(dòng)和擋位指令在不同時(shí)間段試驗(yàn)15次,對(duì)于基礎(chǔ)控車指令,在不同時(shí)間段試驗(yàn)100次。每條控制指令的平均延遲,最大延遲和最低延遲見表5。結(jié)合試驗(yàn)結(jié)果和實(shí)際體驗(yàn)發(fā)現(xiàn),此時(shí)延遲在低速情況下滿足遠(yuǎn)程駕駛的延遲要求。
2.3 試驗(yàn)結(jié)果分析
低視頻延遲在遠(yuǎn)程駕駛中至關(guān)重要。視頻延遲相當(dāng)于延后了駕駛員看到周圍環(huán)境的時(shí)間,增加了駕駛員做出反應(yīng)的時(shí)間。就視頻傳輸方案而言,對(duì)比王銳松等[12]采用的視頻傳輸方案,其傳輸時(shí)延在187.74~567.48 ms,本文提出的視頻傳輸方案在分辨率為720和1 080的下傳輸延遲均可以達(dá)到100 ms以內(nèi),大大減少了視頻延遲。此外,由于存在視覺暫留現(xiàn)象[16],視神經(jīng)對(duì)物體的印象卻不會(huì)立即消失,而是要延續(xù)0.1~0.4 s的時(shí)間,這就需要保證視頻刷新率至少為10幀/s,本文中的視頻刷新率均為24幀/s,且支持分辨率為720和1 080,保證視頻清晰度。
車輛控制延遲和控制頻率影響車輛響應(yīng)時(shí)間和駕駛員的駕駛體驗(yàn)。本系統(tǒng)中控制頻率為50 Hz,操作過程中沒有明顯的滯后感,且車輛控制的平均時(shí)延在80 ms以內(nèi),考慮到網(wǎng)絡(luò)波動(dòng)問題,假設(shè)延遲為100 ms。結(jié)合文獻(xiàn)[17],以制動(dòng)的反應(yīng)時(shí)間為例,無事故駕駛員的平均制動(dòng)反應(yīng)時(shí)間為0.377 s,出事故的駕駛員平均制動(dòng)反應(yīng)時(shí)間為0.393 s,故假設(shè)駕駛員的制動(dòng)反應(yīng)為0.4 s。將視頻延時(shí),控車指令傳輸延時(shí)和駕駛員反映時(shí)間考慮在內(nèi),駕駛員的制動(dòng)反應(yīng)時(shí)間約為0.6 s。鄭彬雙[18]指出自動(dòng)駕駛車輛制動(dòng)減速度處于-2~0 m/s2時(shí),自動(dòng)駕駛汽車的駕駛舒適度更高、更安全。因此在本系統(tǒng)中,車輛設(shè)置制動(dòng)減速度為-1 m/s2,考慮不同車速,理想條件下車輛應(yīng)保持的安全距離見表6(高速情況下制動(dòng)距離過大,不適合進(jìn)行遠(yuǎn)程駕駛,故不列出)。
綜上可知,遠(yuǎn)程駕駛視頻傳輸應(yīng)滿足刷新率至少為10幀/s,分辨率為720。同時(shí)在網(wǎng)絡(luò)通暢、無丟包的情況下,應(yīng)該在不同的車速下保持不同的安全距離。鑒于車輛的制動(dòng)距離與信息傳輸延遲、車速呈正相關(guān)這一特點(diǎn),在網(wǎng)絡(luò)延遲較大的情況下,應(yīng)保持更大的安全距離。除此以外,為了應(yīng)對(duì)網(wǎng)絡(luò)丟包等極端情況,車輛應(yīng)配備應(yīng)急程序,實(shí)時(shí)監(jiān)控網(wǎng)絡(luò)環(huán)境,在網(wǎng)絡(luò)環(huán)境不佳或存在碰撞風(fēng)險(xiǎn)時(shí),采取緊急制動(dòng)。
3 結(jié)束語(yǔ)
汽車自動(dòng)駕駛技術(shù)一直不斷發(fā)展、不斷進(jìn)步,在這個(gè)領(lǐng)域內(nèi)有很多企業(yè)持續(xù)加大研發(fā)力度,而遠(yuǎn)程駕駛技術(shù)作為自動(dòng)駕駛的關(guān)鍵技術(shù)之一,可以更好地輔助自動(dòng)駕駛技術(shù)的發(fā)展。因此,遠(yuǎn)程駕駛系統(tǒng)的開發(fā)對(duì)于自動(dòng)駕駛汽車有著重要意義。
(1)視頻模塊部分,在整個(gè)系統(tǒng)的數(shù)據(jù)傳輸中,由于視頻需要較高的分辨率,視頻傳輸對(duì)帶寬的要求很高,可以通過應(yīng)用基于深度學(xué)習(xí)框架的端到端的視頻壓縮技術(shù),提高壓縮效率。
(2)車輛攝像頭所采集到的視頻存在視野盲區(qū)和圖像畸變,視頻傳輸和APP控車也存在一定的延遲,這些都會(huì)導(dǎo)致遠(yuǎn)程駕駛員錯(cuò)誤判斷當(dāng)前車輛周圍環(huán)境,做出錯(cuò)誤的決策,因此車輛需要緊急避障功能,在駕駛員遠(yuǎn)程操作失誤時(shí),能緊急應(yīng)對(duì)危險(xiǎn)情況。
參 考 文 獻(xiàn)
[1] 劉津晶. 5G車聯(lián)網(wǎng)不僅為自動(dòng)駕駛而生[N]. 中國(guó)電子報(bào), 2020-01-07(8).
[2] 商立昌, 趙懷黨, 王健宇. 物聯(lián)網(wǎng)環(huán)境背景下的 5G 通信技術(shù)應(yīng)用研究[J]. 電子通信與計(jì)算機(jī)科學(xué), 2023, 5(1): 111-113.
[3] EL MADANI S, MOTAHHIR S, EL GHZIZAL A. Internet of Vehicles: Concept, Process, Security Aspects and Solutions[J]. Multimedia Tools and Applications, 2022, 81(12): 16563-16587.
[4] WISEMAN Y. Autonomous Vehicles[M]//Research Anthology on Cross-disciplinary Designs and Applications of Automation. Pennsylvania: IGI Global, 2022: 878-889.
[5] 隋聰. 基于 V2X 的碰撞預(yù)警提示與遠(yuǎn)程駕駛系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 長(zhǎng)春:吉林大學(xué), 2021.
[6] AMADOR O, ARAMRATTANA M, VINEL A. A Survey on Remote Operation of Road Vehicles[J]. IEEE Access, 2022, 10: 130135-130154.
[7] HAN W, MA J Y, LIU H. Application of the Internet of Vehicles in Logistics Management System[C]//Proceedings of 2019 2nd International Conference on Computer Science and Advanced Materials, 2019.
[8] 楊良義, 鄧長(zhǎng)禎, 劉飛洋. 面向 5G 遠(yuǎn)程自動(dòng)駕駛的 CPSS 控制系統(tǒng)研究[J]. 重慶理工大學(xué)學(xué)報(bào) (自然科學(xué)), 2022, 36(2): 20-27.
[9] 張凱,王學(xué)謙,張煜,等.自動(dòng)化集裝箱碼頭遠(yuǎn)程駕駛控制系統(tǒng)設(shè)計(jì)[J]. 起重運(yùn)輸機(jī)械, 2022(6): 65-68+72.
[10] 王遠(yuǎn)淵, 劉佳侖, 馬楓, 等. 智能船舶遠(yuǎn)程駕駛控制技術(shù)研究現(xiàn)狀與趨勢(shì)[J]. 中國(guó)艦船研究, 2021, 16(1): 14.
[11] 朱陳偉, 鄭佳, 關(guān)寧. 基于5G網(wǎng)絡(luò)的車輛遠(yuǎn)程駕駛場(chǎng)景研究[J]. 汽車制造業(yè), 2021(5): 15-18.
[12] 王銳松, 吳曉東. 面向遠(yuǎn)程駕駛的數(shù)據(jù)通訊交互時(shí)延分析[J]. 電子技術(shù)與軟件工程, 2021(22): 22-25.
[13] 吳敏捷. 基于CAN總線的車輛遠(yuǎn)程監(jiān)控系統(tǒng)硬件設(shè)計(jì)[J]. 機(jī)電產(chǎn)品開發(fā)與創(chuàng)新, 2010, 23(6): 109-111.
[14] JIAN Y M. Design and Production of Bluetooth Remote Control Smart Car[C]//Proceedings of 2020 5th International Conference on Mechatronics, Control and Electronic Engineering, 2020.
[15] 寧予, 張智清, 劉明春. 基于慣導(dǎo)系統(tǒng)的智能汽車定位技術(shù)應(yīng)用[J]. 智能網(wǎng)聯(lián)汽車, 2020(5): 88-91.
[16] 王立文, 王劍薇. 視覺暫留[J]. 中國(guó)科技教育, 2019(2): 52-53.
[17] 劉志強(qiáng), 趙艷萍, 汪彭. 道路交通安全工程[M]. 北京: 高等教育出版社, 2012.
[18] 鄭彬雙. 無人駕駛車輛制動(dòng)過程瀝青路面抗滑特性及感應(yīng)需求研究[D]. 南京: 東南大學(xué), 2021.
(責(zé)任編輯 明慧)
【作者簡(jiǎn)介】
高洪偉(1982—),男,中國(guó)第一汽車股份有限公司研發(fā)總院,高級(jí)工程師,研究方向?yàn)橹悄芫W(wǎng)聯(lián)汽車技術(shù)。
E-mail:gaohongwei@faw.com.cn
呂貴林(1980—),男,中國(guó)第一汽車股份有限公司研發(fā)總院,高級(jí)工程師,研究方向?yàn)橹悄芫W(wǎng)聯(lián)汽車技術(shù)。
E-mail:lvguilin@faw.com.cn
陳濤(1984—),男,中國(guó)第一汽車股份有限公司研發(fā)總院,高級(jí)工程師,研究方向?yàn)橹悄芫W(wǎng)聯(lián)汽車技術(shù)。
E-mail:chentao5@faw.com.cn
韓爽(1991—),女,中國(guó)第一汽車股份有限公司研發(fā)總院,工程師,研究方向?yàn)橹悄芫W(wǎng)聯(lián)汽車技術(shù)。
E-mail:hanshuang@faw.com.cn
隋聰(1993—),男,中國(guó)第一汽車股份有限公司研發(fā)總院,工程師,研究方向?yàn)橹悄芫W(wǎng)聯(lián)汽車技術(shù)。
E-mail:suicong3@faw.com.cn