国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

汽車軟件在線升級關(guān)鍵技術(shù)及監(jiān)管要求分析

2024-04-18 09:18:53王婧璇文海鷗陳亞翔
汽車文摘 2024年4期
關(guān)鍵詞:智能網(wǎng)聯(lián)汽車

王婧璇 文海鷗 陳亞翔

【摘要】隨著軟件定義汽車時代的到來,汽車軟件升級技術(shù)應(yīng)用的必要性愈發(fā)突出,為了避免汽車軟件在線升級中潛在的安全風(fēng)險,車輛制造商需保證產(chǎn)品在線升級(OTA)的安全性。針對當(dāng)前汽車OTA面臨的挑戰(zhàn),從數(shù)據(jù)完整性及服務(wù)完整性2方面總結(jié)了OTA升級關(guān)鍵技術(shù)的發(fā)展現(xiàn)狀,分析了現(xiàn)有軟件升級管理法規(guī)要求,并在此基礎(chǔ)上提出企業(yè)OTA能力建設(shè)方面的建議。

關(guān)鍵詞:智能網(wǎng)聯(lián)汽車;軟件升級;OTA安全

中圖分類號:U461.99;F426? 文獻標(biāo)志碼:A? DOI: 10.19822/j.cnki.1671-6329.20230196

Analysis on Key Technology and Regulatory Requirement for Automotive Over the Air Update

Wang Jingxuan, Wen Haiou, Chen Yaxiang

(China Automotive Engineering Research Institute Co., Ltd., Chongqing 404100)

【Abstract】 With the advent of the software-defined automobile era, the necessity of the application of automobile software update technology becomes more and more prominent. To avoid potential security risks, vehicle manufacturer needs to ensure OTA security of the product. In view of the current challenges faced by OTA, the development status of key technologies for OTA update is summarized from the aspects of data integrity and service integrity. The requirements of existing software update management laws and regulations are analyzed, and the corresponding OTA capacity building suggestions are put forward to vehicle manufacturers.

Key words: Intelligent and connected vehicles, Software update, OTA security

0 引言

隨著車輛高級功能的配置,智能網(wǎng)聯(lián)汽車中軟件數(shù)量日益增加,其代碼量高達(dá)百萬行[1-5]。軟件漏洞和錯誤可能會帶來系統(tǒng)崩潰、功能失效、信息泄露和安全漏洞等風(fēng)險,影響駕駛體驗甚至危害用戶生命財產(chǎn)安全。同時,車輛對軟件連接、控制和協(xié)調(diào)依賴程度增加,也加劇了對軟件修復(fù)和漏洞修補的需求。因此,車輛制造商需要建立一個安全的軟件更新機制,以便修復(fù)漏洞并應(yīng)對不斷變化的環(huán)境威脅。在傳統(tǒng)的封閉系統(tǒng)車輛中,車輛故障是由硬件故障或軟件安裝中的錯誤造成的,對應(yīng)的解決方案是召回問題車輛并進行修復(fù),而該方式所需時間過長且為用戶帶來極大不便[6]。由于智能車輛具有網(wǎng)聯(lián)無線網(wǎng)聯(lián)通信功能,所以車輛制造商開始通過無線方式對汽車軟件實現(xiàn)遠(yuǎn)程空中下載(Over The Air, OTA)升級,該方法無需物理召回過程,可向用戶提供最方便、最快速的軟件升級服務(wù)[7-8]。

OTA軟件更新具有以下優(yōu)勢:(1)車輛可以在運行狀態(tài)中及時對軟件進行升級,大大縮短了軟件升級的時間;(2)通過OTA軟件升級可以降低車輛保修成本和物理召回成本;(3)通過實時升級,可以及時解決安全問題,提高汽車的安全性能,降低被攻擊的風(fēng)險;(4)通過OTA升級,用戶可以享受個性化定制服務(wù),如對音樂、導(dǎo)航等應(yīng)用軟件的更新[9-11]。2022年,全球支持OTA升級的車輛出貨量將接近2.03億輛[12]。因此,OTA升級具有巨大潛力,對汽車市場的未來發(fā)展具有重要的意義。

車輛制造商通過蜂窩網(wǎng)絡(luò)實現(xiàn)智能網(wǎng)聯(lián)車輛的OTA升級。同時,網(wǎng)絡(luò)連接也給車輛帶來了各種安全威脅和隱私挑戰(zhàn)。有研究人員通過多種方式(車載診斷端口、Wi-Fi、藍(lán)牙等)嘗試對車載電子控制單元(Electronic Control Unit, ECU)進行攻擊,結(jié)果發(fā)現(xiàn)ECU會被成功攻擊,而網(wǎng)絡(luò)攻擊者可以通過被入侵的ECU向車載網(wǎng)絡(luò)注入數(shù)據(jù)包,以控制車輛[13-16]。聯(lián)網(wǎng)車輛面臨被遠(yuǎn)程網(wǎng)絡(luò)攻擊的風(fēng)險,使得建立端到端的OTA升級安全連接成為一個至關(guān)重要的問題,而由于復(fù)雜、多樣的攻擊手段以及不夠成熟的技術(shù),導(dǎo)致車輛在OTA過程中保持安全的連接十分具有挑戰(zhàn)性。此外,OTA升級面臨的另一個挑戰(zhàn)是升級時保障車輛的安全及準(zhǔn)確訪問。由于每次OTA升級的對象滿足特定限制,因此需限制云端僅能訪問并僅向目標(biāo)車輛推送對應(yīng)升級包。為了避免OTA升級過程中由于車輛的網(wǎng)絡(luò)可用性故障導(dǎo)致的升級中斷或失敗等問題,原始設(shè)備制造商(Original Equipment Manufacturer, OEM)和網(wǎng)絡(luò)運營商需要確保升級過程中可有效利用無線電頻譜,以最大限度地提高升級成功率,同時最小化車輛升級對其他網(wǎng)絡(luò)用戶的影響。因此,對于網(wǎng)絡(luò)運營商而言,聯(lián)網(wǎng)車輛的OTA升級成為一個重要的調(diào)度問題[17]。

為了解決OTA升級可能存在的問題,可采取多種措施,如通過完整性驗證、身份驗證和密鑰管理等措施,防止車輛被遠(yuǎn)程攻擊以及數(shù)據(jù)被篡改或竊取。為確保OTA升級過程的高效性和可靠性,OEM和網(wǎng)絡(luò)運營商可以選擇使用強大可靠的通信協(xié)議,建立云端與車輛之間的高效通信。此外,需要設(shè)計健壯的軟件程序,滿足升級中斷時能夠自動續(xù)傳、自動檢測和進行失敗重啟的需求[18-20]。為了最大程度地減少OTA升級對蜂窩網(wǎng)絡(luò)的壓力,同時保障升級包傳輸?shù)耐暾院头€(wěn)定性,需要對OTA升級的程序和過程進行優(yōu)化,盡可能降低升級過程對帶寬和網(wǎng)絡(luò)資源的消耗。同時,應(yīng)優(yōu)化網(wǎng)絡(luò)連接和調(diào)度策略,以確保軟件包下載過程中網(wǎng)絡(luò)可用性,并確保對所有其他網(wǎng)絡(luò)用戶的影響最小,從而最大程度地提高更新成功率。

綜上,智能網(wǎng)聯(lián)汽車的軟件升級趨勢為OTA升級,為確保其實施的可靠性,需保證云端將真實完整的升級包安全傳輸至車端,且升級包的安裝過程需不受攻擊。除了技術(shù)要求之外,企業(yè)OTA體系也需滿足監(jiān)管要求。因此,本文主要總結(jié)了OTA升級的要求及其關(guān)鍵技術(shù),并討論了OTA升級面臨的挑戰(zhàn),還研究了國內(nèi)外現(xiàn)有OTA升級監(jiān)管要求,并基于此對企業(yè)提出關(guān)于OTA升級能力的建設(shè)建議。

1 OTA升級安全關(guān)鍵技術(shù)

1.1 OTA升級流程

汽車OTA升級架構(gòu)主要包括:OTA云服務(wù)器、無線網(wǎng)絡(luò)傳輸端以及車端,如圖1所示。其中,云端的升級包由軟件供應(yīng)商上傳,車輛制造商負(fù)責(zé)升級任務(wù)的發(fā)布。車端通過無線網(wǎng)絡(luò)從云端獲取OTA升級任務(wù)及升級包,并向云端上報升級結(jié)果。

OTA具體升級流程主要包括以下環(huán)節(jié)(圖2)。

(1)軟件供應(yīng)商向車輛制造商交付通過了功能測試的升級包,上傳至OTA云平臺,并完成升級包驗證流程。

(2)車輛制造商通過OTA云平臺向目標(biāo)車輛發(fā)布升級任務(wù)。

(3)車輛制造商通過實體信件、電子郵件、社交媒體和車載通知等方式通知車輛用戶升級信息,用戶可選擇拒絕或同意軟件更新。若選擇“拒絕”,則不會進行升級,若選擇“同意”,車輛檢查自身狀態(tài)是否滿足車輛制造商規(guī)定的升級前置條件,滿足則進行下一步。

(4)車輛向OTA平臺請求軟件升級,接收訪問OTA平臺中軟件升級包的路徑信息。

(5)車輛根據(jù)軟件升級包的路徑訪問OTA平臺的升級包,并進行升級包下載,下載過程中OTA平臺或用戶端可查看下載進度,直至下載完成。若下載中斷,則在滿足條件后繼續(xù)下載。

(6)車輛端對下載的升級包進行驗證后執(zhí)行安裝,OTA升級完成后,用戶可接收升級結(jié)果告知。若升級失敗,軟件將回滾至上一可用版本;若升級成功,可進行后期驗證,以確認(rèn)已成功完成目標(biāo)ECU的軟件升級,并且本次升級未影響任何其他ECU或車輛功能。

1.2 OTA升級的安全要求

為保證完整穩(wěn)定的OTA服務(wù),需保證其數(shù)據(jù)完整性和服務(wù)完整性。數(shù)據(jù)完整性要求數(shù)據(jù)未經(jīng)許可不被授權(quán)訪問和篡改[21-22]。研究表明被篡改過的數(shù)據(jù)包可能會使車輛被遠(yuǎn)程攻擊,威脅車輛及用戶的安全[23]。服務(wù)完整性要求軟件升級全過程(下載、安裝)中未受惡意軟件或其他惡意修改的干擾(DOS攻擊、選擇性轉(zhuǎn)發(fā)、節(jié)點捕獲等)[24-25]。從開始下載軟件包到執(zhí)行安裝,服務(wù)完整性均可能會受到破壞。

為避免OTA服務(wù)的數(shù)據(jù)完整性和服務(wù)完整性被破壞,應(yīng)在云端及車端均驗證升級包的數(shù)據(jù)完整性,阻止對升級包未經(jīng)授權(quán)的訪問及篡改(新增,刪減或修改)。此外,需構(gòu)建OTA云平臺與車輛間升級包分發(fā)的安全傳輸通道,并在各節(jié)點查驗服務(wù)的完整性。因此,OTA升級的安全要求應(yīng)包括:

(1)OTA升級任務(wù)發(fā)布后,需驗證目標(biāo)車輛的升級包訪問權(quán)限。

(2)應(yīng)確保升級包由OTA云平臺下發(fā)至目標(biāo)車輛的傳輸安全性,安全傳輸通道可最大程度地確保在傳輸過程中數(shù)據(jù)未經(jīng)篡改,或具備數(shù)據(jù)修改點檢測能力。

(3)在車輛從OTA云平臺下載升級包完成且未開始執(zhí)行安裝之前,需將升級包安全儲存,以保證待安裝軟件包的真實性及完整性不受破壞。

(4)為避免安裝錯誤升級包帶來的問題,升級包上傳至OTA云平臺后需通過平臺的真實性、完整性驗證后才可下發(fā),車輛下載升級包后,需在執(zhí)行安裝前再次校驗升級包的完整性。

(5)應(yīng)保證OTA云平臺的網(wǎng)絡(luò)安全水平,以發(fā)現(xiàn)其漏洞并保證其免受網(wǎng)絡(luò)攻擊,保證上傳至平臺后升級包的數(shù)據(jù)完整性以及升級指令下發(fā)后OTA服務(wù)的完整性不受破壞。

1.3 OTA升級關(guān)鍵技術(shù)現(xiàn)狀

1.3.1 保證數(shù)據(jù)完整性的技術(shù)

目前,OTA升級中的數(shù)據(jù)完整性保證主要通過哈希函數(shù)實現(xiàn),數(shù)據(jù)真實性保證主要通過密鑰加密技術(shù)實現(xiàn)。

1.3.1.1 哈希函數(shù)

哈希函數(shù)可以將任意長度的數(shù)據(jù)處理得到一個唯一的、具有固定長度的哈希值,常見的哈希函數(shù)有MD5、SHA-1、SHA-256等。Checkoway等[26]在升級中將二進制的固件升級包與哈希值打包傳輸,通過對哈希值的驗證確保了固件數(shù)據(jù)的完整性,該研究的不足是驗證數(shù)據(jù)占據(jù)內(nèi)存過大。Nilsson等[27]提出了一種汽車OTA協(xié)議,通過該協(xié)議可以安全地進行固件升級。該協(xié)議采用了哈希鏈和預(yù)共享加密密鑰技術(shù)來防止數(shù)據(jù)被竊聽、攔截和篡改攻擊。首先將升級包的二進制文件分成若干個數(shù)據(jù)片段,后通過反向散列為每個片段創(chuàng)建了一個哈希鏈,在OTA云平臺將哈希鏈的每個片段傳輸?shù)杰囕v端之前,使用預(yù)共享加密密鑰對哈希鏈加密以保證數(shù)據(jù)的安全性。Byeon等[28]的研究提出一種使用哈希函數(shù)驗證汽車ECU數(shù)據(jù)完整性的系統(tǒng)。該系統(tǒng)通過哈希函數(shù)對傳輸?shù)臄?shù)據(jù)進行驗證,確保數(shù)據(jù)在傳輸和存儲過程中的完整性,從而減少ECU數(shù)據(jù)被攻擊和篡改的風(fēng)險。服務(wù)器通過哈希函數(shù)對傳輸數(shù)據(jù)進行校驗,若完整性無誤則將哈希值和ECU元數(shù)據(jù)分別存儲在區(qū)塊鏈和鏈下分布式存儲中。通過驗證系統(tǒng),用戶可以對ECU數(shù)據(jù)的攻擊和篡改進行驗證。

1.3.1.2 密鑰加密

(1)對稱密鑰加密

對稱密鑰加密是一種使用同一密鑰進行加密和解密的技術(shù)。這種加密方式速度快,適合加密大量數(shù)據(jù)。常見的對稱加密算法有DES、3DES、AES等。

Karim等[29]提出一種用于汽車軟件無線升級的車輛制造商與車輛間的后臺加密通信通道。該研究中,服務(wù)器只在用戶最初請求的加密通道上經(jīng)過用戶批準(zhǔn)后收集數(shù)據(jù)。該通道采用對稱密鑰加密技術(shù),通過使用共同的密鑰,雙方可以實現(xiàn)安全通信,防止消息被第三方攔截和閱讀。Mahmud等[30]提出了一種智能車輛安全軟件升級技術(shù)。該技術(shù)的先決條件是,車輛制造商、軟件供應(yīng)商和車輛之間共享同一組密鑰。每次軟件升級之前,軟件供應(yīng)商和車輛會共享對稱密鑰。此后,軟件供應(yīng)商將共享的對稱密鑰加密后的軟件發(fā)送到車輛。該研究確保系統(tǒng)安全性和完整性的另一方式是隨機時間間隔內(nèi)向車輛發(fā)送多個軟件副本,車輛在收到至少兩個加密軟件副本后才可進行解密和安裝,以確保只有經(jīng)過授權(quán)并已驗證的軟件得到安裝,從而防止未經(jīng)授權(quán)或惡意軟件的入侵。

(2)對稱及非對稱結(jié)合密鑰加密

Steger等[31]的研究中提出了用于安全高效的汽車OTA軟件升級的SecUp框架,該框架通過使用對稱和非對稱密鑰結(jié)合的技術(shù)來確保所有通信的保密性和完整性,并通過使用NFC智能卡和PIN碼對設(shè)備進行身份驗證來防止未經(jīng)授權(quán)的個體進行操作。同時,使用組播通信技術(shù)可以在短時間內(nèi)將多輛汽車的軟件進行更新,從而提高了軟件更新的效率。升級過程中,服務(wù)器生成會話密鑰,并使用汽車公鑰加密的數(shù)據(jù)包發(fā)送給每輛汽車,完成升級包的傳輸,由車輛完成對應(yīng)升級包的安裝。該框架的設(shè)計具有前瞻性和高效性,能夠保證連接車輛的軟件升級過程安全可靠。

(3)隱寫術(shù)及密碼學(xué)結(jié)合加密

隱寫術(shù)和密碼學(xué)結(jié)合可以提高通信的安全性和隱私保護有效性。隱寫術(shù)可以隱藏信息,使之不易被探測和發(fā)現(xiàn),避免被攻擊者破解。密碼學(xué)則提供了各種加密算法和安全協(xié)議,使信息在傳輸過程中得到保護,只有授權(quán)的用戶才能訪問和解密信息。

Mayilsamy等[32]提出一種集成了隱寫和密碼學(xué)的方法,用于驗證數(shù)據(jù)完整性,并使用加密技術(shù)來保護云中的數(shù)據(jù),以保證OTA升級安全進行。同時,密鑰在控制環(huán)境中經(jīng)過密鑰交換程序后存儲在受信任的平臺模塊中,并使用IEEE 802.11s網(wǎng)狀網(wǎng)絡(luò)作為通信媒介進行OTA升級的安全傳輸。

(4)硬件安全模塊加密

基于硬件安全模塊的密鑰管理機制主要依靠硬件安全協(xié)議對密鑰全生命周期執(zhí)行操作與管理,包括密鑰的生成、存儲以及分發(fā)等。同時,該機制還能對外提供多種密鑰服務(wù),以滿足不同應(yīng)用場景下的安全需求。

有學(xué)者設(shè)計了可執(zhí)行的FOTA系統(tǒng),該系統(tǒng)中的密鑰管理機制通過硬件安全模塊實現(xiàn)升級中的密鑰服務(wù)[18]。該模塊的應(yīng)用從物理層面保證了密鑰的不可泄露,提高了系統(tǒng)對汽車客戶端的安全性和隱私保護。

Petri及其團隊[33]提出了一種基于硬件安全模塊的OTA升級技術(shù),該技術(shù)通過網(wǎng)關(guān)從OTA服務(wù)器下載升級包,并用預(yù)存在硬件安全模塊中的哈希算法驗證該升級包,若驗證無誤,則將升級包傳輸?shù)侥繕?biāo)ECU進行安裝。這種技術(shù)的主要優(yōu)點是硬件安全模塊支持多種加密算法對升級包的加密和驗證,從而防止分發(fā)給車輛的升級包被篡改或惡意注入。

1.3.2 保證服務(wù)完整性的技術(shù)

區(qū)塊鏈?zhǔn)且环N基于分布式網(wǎng)絡(luò)節(jié)點和密碼學(xué)安全技術(shù)的去中心化數(shù)據(jù)管理技術(shù),具有強大的安全性、魯棒性和可擴展性。其數(shù)據(jù)層采用了帶有公鑰的數(shù)字簽名驗證數(shù)據(jù)的真實性,同時通過哈希函數(shù)和數(shù)據(jù)塊哈希鏈驗證數(shù)據(jù)的完整性。

Steger等[34]在一項工作中引入了基于區(qū)塊鏈(Blockchain, BC)的架構(gòu)來解決汽車OTA升級中的數(shù)據(jù)安全問題。在該架構(gòu)中的實體有OEM、管理系統(tǒng)、汽車、OTA服務(wù)器,其中各個實體分別作為端點與其他實體組成集群,各集群間通過覆蓋網(wǎng)絡(luò)相互連接,端頭可以直接通信,系統(tǒng)不設(shè)中心節(jié)點,從而實現(xiàn)去中心化管理。軟件升級任務(wù)下發(fā)前,管理系統(tǒng)向云服務(wù)器發(fā)送存儲請求,請求通過驗證后云服務(wù)器會向管理系統(tǒng)發(fā)送包含服務(wù)器簽名及軟件包上傳所需信息的數(shù)據(jù)。當(dāng)軟件包上傳至服務(wù)器后,管理系統(tǒng)會創(chuàng)建一條升級任務(wù)并寫入?yún)^(qū)塊鏈模塊并使用OEM的密鑰加密升級任務(wù)信息后廣播給車輛。作者通過驗證表明該體系結(jié)構(gòu)具有優(yōu)良的性能。

Dhakal等[35]提出了一種使用區(qū)塊鏈的物聯(lián)網(wǎng)設(shè)備固件升級模型,其中包含固件制造商、升級服務(wù)器、升級管理器和物聯(lián)網(wǎng)設(shè)備4個主要部分。整個升級的流程為:固件制造商開發(fā)完成軟件包后通過區(qū)塊鏈對其元數(shù)據(jù)進行管理,并通過升級服務(wù)器下發(fā)升級任務(wù)。升級管理器將升級包的元數(shù)據(jù)從區(qū)塊鏈中提取,分發(fā)到待升級的物聯(lián)網(wǎng)設(shè)備后,對應(yīng)設(shè)備接收軟件包并啟動升級任務(wù)后執(zhí)行升級。研究表明這種使用區(qū)塊鏈的物聯(lián)網(wǎng)設(shè)備固件升級模型可以保障升級過程的安全性和可靠性,并且提高了升級的效率。

具有安全、分散式、靈活和可擴展特性的Uptane架構(gòu)目前已被應(yīng)用于汽車軟件的安全升級。Uptane使用了多個TUF(The Update Framework)庫,具有多個實體和一個管理系統(tǒng),以支持不同實現(xiàn)之間的交互。Uptane架構(gòu)采用多種措施來保護軟件升級安全,包括額外的存儲區(qū)域、元數(shù)據(jù)廣播、車輛版本清單和時間服務(wù)器等機制[36]。軟件的元數(shù)據(jù)由車輛主控廣播到次ECU,以確保每個ECU具有相同的元數(shù)據(jù)。清單簽名是使用OEM提供的對稱密鑰進行簽名的,時間服務(wù)器可確保所有ECU的時間同步,從而確保車輛軟件升級服務(wù)的完整性。

為解決大規(guī)模OTA軟件升級對蜂窩網(wǎng)絡(luò)帶來的挑戰(zhàn),Amrita及其團隊[37]提出一種OTA升級的新技術(shù)STRIDE。STRIDE可擴展到車輛中大量并發(fā)軟件升級,并基于具有密文策略屬性的加密確保端到端的安全性。為了實現(xiàn)更新包快速、可靠分發(fā),該團隊還開發(fā)了一種服務(wù)于動態(tài)數(shù)據(jù)流的軟件更新調(diào)度算法,通過將蜂窩接入點的時隙動態(tài)分配給車輛,以實現(xiàn)最佳吞吐量。該研究通過仿真實驗證明了所提出技術(shù)的適用性,結(jié)果表明該技術(shù)在現(xiàn)實場景下是可實現(xiàn)的。

目前,基于計算輕量級的對稱密鑰及哈希函數(shù)的OTA升級技術(shù)被廣泛應(yīng)用,區(qū)塊鏈技術(shù)正在成為安全OTA升級的有效途徑,而其高資源消耗的問題是制約其發(fā)展的重要原因,亟待進一步研究。具有分散式、靈活和可擴展特性的新架構(gòu)已逐漸得到部分應(yīng)用,未來有潛力成為OTA升級系統(tǒng)的重要實現(xiàn)方式。此外,實現(xiàn)從OTA云端到車端的高效、安全軟件分發(fā)仍是一個需要深入研究的關(guān)鍵方向,還應(yīng)重點關(guān)注OTA升級中的數(shù)據(jù)隱私保護策略及技術(shù)??傊瑸閷崿F(xiàn)充分安全、穩(wěn)定、可靠的OTA升級,行業(yè)仍需攻克很多技術(shù)難題。

2 OTA標(biāo)準(zhǔn)法規(guī)分析

2.1 國外標(biāo)準(zhǔn)法規(guī)

2.1.1 UN R156

聯(lián)合國歐洲經(jīng)濟委員會(UNECE)世界車輛法規(guī)協(xié)調(diào)論壇工作組 (WP 29)于2020年6月發(fā)布法規(guī)《UN R156 關(guān)于就軟件更新與軟件更新管理系統(tǒng)批準(zhǔn)車輛的統(tǒng)一規(guī)定》,該法規(guī)適用于M類、N類、O類、R類、S類及T類車輛[38]。UN R156的要求分為軟件升級管理體系(Software Upgrade Management System, SUMS)要求及車型認(rèn)證(Vehicle Type Approval, VTA)要求兩部分,如圖3所示。

2.1.1.1 SUMS體系要求

SUMS體系是針對公司層面的體系要求,規(guī)定了過程要求、信息記錄要求、安全相關(guān)要求、在線升級附加要求。

(1)過程要求:車輛制造商需確保與法規(guī)有關(guān)的信息得以記錄和保留、所有軟件版本信息需唯一可識別、可識別目標(biāo)車輛、向監(jiān)管部門提供軟件識別碼登記冊及目標(biāo)車輛配置文件。此外,還需評估升級系統(tǒng)與其他系統(tǒng)的相關(guān)性、與車輛配置的兼容性、升級對型式認(rèn)證系統(tǒng)/功能/參數(shù)的影響以及對安全相關(guān)功能的影響。同時,升級需告知車輛用戶。對于具有軟件識別碼(RX SoftWare Identification Number,RXSWIN)的車型,車輛制造商要可訪問及更新其信息并且可驗證型式批準(zhǔn)系統(tǒng)組件上的軟件版本信息與RXSWIN信息一致。

(2)信息記錄要求:車輛制造商應(yīng)記錄和存儲的關(guān)于軟件升級的詳細(xì)信息,包括用于軟件升級流程和相關(guān)標(biāo)準(zhǔn)文件、相關(guān)型式認(rèn)證系統(tǒng)配置的文件、對于每個RXSWIN的可審計的登記冊、升級目標(biāo)車輛的配置文件以及軟件升級文檔(應(yīng)包含的信息有升級目的、可能影響的系統(tǒng)或功能、是否影響型式認(rèn)證、升級先決條件等)。

(3)安全相關(guān)要求:車輛制造商應(yīng)提供證明來確保軟件升級的安全性,包括證明升級前,升級過程中受到保護的流程,以及驗證車輛所用軟件的軟件功能和代碼是合適的。

(4)在線升級附加要求:車輛制造商應(yīng)演示OTA升級流程和程序,以確保升級不會影響到車輛安全,并需演示需特定或復(fù)雜操作的OTA升級過程。

2.1.1.2 VTA認(rèn)證要求

車型認(rèn)證要求是針對車型層面的產(chǎn)品要求,包括軟件升級要求及在線升級附加要求。

(1)軟件升級要求:軟件升級包的真實性和完整性須受到保護。RXSWIN/軟件版本須可通過標(biāo)準(zhǔn)接口讀取、可更新并滿足防篡改要求。

(2)在線升級附加要求:保證升級失敗后系統(tǒng)可恢復(fù)到上一版本或車輛置于安全狀態(tài);滿足升級電量條件的前提才會進行升級;升級前車輛狀態(tài)滿足先決條件才會執(zhí)行升級;用戶可獲取相關(guān)升級信息及升級結(jié)果;升級不可對車輛安全及駕駛安全造成影響。

車型認(rèn)證的流程包括以下4個步驟:

(1)車輛制造商向國家審批機構(gòu)申請VTA,并提交有關(guān)車輛的技術(shù)規(guī)格和相關(guān)文件。

(2)由認(rèn)證機構(gòu)/技術(shù)服務(wù)機構(gòu)進行車輛測試,判斷車輛是否符合UN R156法規(guī)要求。

(3)國家審批機構(gòu)根據(jù)測試報告對車輛進行審批,以確定車輛是否符合UN R156法規(guī)要求。

(4)當(dāng)車輛通過UN R156法規(guī)要求的所有測試,國家審批機構(gòu)向車輛制造商頒發(fā)VTA證書。

2.1.2 ISO 24089

國際標(biāo)準(zhǔn)化組織道路車輛委員會軟件升級工作組(ISO/TC 22/SC 32/WG 12)于2019年組織了ISO-24089《道路車輛 軟件升級工程》標(biāo)準(zhǔn)的編制工作,標(biāo)準(zhǔn)預(yù)計2024年發(fā)布。標(biāo)準(zhǔn)適用于所有車輛軟件升級工程的相關(guān)組織和供應(yīng)商,而不僅限于OEM。標(biāo)準(zhǔn)所描述的軟件升級方法包括有線升級、OTA升級以及硬件更換[39]。在實際應(yīng)用中,組織和供應(yīng)商可以根據(jù)需要對這些方法進行選擇和組合,以滿足特定的軟件升級需求。

ISO 24089的整體框架如圖4所示。標(biāo)準(zhǔn)的第4章、第5章分別從組織及項目層面對軟件升級工程提出了相應(yīng)的要求。組織層面的要求旨在于確保參與軟件升級工程的組織能夠高效管理項目,并在項目過程中進行適當(dāng)?shù)匾?guī)劃和監(jiān)控,以確保軟件升級能夠按時完成并達(dá)到預(yù)期的目標(biāo)和質(zhì)量要求。同時,也要求組織之間合作和信息共享,以加強整個軟件升級工程的有效性和效率。項目層面的軟件升級要求主要覆蓋了制定及實施軟件升級項目的計劃、管理并存儲相關(guān)資料、提供裁剪行為的適用性原理并確保基礎(chǔ)架構(gòu)與車輛系統(tǒng)的互操作性。第6章、第7章分別提出了基礎(chǔ)架構(gòu)及車輛/車輛系統(tǒng)層面的功能要求。大致包括風(fēng)險管理、車輛配置信息管理、軟件升級活動信息管理及升級包管理。第8章、第9章分別規(guī)定了升級包裝配發(fā)布及軟件升級活動的相應(yīng)流程。在執(zhí)行軟件升級操作之前,需要對獲取用戶同意;在軟件升級期間,需要對軟件升級過程進行記錄和跟蹤;在軟件升級完成之后還需要對升級結(jié)果進行評估,并記錄相關(guān)的證據(jù)以供審核和驗證。

2.2 國內(nèi)標(biāo)準(zhǔn)及要求

工業(yè)和信息化部裝備工業(yè)發(fā)展中心發(fā)布的《關(guān)于開展汽車軟件在線升級備案的通知》于2022年4月15日起正式實施[40]。對于汽車企業(yè)而言,備案要求企業(yè)加強技術(shù)能力,做好相關(guān)管理和控制,確保在線升級流程的安全性和穩(wěn)定性,同時保障用戶的隱私權(quán)和權(quán)益。備案內(nèi)容主要包括企業(yè)管理能力、車型及功能以及具體升級活動3個方面。首先,企業(yè)需要證明具備OTA體系管理能力,包括在線升級的設(shè)計、開發(fā)、測試、驗證和發(fā)布等環(huán)節(jié)的管理。其次,汽車企業(yè)需要明確車型和功能范圍,識別能夠進行OTA升級的功能和控制器,并且要評估升級對車輛安全、能效、環(huán)保、防盜等方面的影響。最后,企業(yè)需要提供具體升級活動的相關(guān)報告,確保升級活動的安全性和穩(wěn)定性。

標(biāo)準(zhǔn)方面,汽標(biāo)委智能網(wǎng)聯(lián)汽車分標(biāo)委制定了《汽車軟件升級通用技術(shù)要求》,該標(biāo)準(zhǔn)預(yù)計2024年發(fā)布[41]。該標(biāo)準(zhǔn)的內(nèi)容參考了UN R156法規(guī),主體要求包括軟件升級管理體系要求和車輛要求,并在此基礎(chǔ)上補充了車輛試驗方法。《汽車軟件升級通用技術(shù)要求》中軟件升級管理體系要求包括一般要求、過程要求、信息記錄要求、安全相關(guān)要求及在線升級附加要求。與UN R156法規(guī)要求相比,該標(biāo)準(zhǔn)明確指出了車輛制造商應(yīng)具備軟件升級管理體系,規(guī)定了信息存儲的時限至少至車型停產(chǎn)后10年,并要求企業(yè)具備對于軟件升級相關(guān)突發(fā)事件的應(yīng)急處理能力。在車輛要求上,與UN R156法規(guī)要求相比,《汽車軟件升級通用技術(shù)要求》中增加了用戶確認(rèn)以及車門防鎖止兩項要求。

對于國外主要OTA標(biāo)準(zhǔn)法規(guī)的分析可知,UN R156為車輛制造商建立汽車軟件管理體系和進行具有軟件升級功能的車型開發(fā)提供了指導(dǎo);ISO24089則在工程開發(fā)層面上對企業(yè)OTA能力提出要求并給出示例。針對我國OTA監(jiān)管現(xiàn)狀,目前多部委監(jiān)管的側(cè)重點不同,備案的監(jiān)管重點集中在升級過程的合規(guī)性及升級結(jié)果的符合性,而國標(biāo)集中在系統(tǒng)升級策略的合理性。未來OTA升級標(biāo)準(zhǔn)法規(guī)體系將會向更加全面的方向發(fā)展,覆蓋OTA產(chǎn)品級、系統(tǒng)級、部件級等多維度,如規(guī)范OTA云平臺技術(shù)標(biāo)準(zhǔn)、增加用戶體驗相關(guān)標(biāo)準(zhǔn)、完善供應(yīng)商管控規(guī)范等。軟件升級相關(guān)標(biāo)準(zhǔn)的制定及實施,將對車輛制造商提出一定的要求,這有利于確保汽車軟件升級安全及其整體性能和操作穩(wěn)定性,更有助于提高市場規(guī)范化程度,保障消費者權(quán)益。

3 企業(yè)OTA能力建設(shè)建議

OTA升級技術(shù)已經(jīng)成為現(xiàn)代汽車技術(shù)發(fā)展的趨勢之一,對于車輛制造商而言,OTA升級技術(shù)的應(yīng)用可幫助企業(yè)快速響應(yīng)市場變化和技術(shù)變革,提高汽車的質(zhì)量和性能,為用戶提供更好的用戶體驗。但同時,OTA升級技術(shù)也面臨著安全性和隱私性等方面的挑戰(zhàn),需要企業(yè)加強技術(shù)研發(fā),加強安全和隱私保護,落實法律法規(guī)和監(jiān)管要求。

(1)軟件升級管理體系建設(shè)方面:企業(yè)應(yīng)建立、健全軟件升級管理體系,覆蓋軟件升級全生命周期的管理制度及規(guī)范流程,并關(guān)注軟件升級相關(guān)活動的策略及實施細(xì)節(jié)的信息記錄與存儲。企業(yè)還應(yīng)設(shè)置相應(yīng)的安全策略保證升級的可靠進行,并對軟件升級進行全面性評估,評估重點主要包括其對型式認(rèn)證相關(guān)參數(shù)/系統(tǒng)或車輛安全相關(guān)功能的影響,以及待升級系統(tǒng)/功能與其他車輛系統(tǒng)/功能的相關(guān)性和與車輛現(xiàn)有配置的兼容性等。為確保對軟件升級突發(fā)事件得到有效處理,企業(yè)應(yīng)專門建立針對軟件升級事件的風(fēng)險控制制度及應(yīng)急響應(yīng)流程。此外,軟件升級管理體系合規(guī)有效的關(guān)鍵點是應(yīng)用,因此企業(yè)在具體車型開發(fā)中需切實應(yīng)用管理體系,實現(xiàn)制度的落地實施。企業(yè)應(yīng)積極參與監(jiān)管機構(gòu)審查,以確保OTA升級應(yīng)用符合法律法規(guī)和監(jiān)管要求,并保持與行業(yè)伙伴的溝通。

(2)車型開發(fā)方面:根據(jù)相關(guān)OTA標(biāo)準(zhǔn)法規(guī)的要求,形成企業(yè)內(nèi)部更為具體詳細(xì)的OTA技術(shù)標(biāo)準(zhǔn),開發(fā)過程中需加強OTA升級技術(shù)的研究和開發(fā),重視技術(shù)安全問題,重點關(guān)注OTA數(shù)據(jù)完整性、服務(wù)完整性及通信安全3部分。應(yīng)選用更先進的簽名技術(shù)及密鑰技術(shù)保護數(shù)據(jù)的真實性及機密性,采用更安全的架構(gòu)保證升級服務(wù)的完整性,同時應(yīng)采用更加安全的通信協(xié)議保證傳輸過程的安全性。應(yīng)在升級過程中對數(shù)據(jù)進行監(jiān)測和驗證,防止出現(xiàn)數(shù)據(jù)泄露和惡意攻擊等問題,且需加強用戶隱私保護和數(shù)據(jù)安全管理,例如通過數(shù)據(jù)加密、權(quán)限控制和信息追蹤,確保用戶數(shù)據(jù)的安全性。企業(yè)還需構(gòu)建完善的OTA 測試能力,覆蓋法規(guī)測試及研發(fā)階段的軟件升級全鏈條測試能力,建立豐富的測試用例庫,測試內(nèi)容應(yīng)包括OTA信息安全檢測、OTA性能檢測、OTA壓力測試、OTA健壯測試、OTA功能測試等。測評體系的建立有助于提高研發(fā)過程中的可控性,從而保證車輛OTA升級的質(zhì)量和穩(wěn)定性。

4 結(jié)束語

介紹了汽車OTA架構(gòu)以及通用的升級流程,重點關(guān)注OTA軟件更新服務(wù)的安全性和完整性問題,通過對OTA升級相關(guān)研究的分析,總結(jié)了目前OTA升級關(guān)鍵技術(shù)的特點。同時,對國內(nèi)外的汽車軟件升級相關(guān)法規(guī)及標(biāo)準(zhǔn)進行分析,并基于此為車輛制造企業(yè)提出OTA能力建設(shè)建議??偨Y(jié)如下:

(1)為保證完整穩(wěn)定的OTA服務(wù),需保證其數(shù)據(jù)完整性和服務(wù)完整性。

(2)保證OTA數(shù)據(jù)完整性的主要技術(shù)有哈希函數(shù)、密鑰加密等,保證OTA服務(wù)完整性的主要手段有應(yīng)用區(qū)塊鏈技術(shù)、設(shè)計OTA新架構(gòu)等。

(3)目前對OTA的監(jiān)管主要集中在企業(yè)汽車軟件升級管理體系及具體車型升級要求2方面。滿足標(biāo)準(zhǔn)及法規(guī)提出的OTA能力要求可保障汽車軟件升級的安全穩(wěn)定性,進一步規(guī)范OTA市場。

參 考 文 獻

[1] LE V H, HARTOG J D, ZANNONE N. Security and Privacy for Innovative Automotive Applications a Survey[J]. Computer Communications, 2018(132): 17-41.

[2] GUISSOUMA H, HOHL C P, LESNIAK F. Lifecycle Management of Automotive Safety-Critical Over the Air Updates: A Systems Approach[J]. IEEE Access, 2022(10): 57696.

[3] PHAM M, XIONG K. A Survey on Security Attacks and Defense Techniques for Connected and Autonomous Vehicles, Computers & Security, 2021(109): 102269.

[4] CHATTOPADHYAY A, LAM K Y, TAVVA Y. Autonomous Vehicle: Security by Design[J]. IEEE Transactions on Intelligent Transportation Systems, 2021, 22 (11): 7015-7029.

[5] DAJSUREN Y, MARK B. Automotive Systems and Software Engineering: State of the Art and Future Trends[M]. Springer, 2019.

[6] NILSSON D K, PHUNG P H, LARSON U E. Vehicle ECU Classification based on Safety-Security Characteristics[C]//IET Road Transport Information and Control and ITS United Kingdom Members Conference, 2008: 1-7.

[7] RIGGS C, RIGAUD C, BEARD R, et al. A Survey on Connected Vehicles Vulnerabilities and Countermeasures[J]. Journal of Traffic and Logistics Engineering, 2019, 6(1): 11-16.

[8] 王棟梁, 湯利順, 陳博. 智能網(wǎng)聯(lián)汽車整車OTA功能設(shè)計研究[J]. 汽車技術(shù), 2018, 517(10): 33-37.

[9] IDREES M S, SCHWEPPE H, ROUDIER Y, et al. Secure Automotive on-board Protocols: a Case of Over-the-air Firmware Updates[J]. Lecture Notes in Computer Science, 2011(6596): 224-238.

[10] KHURRAM M, KUMAR H, CHANDAK A, et al. Enhancing Connected Car Adoption: Security and over the Air Update Framework[C]// IEEE World Forum on Internet of Things, Reston, VA, 2016: 194-198.

[11] 宋偉, 胡巧聲, 唐俊安. 空中下載技術(shù)在商用車上的應(yīng)用[J]. 汽車電器, 2019(12): 8-11.

[12] ABI Research. Adoption of Automotive Software Over-the-Air Updates [EB/OL]. (2019-11-15) [2023-07-05]. https://www.abiresearch.com/press/abi-research-anticipates-accelerated-adoption-auto/.

[13] NIE S, LIU L, DU Y. Free-fall: Hacking Tesla From Wireless to Can Bus[C]// Black Hat USA, 2017.

[14] 湯偉強. 主動式汽車安全帶控制系統(tǒng)開發(fā)及OTA遠(yuǎn)程升級研究[D]. 上海: 華東理工大學(xué), 2022.

[15] HALDER S, CONTI M, DAS S K, A Holistic Approach to Power Efficiency in a Clock Offset based Intrusion Detection Systems for Controller Area Networks[J]. Pervasive and Mobile Computing, 2021(73): 101385.

[16] KIM K, KIM J S, JEONG S, et al. Cybersecurity for Autonomous Vehicles: Review of Attacks and Defense[J]. Computers & Security, 2021, 103(4): 102150.

[17] FENG S, FENG Y, YAN X, et al. Safety Assessment of Highly Automated Driving Systems in Test Tracks: A new Framework[J]. Accident Analysis & Prevention, 2020, 14.

[18] 譚凡. 智能網(wǎng)聯(lián)汽車FOTA系統(tǒng)安全機制的研究與實現(xiàn)[D]. 成都: 電子科技大學(xué), 2020.

[19] 高潔,汪慶. 一種電動汽車軟件OTA升級服務(wù)平臺的設(shè)計方案[J]. 電腦知識與技術(shù), 2017, 13(8): 209-211.

[20] 董曉慧. 面向車載域控制器架構(gòu)的安全 FOTA 升級方法研究[D]. 長春: 吉林大學(xué), 2022.

[21] FONGEN A. Identity Management and Integrity Protection in the Internet of Things[C]//International Conference on Emerging Security Technologies, Lisbon, Portugal, 2012.

[22] MATHUR R, AGARWAL S, SHARMA V. Solving Security Issues in Mobile Computing Using Cryptography Techniques-A Survey[C]//International Conference on Computing, Communication and Automation, 2015: 492-497.

[23] KNOCKEL J, CRANDALL J R. Protecting Free and Open Communications on the Internet Against Man-inthe-middle Attacks on Third-party Software: were FOCId[C]// USENIX Workshop on Free and Open Communications on the Internet, Bellevue, WA, 2012.

[24] KUPPUSAMY T K, DELONG L A, CAPPOS J. Uptane:? ?Security and Customizability of Software Updates for Vehicles[J]. IEEE Vehicular Technology Magazine, 2018, 13(1): 66-73

[25] 胡文, 姜立標(biāo). 智能網(wǎng)聯(lián)汽車的多級安全防護方案設(shè)計和分析[J]. 網(wǎng)絡(luò)安全技術(shù)與應(yīng)用, 2017, 2(2): 136-138+140.

[26] CHECKOWAY S, MCCOY D, KANTOR B, et al. Comprehensive Experimental Analyses of Automotive Attack Surfaces[C]//Proceedings of USENIX Security Symposium, 2011: 77-92.

[27] NILSSON D K, LARSON U E. Secure Firmware Updates Over the Air in Intelligent Vehicles[C]//Proceedings of IEEE International Conference on Communications Workshops, 2008, 380-384.

[28] BYEON, SANG P, KIM, et al. ECU Data Integrity Verification System Using Blockchain[J],Journal of Industrial Convergence,2022, 11(20): 57-63

[29] MANSOUR K, FARAG W, ELHELW M. AiroDiag: A Sophisticated Tool that Diagnoses and Updates Vehicles Software Over Air[C]//IEEE International Electric Vehicle Conference, Greenville, SC, USA, 2012: 1-7.

[30] MAHMUD S M, SHANKER S, HOSSAIN I. Secure Software Upload in an Intelligent Vehicle via Wireless Communication Links[C]//Proceedings of IEEE Intelligent Vehicles Symposium, 2005: 588-593.

[31] STEGER M, KARNER M, HILLEBRAND J, et al. Generic Framework Enabling Secure and Efficient Automotive Wireless SW Updates[C]//Proceedings of IEEE 21st International Conference on Emerging Technologies and Factory Automation, 2016: 1-8.

[32] MAYILSAMY K, RAMACHANDRAN N, RAJ V S. An integrated approach for data security in vehicle diagnostics over internet protocol and software update over the air[J]. Computers & Electrical Engineering. 2018(71): 578-593.

[33] PETRI R, SPRINGER M, ZELLE D, et al. Evaluation of Lightweight TPMs for Automotive Software Updates Over the Air[C]//Proceedings of 4th International Conference on Embedded Security in Car USA, 2016: 1-15.

[34] STEGER M, DORRI A, KANHERE S S, et al. Secure Wireless Automotive Software Updates Using Blockchains: a Proof of Concept[C]//Proceedings of 22nd International Forum on Advanced Microsystems for Automotive Applications, 2018: 137-149.

[35] DHAKAL S, JAAFAR F, ZAVARSKY P. Private Blockchain Network for IoT Device Firmware Integrity Verification and Update[C]//IEEE Internationa Symposium on High Assurance Systems Engineering, 2019: 164-170.

[36] MAHMOOD S, NGUYEN H N, SHAIKH S A. Systematic Threat Assessment and Security Testing of Automotive Over-the-Air (OTA) Updates[J]. Vehicular Communications, 2022(35): 100468.

[37] GHOSAL A, HALDER S, CONTI M. Secure Over-the-Air Software Update for Connected Vehicles[J]. Computer Networks, 2022(218): 109394.

[38] UNITED NATIONS. Software Update and Software Update Management System, UN Regulation No. 156 [S/OL]. (2020-04-04) [2023-07-05]. https://unece.org/sites/default/files/2021-03/R156e.pdf.

[39] ISO/TC 22/SC 32. Road vehicles—Software update engineering, Standard ISO 24089 [S/OL]. (2023-02) [2023-07-05]. https://www.iso.org/obp/ui/en/#iso:std:iso:24089:ed-1:v1:en

[40] 工業(yè)和信息化部裝備工業(yè)發(fā)展中心. 關(guān)于開展汽車軟件在線升級備案的通知 [2022]229號[S/OL]. (2022-04-15) [2023-07-05]. http://www.miit-eidc.org.cn/art/2022/4/15/art_54_30478.html.

[41] 工業(yè)和信息化部裝備工業(yè)一司. 《汽車軟件升級通用技術(shù)要求》征求意見稿[EB/OL]. (2022-06-17) [2023-07-05].https://www.miit.gov.cn/jgsj/zbys/qcgy/art/2022/art_c18

78e9460a74860a37bd3964436116d.html.

(責(zé)任編輯 明慧)

【作者簡介】

王婧璇(1997—),女,中國汽車工程研究院股份有限公司,工程師,研究方向為汽車軟件在線升級技術(shù)及法規(guī)。

E-mail:wangjingxuan@caeri.com.cn

猜你喜歡
智能網(wǎng)聯(lián)汽車
智能網(wǎng)聯(lián)汽車信息安全風(fēng)控系統(tǒng)研究
基于Elman神經(jīng)網(wǎng)絡(luò)的GNSS/INS全域高精度定位方法
細(xì)聊新興互聯(lián)網(wǎng)造車的成敗是非
關(guān)于智能網(wǎng)聯(lián)汽車公共道路測試的研究
智富時代(2019年5期)2019-07-05 18:43:32
基于加速度計的智能網(wǎng)聯(lián)汽車駕駛行為建模方法
移動通信(2019年3期)2019-06-27 00:01:54
基于加速度計的智能網(wǎng)聯(lián)汽車駕駛行為建模方法
移動通信(2019年4期)2019-06-25 01:53:30
淺談智能網(wǎng)聯(lián)汽車產(chǎn)業(yè)投資基金的風(fēng)險控制
商情(2018年25期)2018-07-08 14:16:14
我國智能網(wǎng)聯(lián)汽車產(chǎn)業(yè)的發(fā)展困境與應(yīng)對策略
基于攻擊樹的智能網(wǎng)聯(lián)汽車滲透測試方法
國內(nèi)外智能網(wǎng)聯(lián)汽車測試場地發(fā)展分析
科技視界(2017年29期)2018-01-18 06:10:26
承德市| 武威市| 兴宁市| 西宁市| 凉山| 平远县| 乐清市| 谢通门县| 来安县| 元谋县| 东平县| 阜康市| 沛县| 四会市| 聂拉木县| 汽车| 屏东县| 宣化县| 普兰店市| 辽宁省| 唐海县| 游戏| 黔南| 屯昌县| 阿鲁科尔沁旗| 淮滨县| 山西省| 上思县| 苏州市| 华宁县| 抚顺县| 荥阳市| 谢通门县| 即墨市| 宿州市| 宣恩县| 耿马| 密山市| 勃利县| 海宁市| 柏乡县|