唐文笙　張亮　韋通明　廖甜匯　溫麗梅

【摘? 要】隨著智能網(wǎng)聯(lián)汽車的快速發(fā)展，各大汽車企業(yè)積累了龐大的業(yè)務(wù)數(shù)據(jù)，如何有效組織并使用這些數(shù)據(jù)，成為了各個企業(yè)所必須面對的問題。本文基于維度建模分層理論，結(jié)合實際車輛網(wǎng)聯(lián)數(shù)據(jù)，設(shè)計了車聯(lián)網(wǎng)數(shù)據(jù)倉庫，為各大汽車企業(yè)管理者提供一個組織并使用數(shù)據(jù)的解決方案，也為汽車數(shù)據(jù)行業(yè)工作者提供一些簡單的參考。

【關(guān)鍵詞】大數(shù)據(jù)；汽車行業(yè)；數(shù)據(jù)倉庫

中圖分類號：U463.6? ? 文獻標志碼：A? ? 文章編號：1003-8639（ 2023 ）08-0056-03

Application of Hierarchical Theory in Internet of Vehicles Data Warehouse

TANG Wen-sheng，ZHANG Liang，WEI Tong-ming，LIAO Tian-hui，WEN Li-mei

（SAIC GM Wuling Automobile Co.，Ltd.，Guangxi Laboratory of New Energy Automobile，

Guangxi Key Laboratory of Automobile Four New Features，Liuzhou 545007，China）

【Abstract】With the rapid development of intelligent connected vehicles，the major automobile enterprises have accumulated huge business data. How to effectively organize and use these data has become a problem that all enterprises must face.Based on the theory of dimension modeling and layering，combined with the actual vehicle network data，this paper designs the vehicle network data warehouse，which provides a solution for the managers of major automobile enterprises to organize and use the data，and also provides some simple references for the workers in the automobile data industry.

【Key words】big data；automobile industry；data warehouse

1? 引言

近年來，隨著汽車行業(yè)各種業(yè)務(wù)系統(tǒng)的不斷發(fā)展，產(chǎn)生了越來越多的歷史數(shù)據(jù)，這是汽車行業(yè)非常重要的戰(zhàn)略資源。將這些重要業(yè)務(wù)數(shù)據(jù)存儲在數(shù)據(jù)倉庫中進行統(tǒng)一管理、數(shù)據(jù)分析和挖掘潛在的重要業(yè)務(wù)信息，可以很好地幫助汽車企業(yè)領(lǐng)導層的管理和決策，最大限度地提高汽車企業(yè)的經(jīng)濟效益，使汽車企業(yè)更好更快地發(fā)展。在大數(shù)據(jù)時代，基于數(shù)據(jù)倉庫的數(shù)據(jù)挖掘已經(jīng)成為汽車企業(yè)競爭的重要工具。

2? 數(shù)據(jù)倉庫介紹

數(shù)據(jù)倉庫創(chuàng)始人W.H.Inmon定義了數(shù)據(jù)倉庫，“數(shù)據(jù)倉庫是面向主題的、集成的、不可更新的，并隨時間不斷變化的數(shù)據(jù)集合，用以支持管理部門的決策分析過程”。其中定義了數(shù)據(jù)倉庫的幾個特點：面向主題的、集成的、不可更新的。如圖1所示。

1）面向主題的：數(shù)據(jù)倉庫中的數(shù)據(jù)是面向主題的，對應(yīng)于傳統(tǒng)數(shù)據(jù)庫面向應(yīng)用的數(shù)據(jù)組織特點。主題是一個抽象的概念，也可以說主題是業(yè)務(wù)相關(guān)的數(shù)據(jù)的類別，每個主題對應(yīng)一個宏觀的分析領(lǐng)域。

2）集成的：集成的概念與面向主題的概念密切相關(guān)。一個公司有多條產(chǎn)品線與產(chǎn)品渠道，每個產(chǎn)品線都有自己獨立的數(shù)據(jù)庫。此時需要從公司層面整體分析所有數(shù)據(jù)，就必須要集成每個產(chǎn)品線的數(shù)據(jù)，將多個分散的數(shù)據(jù)源統(tǒng)一成一致的、無歧義的數(shù)據(jù)格式，再放置到數(shù)據(jù)倉庫中進行分析，這就是所說的集成的概念。

3）不可更新的：數(shù)據(jù)倉庫中的數(shù)據(jù)主要用于企業(yè)決策分析。涉及的數(shù)據(jù)操作主要是數(shù)據(jù)查詢，一般不進行修改[1]。數(shù)據(jù)倉庫數(shù)據(jù)反映了很長一段時間內(nèi)歷史數(shù)據(jù)的內(nèi)容，是不同時間點數(shù)據(jù)庫快照的集合，并基于這些快照對導出數(shù)據(jù)進行統(tǒng)計、合成和重組，而不是對數(shù)據(jù)進行在線處理[2]。

3? 分層理論介紹

數(shù)據(jù)倉庫從數(shù)據(jù)源到采集與多層清洗加工，形成以數(shù)據(jù)資產(chǎn)為核心的數(shù)據(jù)倉庫，在這一過程中，形成了一套規(guī)范的數(shù)據(jù)邏輯分層。數(shù)據(jù)邏輯分層包括ods層、dwd層、dws層、dim層以及app層[3]。數(shù)據(jù)分層及其對應(yīng)描述見表1，分層理論數(shù)據(jù)流向示意如圖2所示。

4? 分層理論在車聯(lián)網(wǎng)數(shù)據(jù)倉庫的應(yīng)用

伴隨著智能網(wǎng)聯(lián)汽車的發(fā)展，車聯(lián)網(wǎng)數(shù)據(jù)日益龐大，傳統(tǒng)數(shù)據(jù)庫已經(jīng)不再使用對海量車聯(lián)網(wǎng)數(shù)據(jù)的存儲、搜索和分析，效率低、業(yè)務(wù)需求實現(xiàn)周期長。此時采用數(shù)據(jù)倉庫對原始車聯(lián)網(wǎng)數(shù)據(jù)進行重構(gòu)便可以很好地解決傳統(tǒng)數(shù)據(jù)庫所面臨的問題，將分層理論應(yīng)用至車聯(lián)網(wǎng)數(shù)據(jù)倉庫，各個層級對應(yīng)操作如下。

一是車聯(lián)網(wǎng)ods層，建立統(tǒng)一數(shù)據(jù)表，接入多個軟件的數(shù)據(jù)源，具體數(shù)據(jù)表見表2。

二是車聯(lián)網(wǎng)dwd層，在實際車聯(lián)網(wǎng)數(shù)據(jù)中，受到各種實際工況的影響，車聯(lián)網(wǎng)數(shù)據(jù)字段值會存在空值、異常值等錯亂數(shù)據(jù)的現(xiàn)象，在dwd層可對每個字段的錯亂數(shù)據(jù)進行清洗，字符串類型的空值數(shù)據(jù)清洗為unknown，數(shù)值類型的空值數(shù)據(jù)清洗為0，時間類型的空值數(shù)據(jù)清洗為‘2001-01-01 00：00：00，日期類型的空值數(shù)據(jù)清洗為‘2001-01-01。另外，針對于業(yè)務(wù)需求，對埋點名稱中的錯亂數(shù)據(jù)也定義了清洗規(guī)則，將埋點名稱中的前后空格均去除，例如：埋點名稱=‘ b_m_01 清洗為埋點名稱=‘b_m_01。經(jīng)過上述清洗過程，可以有一個系統(tǒng)的、完整的、干凈的、具有一致性的dwd層數(shù)據(jù)。表2經(jīng)過清洗后得到表3。

三是車聯(lián)網(wǎng)dws層，在本層對dwd層的數(shù)據(jù)進行輕度匯總加工，將發(fā)生時間拆分成發(fā)生日期、發(fā)生小時，同時保留其他全部的數(shù)據(jù)字段，增加計算指標：使用次數(shù)，用于統(tǒng)計某臺車在某個日期、某個小時、某個地點的某個功能的使用次數(shù)。表3經(jīng)過匯總加工后得到表4。

四是車聯(lián)網(wǎng)dim層，dim層匯總一些常用維度，例如日期維度、地區(qū)維度、車型維度。其中，日期維度表包含了2001～2030年每個日期對應(yīng)的年份、季度、月份、季節(jié)、每周幾等信息，地區(qū)維度表包含了中國境內(nèi)各省市區(qū)縣對應(yīng)的中文全稱、中文拼音、所屬大區(qū)、省份簡稱等信息，車型維度表則包含了車輛的車輛識別碼、生產(chǎn)日期、銷售日期、車輛型號、車輛配置等信息。另外還有一個埋點維度表，埋點維度表針對dwd中的每個埋點名稱進行標簽分類，包含了埋點名稱的1級、2級、3級、4級標簽以及相關(guān)的觸發(fā)方式。

五是車聯(lián)網(wǎng)app層，app層結(jié)合應(yīng)用場景梳理了4個顆粒度的數(shù)據(jù)應(yīng)用表，分別為小時、天、周、月。下面一一介紹各個顆粒度數(shù)據(jù)表內(nèi)容。

1）小時顆粒度：按小時統(tǒng)計各個車型1級、2級、3級、4級標簽的使用次數(shù)。

2）天顆粒度：按天統(tǒng)計各個車型1級、2級、3級、4級標簽的使用次數(shù)。

3）周顆粒度：結(jié)合dim層中日期維度表，按周統(tǒng)計各個車型1級、2級、3級、4級標簽的使用次數(shù)。

4）月顆粒度：結(jié)合dim層中日期維度表，按月統(tǒng)計各個車型1級、2級、3級、4級標簽的使用次數(shù)。

表4針對應(yīng)用場景可匯總形成表5。

可以看到，ods數(shù)據(jù)經(jīng)過數(shù)據(jù)倉庫各個層級的處理之后，可以得到一個標簽化的統(tǒng)計指標，數(shù)據(jù)更加規(guī)整，提高了數(shù)據(jù)的可用性。

5? 總結(jié)

數(shù)據(jù)倉庫內(nèi)部分層并非為了分層而分層，分層是為了解決ETL任務(wù)以及工作流的組織、數(shù)據(jù)的流向、讀寫權(quán)限的控制、不同需求的滿足等各類問題。一個良好的分層應(yīng)當有清晰的數(shù)據(jù)結(jié)構(gòu)體系，可以做到精準血緣追蹤，同時減少重復(fù)開發(fā)以及資源浪費。

本文基于維度建模分層理論實現(xiàn)了車聯(lián)網(wǎng)數(shù)據(jù)倉庫，可以很好地整合處理車聯(lián)網(wǎng)數(shù)據(jù)，并針對不同應(yīng)用場景定制化數(shù)據(jù)服務(wù)。此數(shù)據(jù)倉庫層次清晰，各層的作用域明確，實現(xiàn)復(fù)雜度不高，可為多種車輛數(shù)據(jù)的收集、統(tǒng)計和分析提供參考。不足之處是對數(shù)據(jù)的分析和處理過于單一，在以后的工作中，可以嘗試使用一些人工智能的方法對數(shù)據(jù)進行處理和分析，挖掘出更多的數(shù)據(jù)價值。

參考文獻：

[1] 孟祥怡，梁士福，張?zhí)鞆?，? 新能源汽車充電用戶行為大數(shù)據(jù)分析及應(yīng)用[J]. 汽車文摘，2021（3）：34-39.

[2] 周飛，劉夢娜，張暉，等. 商業(yè)銀行數(shù)據(jù)倉庫系統(tǒng)中ETL的設(shè)計與實現(xiàn)[J]. 軟件工程，2018，21（11）：42-45.

[3] 王雪檸，翟媛，陳顥. “十四五”時期我國汽車產(chǎn)業(yè)發(fā)展趨勢簡析[J]. 汽車工業(yè)研究，2021（4）：2-7.

[4] 葛鵬，劉森. 大數(shù)據(jù)時代對汽車行業(yè)的影響分析[J]. 產(chǎn)業(yè)與科技論壇，2013，12（24）：23-24.

[5] 奉國和，利偉業(yè). 數(shù)據(jù)倉庫在航空客戶關(guān)系管理中的應(yīng)用設(shè)計[J]. 情報雜志，2006（7）：32-35.

（編輯? 凌? 波）

作者簡介

唐文笙（1997—），男，助理工程師，研究方向為數(shù)據(jù)倉庫建設(shè)。