郭利榮, 童坤坤

(中數(shù)通信息有限公司大數(shù)據(jù)工作室, 廣東 廣州 510650)

0 引言(Introduction)

隨著大數(shù)據(jù)、云計(jì)算等技術(shù)的不斷發(fā)展,數(shù)據(jù)的體量快速增長,數(shù)據(jù)的內(nèi)容也越來越復(fù)雜,給傳統(tǒng)的數(shù)據(jù)管理和分析帶來了巨大挑戰(zhàn)。早期,數(shù)據(jù)管理主要依靠傳統(tǒng)關(guān)系型數(shù)據(jù)庫,然而這些數(shù)據(jù)庫在面對(duì)海量數(shù)據(jù)時(shí)已顯得力不從心。數(shù)據(jù)結(jié)構(gòu)和模式的固定性使得關(guān)系型數(shù)據(jù)庫無法適應(yīng)多變的數(shù)據(jù)形態(tài)和復(fù)雜的數(shù)據(jù)查詢需求[1]。同時(shí),由于不同數(shù)據(jù)庫之間缺乏數(shù)據(jù)共享集成機(jī)制,導(dǎo)致數(shù)據(jù)孤島問題日益突出。

為了解決上述問題,數(shù)據(jù)倉庫的概念應(yīng)運(yùn)而生,它能夠集成各種獨(dú)立數(shù)據(jù)庫中的數(shù)據(jù)以實(shí)現(xiàn)數(shù)據(jù)共享和分析。然而,傳統(tǒng)數(shù)據(jù)倉庫模型已無法滿足半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)與分析需求。

數(shù)據(jù)湖作為一種新興的數(shù)據(jù)架構(gòu)和解決方案,能夠滿足日益增長的多樣化數(shù)據(jù)需求,并且支持結(jié)構(gòu)化、非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)和分析等,因此受到廣泛關(guān)注。常見的結(jié)構(gòu)化數(shù)據(jù)有數(shù)據(jù)庫表數(shù)據(jù),非結(jié)構(gòu)化數(shù)據(jù)有圖像、視頻等,半結(jié)構(gòu)化數(shù)據(jù)有JSON、XML等。與數(shù)據(jù)倉庫相比,數(shù)據(jù)湖更加靈活,能夠適應(yīng)數(shù)據(jù)的快速變化和多樣化的查詢需求,能為企業(yè)更好地挖掘數(shù)據(jù)潛在的價(jià)值[2]。

本文旨在綜述數(shù)據(jù)湖的相關(guān)概念、與數(shù)據(jù)倉庫的關(guān)系、流行的實(shí)現(xiàn)框架、典型的技術(shù)架構(gòu)、核心功能等,還討論了數(shù)據(jù)湖的具體應(yīng)用場(chǎng)景,并對(duì)其未來的發(fā)展趨勢(shì)進(jìn)行展望。

1 數(shù)據(jù)湖概述(Overview of data lake)

1.1 數(shù)據(jù)湖定義

數(shù)據(jù)湖的概念于2010年被首次提出,旨在解決傳統(tǒng)數(shù)據(jù)倉庫和數(shù)據(jù)集市面臨的問題[3]。首先,數(shù)據(jù)湖通過統(tǒng)一的元數(shù)據(jù)存儲(chǔ)解決了數(shù)據(jù)集市之間的數(shù)據(jù)孤島問題,實(shí)現(xiàn)了數(shù)據(jù)的集中管理和協(xié)作共享。其次,數(shù)據(jù)湖存儲(chǔ)的是原始數(shù)據(jù)而非經(jīng)過裁剪后的數(shù)據(jù),避免了數(shù)據(jù)原始信息的丟失,從而為數(shù)據(jù)分析和挖掘提供了更全面和準(zhǔn)確的資源[4]。數(shù)據(jù)湖是一個(gè)集中式存儲(chǔ)庫,可以以任意規(guī)模存儲(chǔ)所有結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù);可以按原樣存儲(chǔ)數(shù)據(jù),并運(yùn)行不同類型的分析,從控制面板和可視化到大數(shù)據(jù)處理、實(shí)時(shí)分析和機(jī)器學(xué)習(xí),以指導(dǎo)數(shù)據(jù)使用者做出更好的決策。

眾所周知,在數(shù)據(jù)分析的過程中,數(shù)據(jù)存儲(chǔ)至關(guān)重要,而隨著數(shù)據(jù)的增長及其多樣性的提升,數(shù)據(jù)存儲(chǔ)模型也在不斷地發(fā)生改變。在過去的數(shù)據(jù)存儲(chǔ)模型中,數(shù)據(jù)倉庫是一種非常流行的模型。但是,數(shù)據(jù)倉庫在存儲(chǔ)數(shù)據(jù)的時(shí)候要求數(shù)據(jù)必須是預(yù)定義的格式和結(jié)構(gòu),這可能會(huì)限制數(shù)據(jù)的存儲(chǔ)和處理[5]。與傳統(tǒng)的數(shù)據(jù)倉庫不同,數(shù)據(jù)湖作為一種新興的數(shù)據(jù)存儲(chǔ)模型,采用原始格式進(jìn)行存儲(chǔ)。數(shù)據(jù)湖不需要進(jìn)行預(yù)定義,也沒有格式和結(jié)構(gòu)的要求,可以存儲(chǔ)各種類型的數(shù)據(jù),包括結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)[6]。與數(shù)據(jù)倉庫相比,數(shù)據(jù)湖具有以下優(yōu)勢(shì)。

(1)靈活性和可擴(kuò)展性。數(shù)據(jù)湖可以存儲(chǔ)各種類型的數(shù)據(jù),并且支持異構(gòu)數(shù)據(jù)的存儲(chǔ)方式。

(2)不需要ETL(抽取轉(zhuǎn)換加載)過程。數(shù)據(jù)湖可以直接進(jìn)行數(shù)據(jù)分析和挖掘,而不需要進(jìn)行ETL過程,靈活性更高。

(3)大數(shù)據(jù)的支持。數(shù)據(jù)湖能夠處理大規(guī)模和多樣化的數(shù)據(jù),如海量的傳感器數(shù)據(jù)、日志數(shù)據(jù)等。

1.2 數(shù)據(jù)湖和數(shù)據(jù)倉庫的區(qū)別

上文介紹了數(shù)據(jù)湖與數(shù)據(jù)倉庫之間的聯(lián)系,而兩者之間的詳細(xì)區(qū)別如表1所示。

表1 數(shù)據(jù)湖與數(shù)據(jù)倉庫的詳細(xì)區(qū)別

2 常見數(shù)據(jù)湖框架(Common data lake framework)

隨著技術(shù)的進(jìn)步和需求的不斷演變,數(shù)據(jù)湖的概念和實(shí)踐也在不斷發(fā)展,陸續(xù)出現(xiàn)了許多新的數(shù)據(jù)湖框架和工具,例如Apache Hudi、Apache Iceberg和Delta Lake等,它們提供了更多高級(jí)功能和增強(qiáng)的數(shù)據(jù)管理能力。這些框架不僅支持原始數(shù)據(jù)的存儲(chǔ),還提供了ACID(原子性、一致性、隔離性、持久性)的事務(wù)特性、元數(shù)據(jù)管理、數(shù)據(jù)分區(qū)和版本控制等功能,進(jìn)一步增強(qiáng)了數(shù)據(jù)湖的一致性、可靠性和可管理性。目前,市面上流行的三大開源數(shù)據(jù)湖方案分別為Apache Iceberg、Apache Hudi和Delta Lake。

Apache Iceberg是一個(gè)由Netflix開發(fā)的開源數(shù)據(jù)湖表格格式,它提供了類似于傳統(tǒng)SQL數(shù)據(jù)庫中分區(qū)的功能,支持ACID事務(wù)和快照等特性。Apache Iceberg支持多種計(jì)算引擎(如 Hive、Presto、Spark)和存儲(chǔ)后端(如HDFS、S3),可以在不同的上層和下層系統(tǒng)中使用,從而實(shí)現(xiàn)數(shù)據(jù)的存儲(chǔ)、查詢和分析。核心抽象對(duì)接新的計(jì)算引擎的成本比較低,并且提供了先進(jìn)的查詢優(yōu)化功能和完全的schema變更。

Apache Hudi是一個(gè)開源的數(shù)據(jù)湖流式處理框架,最初由Uber公司發(fā)起并捐獻(xiàn)給 Apache軟件,其設(shè)計(jì)目標(biāo)是支持大規(guī)模數(shù)據(jù)的增量計(jì)算和管理。Apache Hudi通過支持增量變更、臟數(shù)據(jù)刪除和寫入重試等操作,實(shí)現(xiàn)了快速、可靠、安全的大規(guī)模數(shù)據(jù)湖管理;它更注重于高效率的Upsert操作和近實(shí)時(shí)數(shù)據(jù)更新,提供了Merge On Read文件格式,以及便于搭建增量ETL管道的增量查詢功能。Apache Hudi還提供了多種索引適配不同的場(chǎng)景,每種索引都有不同的優(yōu)點(diǎn)和缺點(diǎn),因此索引的選擇需要根據(jù)具體的數(shù)據(jù)分布進(jìn)行取舍,從而達(dá)到寫入和查詢的最優(yōu)解。

Delta Lake是由Databricks推出的開源數(shù)據(jù)湖格式和處理引擎,它對(duì)Parquet 數(shù)據(jù)格式進(jìn)行了擴(kuò)展,支持ACID事務(wù)、版本控制和流表查詢等特性。Delta Lake可以與Spark、Presto等計(jì)算框架集成,適用于大規(guī)模數(shù)據(jù)處理和分析場(chǎng)景。此外,Delta Lake還能保證數(shù)據(jù)安全性和可靠性,能夠滿足企業(yè)級(jí)應(yīng)用的需求。

3 數(shù)據(jù)湖架構(gòu)(Data lake architecture)

數(shù)據(jù)湖可以認(rèn)為是新一代的大數(shù)據(jù)基礎(chǔ)設(shè)施,數(shù)據(jù)湖技術(shù)發(fā)展至今,其架構(gòu)也經(jīng)歷了一些演進(jìn),正在逐步完善。早期數(shù)據(jù)湖架構(gòu)采用的兩層架構(gòu)(圖1)為臨時(shí)數(shù)據(jù)區(qū)和原始數(shù)據(jù)區(qū)[7]。臨時(shí)數(shù)據(jù)區(qū)可以作為臨時(shí)存儲(chǔ)區(qū)域,能夠快速接收和存儲(chǔ)各種類型的數(shù)據(jù),而不用對(duì)其進(jìn)行特殊的轉(zhuǎn)換或規(guī)范化處理;原始數(shù)據(jù)區(qū)作為存儲(chǔ)各類原始數(shù)據(jù)的持久化區(qū)域,數(shù)據(jù)在此處保留其原始狀態(tài)。臨時(shí)數(shù)據(jù)區(qū)注重靈活性和快速處理,適合實(shí)驗(yàn)和即時(shí)分析;而原始數(shù)據(jù)區(qū)注重?cái)?shù)據(jù)保留和管理,適合數(shù)據(jù)溯源和長期分析需求。這種兩層架構(gòu)簡(jiǎn)單、直接,但在大規(guī)模數(shù)據(jù)處理和復(fù)雜分析場(chǎng)景下存在一些問題,比如處理速度慢、數(shù)據(jù)質(zhì)量控制困難和出現(xiàn)數(shù)據(jù)不一致性。

圖1 兩層數(shù)據(jù)湖架構(gòu)Fig.1 Two-layered data lake architecture

為了克服兩層架構(gòu)的局限性,引入Lambda架構(gòu)(圖2)[8]。Lambda架構(gòu)為三層結(jié)構(gòu),即批處理層、速度層和查詢層。批處理層負(fù)責(zé)對(duì)數(shù)據(jù)進(jìn)行批處理和離線處理。數(shù)據(jù)從各個(gè)來源發(fā)送到批處理層進(jìn)行數(shù)據(jù)清洗、轉(zhuǎn)換和存儲(chǔ)。批處理層使用分布式存儲(chǔ)系統(tǒng)(如HDFS)存儲(chǔ)原始數(shù)據(jù)和批處理結(jié)果,并結(jié)合大數(shù)據(jù)處理技術(shù)(如MapReduce)進(jìn)行數(shù)據(jù)分析和計(jì)算。速度層負(fù)責(zé)對(duì)數(shù)據(jù)進(jìn)行實(shí)時(shí)處理和流式處理。數(shù)據(jù)從源頭發(fā)送到實(shí)時(shí)處理層,經(jīng)過即時(shí)處理和轉(zhuǎn)換,產(chǎn)生實(shí)時(shí)結(jié)果和聚合。實(shí)時(shí)處理層使用流式處理引擎(如Spark Streaming、Flink)處理連續(xù)流數(shù)據(jù),并將結(jié)果存儲(chǔ)在速度層數(shù)據(jù)庫中。查詢層會(huì)使用批處理層和速度層的結(jié)果提供實(shí)時(shí)查詢和分析,以滿足不同類型的查詢需求。

圖2 Lambda架構(gòu)Fig.2 Lambda architecture

總體來說,數(shù)據(jù)源被分為兩個(gè)流,一個(gè)進(jìn)入批處理層進(jìn)行離線處理,另一個(gè)進(jìn)入速度層進(jìn)行實(shí)時(shí)處理。這樣可以在保證實(shí)時(shí)性的同時(shí),進(jìn)行復(fù)雜分析和查詢。然而,Lambda架構(gòu)需要維護(hù)兩套數(shù)據(jù)處理流程和代碼,并且存在數(shù)據(jù)一致性問題。

為了降低Lambda架構(gòu)的復(fù)雜性,Kappa架構(gòu)被提出,如圖3所示。Kappa架構(gòu)取消了批處理層,只使用速度層進(jìn)行數(shù)據(jù)處理和存儲(chǔ)。數(shù)據(jù)通過流處理方式進(jìn)行實(shí)時(shí)處理,并將結(jié)果直接存儲(chǔ)在數(shù)據(jù)湖中。Kappa架構(gòu)相較于Lambda架構(gòu),其簡(jiǎn)化了架構(gòu)和技術(shù)棧,但無法應(yīng)對(duì)需要大規(guī)模離線處理和計(jì)算的場(chǎng)景,并且可能難以實(shí)現(xiàn)和保證數(shù)據(jù)的一致性。

圖3 Kappa架構(gòu)Fig.3 Kappa architecture

上文介紹的架構(gòu)都存在一個(gè)共同的特點(diǎn),即它們都比較關(guān)注數(shù)據(jù)的存儲(chǔ)和計(jì)算而忽略了對(duì)數(shù)據(jù)本身的管理。數(shù)據(jù)湖作為新型大數(shù)據(jù)基礎(chǔ)設(shè)施,在繼承大數(shù)據(jù)平臺(tái)的存儲(chǔ)計(jì)算能力的基礎(chǔ)上,通過統(tǒng)一的數(shù)據(jù)接入、全面的元數(shù)據(jù)管理、精細(xì)化的數(shù)據(jù)治理等功能,實(shí)現(xiàn)對(duì)海量異構(gòu)數(shù)據(jù)的深度管理與資產(chǎn)化利用,以便各類計(jì)算引擎能夠深度融合,覆蓋多種應(yīng)用場(chǎng)景。基于上述思想,典型的數(shù)據(jù)湖架構(gòu)如圖4所示。

圖4 典型的數(shù)據(jù)湖架構(gòu)Fig.4 Typical data lake architecture

4 數(shù)據(jù)湖核心功能(Core functions of data lake)

數(shù)據(jù)湖強(qiáng)調(diào)對(duì)業(yè)務(wù)數(shù)據(jù)的保真存儲(chǔ),允許存儲(chǔ)任意格式的數(shù)據(jù),提供完善的數(shù)據(jù)管理能力,實(shí)現(xiàn)數(shù)據(jù)全生命周期管理。具體來看,數(shù)據(jù)湖至少包含原始數(shù)據(jù)和處理后的數(shù)據(jù)兩類,通過統(tǒng)一的數(shù)據(jù)接入接口,進(jìn)行數(shù)據(jù)源、連接、格式、模式等元數(shù)據(jù)管理,支持細(xì)粒度權(quán)限控制,追蹤數(shù)據(jù)從接入、存儲(chǔ)、處理到消費(fèi)的全流程,重構(gòu)數(shù)據(jù)血緣和流動(dòng)過程,實(shí)現(xiàn)對(duì)海量異構(gòu)數(shù)據(jù)的集中式、原始的存儲(chǔ)與可控可治理的資產(chǎn)化利用。

接下來,本文從數(shù)據(jù)獲取、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)計(jì)算、數(shù)據(jù)治理等方面詳細(xì)介紹數(shù)據(jù)湖技術(shù)。

4.1 數(shù)據(jù)獲取

數(shù)據(jù)湖作為一種集中存儲(chǔ)和管理企業(yè)各種類型和格式的原始數(shù)據(jù)的架構(gòu),其數(shù)據(jù)輸入與獲取技術(shù)對(duì)于數(shù)據(jù)湖的建設(shè)和應(yīng)用至關(guān)重要。Sqoop用于將關(guān)系型數(shù)據(jù)庫中的數(shù)據(jù)導(dǎo)入數(shù)據(jù)湖中,支持各種常見的關(guān)系型數(shù)據(jù)庫,如MySQL、Oracle等;Flume是一個(gè)廣泛使用的分布式數(shù)據(jù)采集工具,適用于從多個(gè)數(shù)據(jù)源(如日志、消息隊(duì)列)采集、聚合和移動(dòng)數(shù)據(jù)到數(shù)據(jù)湖中;相比Sqoop的批量傳輸,Kafka實(shí)現(xiàn)了從源端不間斷地獲取數(shù)據(jù),使數(shù)據(jù)湖可以直接對(duì)接實(shí)時(shí)數(shù)據(jù),支持實(shí)時(shí)分析應(yīng)用[9-10]。

SeaTunnel是一種用于數(shù)據(jù)集成和數(shù)據(jù)同步的解決方案,它提供了多種功能,使用戶能夠輕松地在不同的數(shù)據(jù)源之間進(jìn)行數(shù)據(jù)傳輸和同步。SeaTunnel支持各種類型的數(shù)據(jù)源,包括關(guān)系型數(shù)據(jù)庫、大數(shù)據(jù)存儲(chǔ)、文件系統(tǒng)等。無論數(shù)據(jù)源是什么類型,SeaTunnel都能夠直接連接并獲取數(shù)據(jù)。這使得用戶可以將數(shù)據(jù)源中的數(shù)據(jù)集成到一個(gè)統(tǒng)一的平臺(tái)上,方便進(jìn)行數(shù)據(jù)分析和處理。

SeaTunnel還提供了強(qiáng)大的數(shù)據(jù)轉(zhuǎn)換功能。用戶可以通過使用內(nèi)置的轉(zhuǎn)換規(guī)則或自定義的轉(zhuǎn)換腳本轉(zhuǎn)換數(shù)據(jù)格式和結(jié)構(gòu)。例如,用戶可以將一個(gè)數(shù)據(jù)集中的列重新排列、過濾掉特定的行或進(jìn)行數(shù)據(jù)分組和聚合等操作。這些功能使得用戶能夠根據(jù)自己的需求對(duì)數(shù)據(jù)進(jìn)行靈活的處理,從而更好地滿足分析和業(yè)務(wù)的需求。

SeaTunnel具有高效的數(shù)據(jù)傳輸和同步功能,它使用了高性能的數(shù)據(jù)傳輸協(xié)議和壓縮算法,確保數(shù)據(jù)在傳輸過程中的安全性和高效率。同時(shí),SeaTunnel支持增量同步,即只傳輸發(fā)生變化的數(shù)據(jù),大大減少了數(shù)據(jù)傳輸?shù)臅r(shí)間和帶寬的消耗。這使得用戶可以實(shí)時(shí)地將數(shù)據(jù)從一個(gè)數(shù)據(jù)源同步到另一個(gè)數(shù)據(jù)源,保持?jǐn)?shù)據(jù)的一致性和及時(shí)性。

SeaTunnel提供了豐富的監(jiān)控和管理功能。用戶可以監(jiān)控?cái)?shù)據(jù)傳輸和同步的進(jìn)程和狀態(tài),及時(shí)發(fā)現(xiàn)和解決問題。SeaTunnel還支持任務(wù)調(diào)度和自動(dòng)化,用戶可以預(yù)先設(shè)置數(shù)據(jù)傳輸和同步的時(shí)間和頻率,減少手動(dòng)操作的工作量。此外,SeaTunnel提供了數(shù)據(jù)一致性校驗(yàn)和錯(cuò)誤處理等功能,確保數(shù)據(jù)傳輸和同步的可靠性和準(zhǔn)確性。

4.2 數(shù)據(jù)存儲(chǔ)

數(shù)據(jù)湖作為企業(yè)中全量數(shù)據(jù)的單一存儲(chǔ),可以集成和存儲(chǔ)來自不同數(shù)據(jù)源的數(shù)據(jù),包括關(guān)系型數(shù)據(jù)庫、日志文件、傳感器數(shù)據(jù)等。這種存儲(chǔ)方式可以使不同部門和用戶在同一個(gè)存儲(chǔ)中查找和訪問數(shù)據(jù),促進(jìn)數(shù)據(jù)共享和協(xié)作。數(shù)據(jù)湖的數(shù)據(jù)存儲(chǔ)技術(shù)作為一種集成多種存儲(chǔ)方式和支持多種數(shù)據(jù)格式的解決方案,旨在滿足企業(yè)對(duì)于海量數(shù)據(jù)的集中存儲(chǔ)和管理需求。為了具備性價(jià)比,數(shù)據(jù)湖常選用相對(duì)便宜的存儲(chǔ)引擎,對(duì)應(yīng)的存儲(chǔ)技術(shù)主要包括關(guān)系數(shù)據(jù)庫存儲(chǔ)、HDFS存儲(chǔ)和對(duì)象存儲(chǔ)等方式[11]。關(guān)系數(shù)據(jù)庫存儲(chǔ)主要適用于結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ),可以提供高效的數(shù)據(jù)查詢和處理功能。HDFS存儲(chǔ)是分布式文件系統(tǒng)的一種,可以支持大規(guī)模數(shù)據(jù)的存儲(chǔ)和處理,適用于結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)。對(duì)象存儲(chǔ)可選擇云存儲(chǔ),如S3、OSS和OBS,具備彈性和按需擴(kuò)容的特性[12]。對(duì)象存儲(chǔ)非常適用于大量非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ),例如圖片、視頻、日志等。

4.3 數(shù)據(jù)計(jì)算

數(shù)據(jù)湖作為一個(gè)綜合性的數(shù)據(jù)管理平臺(tái),其中一項(xiàng)關(guān)鍵功能就是數(shù)據(jù)計(jì)算。數(shù)據(jù)計(jì)算在數(shù)據(jù)湖中起著至關(guān)重要的作用,它能夠處理和分析各種類型的數(shù)據(jù),以支持各種業(yè)務(wù)需求。為了讓數(shù)據(jù)湖支持多源異構(gòu)數(shù)據(jù)的聯(lián)合分析,計(jì)算框架的選擇尤為重要?，F(xiàn)有的Spark、Flink等計(jì)算框架可以用于流批一體的數(shù)據(jù)處理,但在支持復(fù)雜SQL解析和優(yōu)化方面還不夠完善。此外,不同的計(jì)算框架缺乏統(tǒng)一的接口標(biāo)準(zhǔn),給多引擎集成帶來困難。Apache Kyuubi是一個(gè)開源的分布式SQL引擎,它可以優(yōu)雅地解決數(shù)據(jù)湖計(jì)算的難題,提供了基于Thrift的JDBC/ODBC和REST兩種標(biāo)準(zhǔn)服務(wù)接口。Apache Kyuubi可以對(duì)接Spark、Flink、Hive等主流的分布式計(jì)算框架,以及Doris、Trino等新型的分析查詢引擎,還支持任何遵循JDBC標(biāo)準(zhǔn)的數(shù)據(jù)庫。

Apache Kyuubi具有多租戶隔離、查詢負(fù)載均衡等分布式數(shù)據(jù)庫的特性,使其能夠應(yīng)對(duì)企業(yè)中的多種大數(shù)據(jù)處理場(chǎng)景,如數(shù)據(jù)提取轉(zhuǎn)換加載、業(yè)務(wù)智能報(bào)表等需求。Apache Kyuubi的目標(biāo)是利用其框架優(yōu)勢(shì),為構(gòu)建企業(yè)數(shù)據(jù)湖提供標(biāo)準(zhǔn)化和統(tǒng)一的SQL訪問接口;它允許用戶用常規(guī)的SQL查詢方式處理存儲(chǔ)在數(shù)據(jù)湖中的結(jié)構(gòu)化、半結(jié)構(gòu)化及非結(jié)構(gòu)化數(shù)據(jù)。同時(shí),它正在朝著一個(gè)面向無服務(wù)器化SQL分析的Lakehouse服務(wù)方向演進(jìn),可以通過對(duì)各種計(jì)算框架的標(biāo)準(zhǔn)化對(duì)接,構(gòu)建一個(gè)池化、彈性的分布式SQL計(jì)算平臺(tái),為企業(yè)級(jí)數(shù)據(jù)湖的Serverless化提供支撐。

在數(shù)據(jù)湖中,數(shù)據(jù)計(jì)算的功能可以支持離線計(jì)算、實(shí)時(shí)計(jì)算、即席查詢和機(jī)器學(xué)習(xí)等多種計(jì)算模式。離線計(jì)算是基本的計(jì)算模式,它主要是基于批量數(shù)據(jù)處理的思想對(duì)大量數(shù)據(jù)進(jìn)行處理和分析。離線計(jì)算通常以天或者周為單位進(jìn)行,處理的數(shù)據(jù)量比較大且計(jì)算過程可能需要耗費(fèi)較長時(shí)間。在數(shù)據(jù)湖中,離線計(jì)算通常使用分布式計(jì)算框架如Hadoop和Spark等實(shí)現(xiàn)。

此外,還有一種重要的計(jì)算模式是實(shí)時(shí)計(jì)算,它主要是對(duì)實(shí)時(shí)流入的數(shù)據(jù)進(jìn)行實(shí)時(shí)處理和分析。實(shí)時(shí)計(jì)算對(duì)于要求數(shù)據(jù)處理速度和實(shí)時(shí)性的場(chǎng)景非常有用,例如在線游戲、實(shí)時(shí)監(jiān)控等。在數(shù)據(jù)湖中,實(shí)時(shí)計(jì)算通常使用流處理框架如Apache Kafka和Apache Flink等實(shí)現(xiàn)。

即席查詢是一種靈活的數(shù)據(jù)查詢方式,它可以根據(jù)不同的查詢需求進(jìn)行即時(shí)的數(shù)據(jù)處理和分析。即席查詢通常用于探索性分析和業(yè)務(wù)人員的自助分析場(chǎng)景中,可以根據(jù)分析人員的需要靈活地選擇不同的數(shù)據(jù)集、指標(biāo)和可視化方式。在數(shù)據(jù)湖中,交互式即席查詢可以通過可視化工具或Trino途徑實(shí)現(xiàn)。

對(duì)一個(gè)成熟的數(shù)據(jù)湖平臺(tái)來說,其計(jì)算引擎模塊應(yīng)具備可擴(kuò)展性與可插拔性,能夠平滑地兼容不同的機(jī)器學(xué)習(xí)框架與算法。目前,主流的TensorFlow和PyTorch深度學(xué)習(xí)框架已經(jīng)原生支持直接從分布式文件系統(tǒng)和對(duì)象存儲(chǔ)中讀取數(shù)據(jù)進(jìn)行模型訓(xùn)練。這種靈活性使得數(shù)據(jù)湖能夠更好地支持各種機(jī)器學(xué)習(xí)任務(wù),為數(shù)據(jù)驅(qū)動(dòng)的決策提供更強(qiáng)大的能力。

總的來說,數(shù)據(jù)湖的數(shù)據(jù)計(jì)算功能能夠高效、靈活和可擴(kuò)展地處理和分析各種類型的數(shù)據(jù),支持各種業(yè)務(wù)需求。無論是離線計(jì)算、實(shí)時(shí)計(jì)算、即席查詢還是機(jī)器學(xué)習(xí),數(shù)據(jù)湖都可以提供強(qiáng)大的數(shù)據(jù)處理和分析能力,幫助企業(yè)更好地發(fā)掘數(shù)據(jù)的價(jià)值,推動(dòng)業(yè)務(wù)的創(chuàng)新和發(fā)展。

4.4 數(shù)據(jù)治理

數(shù)據(jù)治理是數(shù)據(jù)湖的重要功能,目的是保證數(shù)據(jù)湖中的數(shù)據(jù)質(zhì)量,讓數(shù)據(jù)為企業(yè)創(chuàng)造更高價(jià)值[13]。數(shù)據(jù)治理涵蓋了數(shù)據(jù)湖的整個(gè)生命周期,包括制定數(shù)據(jù)采集策略,從各種源系統(tǒng)中抽取數(shù)據(jù),對(duì)數(shù)據(jù)進(jìn)行轉(zhuǎn)換整理,將不同格式的數(shù)據(jù)集成到數(shù)據(jù)湖中。此外,數(shù)據(jù)治理會(huì)建立完備的數(shù)據(jù)目錄,記錄每一個(gè)數(shù)據(jù)集的關(guān)鍵元數(shù)據(jù)信息,方便數(shù)據(jù)的發(fā)現(xiàn)和利用。在數(shù)據(jù)湖運(yùn)行過程中,需要持續(xù)監(jiān)控?cái)?shù)據(jù)流和數(shù)據(jù)變更,及時(shí)發(fā)現(xiàn)問題并做出優(yōu)化。同時(shí),通過訪問控制、加密等手段保證數(shù)據(jù)安全,避免非授權(quán)訪問以及數(shù)據(jù)泄露。數(shù)據(jù)治理還會(huì)對(duì)數(shù)據(jù)湖中的數(shù)據(jù)集進(jìn)行質(zhì)量檢查,識(shí)別重復(fù)、錯(cuò)誤和無效數(shù)據(jù),并進(jìn)行修正和過濾。所有這些治理措施的目的都是讓數(shù)據(jù)湖成為高質(zhì)量、高可靠性的基礎(chǔ)數(shù)據(jù)平臺(tái),為企業(yè)的決策分析和業(yè)務(wù)創(chuàng)新提供可信可用的數(shù)據(jù)支持[14-16]。

4.4.1 元數(shù)據(jù)管理

元數(shù)據(jù)是描述數(shù)據(jù)的數(shù)據(jù),主要是描述數(shù)據(jù)屬性的信息。在數(shù)據(jù)湖中,元數(shù)據(jù)管理是數(shù)據(jù)治理的重要組成部分[17-18]。通過良好的元數(shù)據(jù)管理,可以對(duì)數(shù)據(jù)湖中的數(shù)據(jù)進(jìn)行有效的分類、標(biāo)記和描述,使用戶能夠更快速地找到所需的數(shù)據(jù)集,并理解數(shù)據(jù)的結(jié)構(gòu)、含義和質(zhì)量標(biāo)準(zhǔn)[19]。元數(shù)據(jù)管理能夠提供數(shù)據(jù)湖中數(shù)據(jù)的整體視圖,幫助用戶更好地理解和利用數(shù)據(jù)。元數(shù)據(jù)管理模塊還會(huì)持續(xù)跟蹤元數(shù)據(jù)的變更,提供版本控制、血緣追蹤等功能,為企業(yè)構(gòu)建知識(shí)圖譜奠定基礎(chǔ),讓數(shù)據(jù)資產(chǎn)可追溯、可解釋。目前,實(shí)現(xiàn)智能化和自動(dòng)化的元數(shù)據(jù)管理是數(shù)據(jù)湖建設(shè)的重要方向,可以運(yùn)用機(jī)器學(xué)習(xí)、自然語言處理等技術(shù)提取數(shù)據(jù)特征和數(shù)據(jù)之間的關(guān)系,減輕手工錄入工作量,使元數(shù)據(jù)更完整、可靠。

4.4.2 數(shù)據(jù)安全管理

數(shù)據(jù)湖中的數(shù)據(jù)通常包含機(jī)密、敏感或受限制的信息。數(shù)據(jù)湖必須具備強(qiáng)大的數(shù)據(jù)安全管理功能,以保護(hù)數(shù)據(jù)的機(jī)密性、完整性和可用性[11,20-22]。數(shù)據(jù)治理能夠?yàn)閿?shù)據(jù)湖建立訪問權(quán)限控制、數(shù)據(jù)加密和身份驗(yàn)證等安全策略,確保數(shù)據(jù)在存儲(chǔ)、傳輸和使用過程中得到有效的保護(hù),并遵守相關(guān)的數(shù)據(jù)保護(hù)法規(guī)和合規(guī)要求。

4.4.3 數(shù)據(jù)質(zhì)量管理

數(shù)據(jù)質(zhì)量是數(shù)據(jù)湖中的重要考量因素。數(shù)據(jù)湖中的數(shù)據(jù)來自不同的源頭,可能存在重復(fù)、冗余、不一致等問題。數(shù)據(jù)治理通過建立數(shù)據(jù)質(zhì)量管理框架和規(guī)范,使數(shù)據(jù)湖中的數(shù)據(jù)經(jīng)過驗(yàn)證、清洗和標(biāo)準(zhǔn)化,確保數(shù)據(jù)的準(zhǔn)確性、一致性和完整性。數(shù)據(jù)質(zhì)量管理還可以通過監(jiān)控和度量數(shù)據(jù)質(zhì)量指標(biāo)實(shí)時(shí)監(jiān)控?cái)?shù)據(jù)湖中數(shù)據(jù)的質(zhì)量,并快速響應(yīng)和修復(fù)潛在的數(shù)據(jù)質(zhì)量問題。

4.4.4 數(shù)據(jù)生存周期管理

數(shù)據(jù)湖中的數(shù)據(jù)具有不同的生存周期,包括數(shù)據(jù)的創(chuàng)建、更新、使用、存儲(chǔ)和刪除等階段。數(shù)據(jù)治理可以提供數(shù)據(jù)生存周期管理策略和流程,確保在數(shù)據(jù)湖中的數(shù)據(jù)按照規(guī)定的生存周期管理方法進(jìn)行管理和操作。數(shù)據(jù)生存周期管理可以幫助審計(jì)數(shù)據(jù)使用情況、規(guī)劃數(shù)據(jù)存儲(chǔ)需求、控制數(shù)據(jù)增長和存儲(chǔ)成本,并且保證數(shù)據(jù)的合規(guī)性。

4.4.5 數(shù)據(jù)標(biāo)準(zhǔn)管理

數(shù)據(jù)治理通過建立數(shù)據(jù)標(biāo)準(zhǔn)化的方法和過程,確保數(shù)據(jù)湖中的數(shù)據(jù)按照一致的標(biāo)準(zhǔn)進(jìn)行管理和使用。數(shù)據(jù)湖中的數(shù)據(jù)來源廣泛且多樣,可能包含不同格式、結(jié)構(gòu)和質(zhì)量的數(shù)據(jù)。通過數(shù)據(jù)治理,可以建立數(shù)據(jù)規(guī)范和數(shù)據(jù)詞典,定義和標(biāo)準(zhǔn)化數(shù)據(jù)的命名約定、數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)元素等。數(shù)據(jù)標(biāo)準(zhǔn)提供了一致的數(shù)據(jù)語義和結(jié)構(gòu),使不同用戶在數(shù)據(jù)湖中能夠理解和使用數(shù)據(jù),從而提高數(shù)據(jù)集成和數(shù)據(jù)共享的效率。

4.4.6 數(shù)據(jù)集成與共享

數(shù)據(jù)湖作為一個(gè)集成多源數(shù)據(jù)的架構(gòu),促進(jìn)了數(shù)據(jù)的集成和共享。數(shù)據(jù)治理在數(shù)據(jù)湖中的數(shù)據(jù)集成和共享方面起到重要作用。數(shù)據(jù)湖中的數(shù)據(jù)來源可能包括內(nèi)部和外部的多個(gè)數(shù)據(jù)源,并且以不同的格式和結(jié)構(gòu)存在。通過數(shù)據(jù)治理,可以建立數(shù)據(jù)集成策略和流程,將不同來源的數(shù)據(jù)集成到數(shù)據(jù)湖中,并確保數(shù)據(jù)的一致性和可靠性。數(shù)據(jù)湖作為一個(gè)統(tǒng)一訪問和查詢的數(shù)據(jù)存儲(chǔ),使得用戶可以共享數(shù)據(jù),進(jìn)行跨部門和跨應(yīng)用的數(shù)據(jù)分析和應(yīng)用開發(fā)。

5 數(shù)據(jù)湖應(yīng)用場(chǎng)景(Data lake application scenarios)

在當(dāng)今企業(yè)信息化建設(shè)中,高效管理應(yīng)用海量、復(fù)雜數(shù)據(jù)是一項(xiàng)關(guān)鍵任務(wù)。只有充分利用數(shù)據(jù)資產(chǎn),企業(yè)才能更好地挖掘數(shù)據(jù)的價(jià)值,提高業(yè)務(wù)運(yùn)營效率,優(yōu)化決策過程,從而在激烈的市場(chǎng)競(jìng)爭(zhēng)中獲得優(yōu)勢(shì)。數(shù)據(jù)湖的出現(xiàn)為企業(yè)提供了一種更好的數(shù)據(jù)管理和分析工具,使企業(yè)能夠快速、高效地管理、使用和分析數(shù)據(jù),可以在多個(gè)領(lǐng)域幫助企業(yè)解決實(shí)際問題。

5.1 金融領(lǐng)域

交易分析:金融機(jī)構(gòu)可以將所有交易數(shù)據(jù)集中存儲(chǔ)在數(shù)據(jù)湖中,利用數(shù)據(jù)湖分析市場(chǎng)趨勢(shì)、分析客戶的行為模式以及幫助金融機(jī)構(gòu)進(jìn)行風(fēng)險(xiǎn)和欺詐檢測(cè)[23]。

客戶行為分析:通過整合不同的數(shù)據(jù)源,如交易歷史記錄、客戶反饋、社交媒體數(shù)據(jù)等,數(shù)據(jù)湖可以幫助金融機(jī)構(gòu)理解客戶的行為模式,并提供個(gè)性化的產(chǎn)品和服務(wù)。

5.2 醫(yī)療領(lǐng)域

疾病診斷與預(yù)測(cè):數(shù)據(jù)湖可以集中存儲(chǔ)患者的臨床數(shù)據(jù)、基因組數(shù)據(jù)、醫(yī)療圖像和傳感器數(shù)據(jù)等信息,通過分析這些數(shù)據(jù),醫(yī)療機(jī)構(gòu)可以提供更精確的疾病診斷、預(yù)測(cè)和保健建議[24]。

醫(yī)療研究:數(shù)據(jù)湖可以幫助醫(yī)療研究人員整合和分析大量的醫(yī)療數(shù)據(jù),加速新藥研發(fā)和更好地開展醫(yī)學(xué)研究和臨床試驗(yàn)。

5.3 零售領(lǐng)域

消費(fèi)者行為分析:通過整合顧客的交易記錄、網(wǎng)站瀏覽數(shù)據(jù)、社交媒體數(shù)據(jù)等,數(shù)據(jù)湖可以幫助零售商了解消費(fèi)者的購買行為和偏好,進(jìn)而提供個(gè)性化的產(chǎn)品推薦和營銷策略。

庫存管理:通過與供應(yīng)鏈數(shù)據(jù)和銷售數(shù)據(jù)的整合,數(shù)據(jù)湖可以幫助零售商準(zhǔn)確預(yù)測(cè)需求、優(yōu)化庫存管理,并提高供應(yīng)鏈的效率。

5.4 能源領(lǐng)域

智能電網(wǎng)管理:數(shù)據(jù)湖可以集中存儲(chǔ)來自智能電表、傳感器和設(shè)備的大量數(shù)據(jù),通過對(duì)數(shù)據(jù)的分析,能夠?qū)崿F(xiàn)對(duì)能源消耗的監(jiān)測(cè)、實(shí)時(shí)故障檢測(cè)和優(yōu)化能源分配[25]。

風(fēng)能和太陽能預(yù)測(cè):數(shù)據(jù)湖可以整合氣象數(shù)據(jù)、能源生產(chǎn)數(shù)據(jù)和能源消耗數(shù)據(jù)等,通過分析這些數(shù)據(jù),預(yù)測(cè)風(fēng)能和太陽能的產(chǎn)生情況,幫助能源公司做出更準(zhǔn)確的能源規(guī)劃和決策。

5.5 煙草領(lǐng)域

經(jīng)營分析:整合現(xiàn)有數(shù)據(jù)源情況,完成營銷、物流、專賣、財(cái)務(wù)四大數(shù)據(jù)源的數(shù)據(jù)入湖,實(shí)現(xiàn)數(shù)據(jù)集成、數(shù)據(jù)處理、數(shù)據(jù)服務(wù),可視化呈現(xiàn)BI、報(bào)表、經(jīng)營分析等,幫助煙草公司全面開展數(shù)據(jù)資產(chǎn)化運(yùn)營工作。

6 進(jìn)一步研究方向(Further research directions)

針對(duì)當(dāng)前數(shù)據(jù)湖技術(shù)的研究進(jìn)展,本文給出未來數(shù)據(jù)湖技術(shù)比較有價(jià)值的研究方向。

6.1 存算分離

存算一體的數(shù)據(jù)湖架構(gòu),在資源擴(kuò)展時(shí),需要同時(shí)升級(jí)存儲(chǔ)和計(jì)算節(jié)點(diǎn),無法對(duì)指定資源進(jìn)行獨(dú)立擴(kuò)展,而存算分離作為一種新興的數(shù)據(jù)處理模式,將數(shù)據(jù)的存儲(chǔ)和計(jì)算分離開來,使得計(jì)算能力可以彈性擴(kuò)展,并可以與多個(gè)計(jì)算引擎集成。數(shù)據(jù)湖技術(shù)可以借鑒存算分離的思想,進(jìn)一步發(fā)展多計(jì)算引擎集成的能力,實(shí)現(xiàn)高效的彈性伸縮和資源利用,降低運(yùn)維成本,優(yōu)化存儲(chǔ)和計(jì)算的協(xié)同工作,提高數(shù)據(jù)湖的處理效率和性能。

6.2 云原生技術(shù)

傳統(tǒng)數(shù)據(jù)湖通常需要大量的硬件資源,包括服務(wù)器、存儲(chǔ)設(shè)備、網(wǎng)絡(luò)設(shè)備等,成本較高,并且需要投入更多的人力和資源進(jìn)行系統(tǒng)的配置、監(jiān)控、維護(hù)和升級(jí),增加了管理的復(fù)雜度和成本;而云原生技術(shù)是構(gòu)建和部署在云平臺(tái)的應(yīng)用程序的一種方法,它強(qiáng)調(diào)容器化、自動(dòng)化。數(shù)據(jù)湖技術(shù)可以應(yīng)用云原生技術(shù),如容器化和微服務(wù)架構(gòu),實(shí)現(xiàn)更靈活、可擴(kuò)展和高可用的數(shù)據(jù)湖部署和管理。云原生技術(shù)的發(fā)展可以使數(shù)據(jù)湖更好地適應(yīng)云平臺(tái)的特性和要求。

6.3 湖倉一體化

數(shù)據(jù)湖技術(shù)具有開放性和靈活性的特點(diǎn),容易將原始的、未經(jīng)過驗(yàn)證和清洗的數(shù)據(jù)直接存儲(chǔ)到數(shù)據(jù)湖中,這可能導(dǎo)致數(shù)據(jù)質(zhì)量問題,如數(shù)據(jù)重復(fù)、缺失、不一致等。相比之下,數(shù)據(jù)倉庫更注重?cái)?shù)據(jù)質(zhì)量管理,通過清洗、轉(zhuǎn)換和整合等步驟確保數(shù)據(jù)的準(zhǔn)確性和一致性[26]。湖倉一體化將數(shù)據(jù)湖和數(shù)據(jù)倉庫進(jìn)行整合,構(gòu)建統(tǒng)一的數(shù)據(jù)管理平臺(tái),能夠提供統(tǒng)一的數(shù)據(jù)視圖。下一步的發(fā)展方向包括構(gòu)建數(shù)據(jù)湖和數(shù)據(jù)倉庫的聯(lián)邦查詢和數(shù)據(jù)融合機(jī)制,實(shí)現(xiàn)跨數(shù)據(jù)湖和數(shù)據(jù)倉庫的數(shù)據(jù)查詢和分析。湖倉一體化還可以進(jìn)一步優(yōu)化數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)處理的接口,提高數(shù)據(jù)集成和傳輸效率。

6.4 數(shù)據(jù)安全和隱私保護(hù)

隨著數(shù)據(jù)價(jià)值的不斷提升,數(shù)據(jù)安全和隱私保護(hù)成為研究熱點(diǎn),因此需要進(jìn)一步研究和開發(fā)數(shù)據(jù)加密、訪問控制、數(shù)據(jù)脫敏等安全技術(shù)和措施,不斷提高保護(hù)數(shù)據(jù)安全和隱私的能力。

6.5 智能元數(shù)據(jù)管理

隨著數(shù)據(jù)湖中存儲(chǔ)的數(shù)據(jù)量不斷增長,元數(shù)據(jù)管理變得至關(guān)重要,元數(shù)據(jù)管理可以幫助組織對(duì)數(shù)據(jù)進(jìn)行治理,包括數(shù)據(jù)的標(biāo)準(zhǔn)化、規(guī)范化、權(quán)限管理等,同時(shí)可以幫助用戶了解數(shù)據(jù)的使用情況,并實(shí)現(xiàn)數(shù)據(jù)的共享和重用。下一步的發(fā)展方向包括利用存儲(chǔ)層的元數(shù)據(jù)和計(jì)算引擎的元數(shù)據(jù)進(jìn)行數(shù)據(jù)質(zhì)量評(píng)估和監(jiān)控,實(shí)現(xiàn)自動(dòng)化的數(shù)據(jù)清洗和驗(yàn)證,并借助相關(guān)技術(shù)實(shí)現(xiàn)元數(shù)據(jù)的快速采集、維護(hù)和查詢;使用機(jī)器學(xué)習(xí)、知識(shí)圖譜等技術(shù)讓元數(shù)據(jù)管理更自動(dòng)化和智能化。可以根據(jù)數(shù)據(jù)內(nèi)容和關(guān)系自動(dòng)生成元數(shù)據(jù),并進(jìn)行持續(xù)的學(xué)習(xí)優(yōu)化。

7 結(jié)論(Conclusion)

本文從多個(gè)方面介紹了數(shù)據(jù)湖技術(shù),包括技術(shù)誕生背景、與傳統(tǒng)數(shù)據(jù)倉庫的區(qū)別及其核心功能未來的發(fā)展方向等。數(shù)據(jù)湖技術(shù)具有強(qiáng)大的數(shù)據(jù)處理和分析能力,它已經(jīng)成為數(shù)字化時(shí)代企業(yè)和組織的重要工具。隨著數(shù)據(jù)湖技術(shù)的進(jìn)一步研究和應(yīng)用,可以期待它發(fā)揮更加重要的作用,為各個(gè)領(lǐng)域的發(fā)展和決策提供更加準(zhǔn)確和實(shí)時(shí)的數(shù)據(jù)支持。