禹熹　方亞超　洪丁節(jié)

關(guān)鍵詞：流式數(shù)據(jù)總線；數(shù)據(jù)安全；訪問(wèn)控制；數(shù)據(jù)視圖；SQL

中圖法分類號(hào)：TP311 文獻(xiàn)標(biāo)識(shí)碼：A

1技術(shù)背景

隨著企業(yè)內(nèi)數(shù)據(jù)的急劇膨脹和快速增長(zhǎng)，如何在企業(yè)內(nèi)不同應(yīng)用間高效、安全的共享數(shù)據(jù)，避免數(shù)據(jù)孤島效應(yīng)，成為現(xiàn)代企業(yè)數(shù)字化轉(zhuǎn)型的巨大挑戰(zhàn)。一方面，數(shù)據(jù)的整合和共享是“讓企業(yè)內(nèi)數(shù)據(jù)用起來(lái)”的前提，只有實(shí)現(xiàn)“數(shù)據(jù)的平民化”，使企業(yè)內(nèi)數(shù)據(jù)取數(shù).用數(shù)便捷高效，才能打通企業(yè)內(nèi)各業(yè)務(wù)線的七經(jīng)八脈，讓數(shù)據(jù)信息得以快速觸達(dá)企業(yè)各處，為企業(yè)創(chuàng)造有效價(jià)值、預(yù)警不利風(fēng)險(xiǎn)；另一方面，數(shù)據(jù)是企業(yè)的核心資產(chǎn)，數(shù)據(jù)安全是每個(gè)企業(yè)都需要重視的課題，實(shí)現(xiàn)便捷的數(shù)據(jù)訪問(wèn)的同時(shí)，企業(yè)數(shù)據(jù)的安全應(yīng)同樣得到保障。數(shù)據(jù)的訪問(wèn)須滿足“最小權(quán)限訪問(wèn)”原則，通過(guò)賦予數(shù)據(jù)訪問(wèn)者滿足其業(yè)務(wù)需求的必要、最小的數(shù)據(jù)集，可極大地降低數(shù)據(jù)泄露和濫用的風(fēng)險(xiǎn)，從而保護(hù)企業(yè)的權(quán)益。

在企業(yè)內(nèi)，通過(guò)構(gòu)建基于OLAP關(guān)系型數(shù)據(jù)庫(kù)的傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)或基于Hadoop生態(tài)的大數(shù)據(jù)平臺(tái)，歸集源自企業(yè)內(nèi)外的數(shù)據(jù)，可以實(shí)現(xiàn)數(shù)據(jù)的集中，提供統(tǒng)一的數(shù)據(jù)訪問(wèn)服務(wù)。為保障數(shù)據(jù)的訪問(wèn)安全，在基于RDMBS的數(shù)據(jù)倉(cāng)庫(kù)中，可按數(shù)據(jù)訪問(wèn)需求創(chuàng)建數(shù)據(jù)訪問(wèn)視圖（view）并授權(quán)用戶訪問(wèn)?；诖髷?shù)據(jù)Hadoop生態(tài)構(gòu)建數(shù)據(jù)平臺(tái)，可通過(guò)Ranger或Sentr等大數(shù)據(jù)體系安全訪問(wèn)控制組件，并結(jié)合數(shù)據(jù)私有視圖的方式實(shí)現(xiàn)對(duì)大數(shù)據(jù)表的行列級(jí)訪問(wèn)控制，從而保障數(shù)據(jù)的訪問(wèn)安全。

傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)和大數(shù)據(jù)平臺(tái)可提供原始明細(xì)數(shù)據(jù)和匯總數(shù)據(jù)的訪問(wèn)，然而其提供的數(shù)據(jù)主要基于T-1日的歷史數(shù)據(jù)，無(wú)法提供時(shí)效性更高的數(shù)據(jù)訪問(wèn)?；诟咄掏孪㈥?duì)列打造企業(yè)級(jí)實(shí)時(shí)的流水?dāng)?shù)據(jù)總線，將實(shí)時(shí)數(shù)據(jù)流水統(tǒng)一歸集至數(shù)據(jù)總線，可以為企業(yè)內(nèi)各系統(tǒng)提供各種實(shí)時(shí)數(shù)據(jù)流的數(shù)據(jù)訂閱服務(wù)，然而目前卻缺少有效的數(shù)據(jù)訪問(wèn)控制機(jī)制來(lái)滿足數(shù)據(jù)安全性需求：（1）消息隊(duì)列提供訪問(wèn)控制機(jī)制粒度較粗，通?；趩畏輸?shù)據(jù)整體，無(wú)法提供細(xì)粒度的行列級(jí)訪問(wèn)控制，如Apache Kafka通過(guò)ACL控制對(duì)數(shù)據(jù)topic的訪問(wèn)，但不支持對(duì)topic內(nèi)數(shù)據(jù)內(nèi)容的訪問(wèn)控制，阿里云Datahub服務(wù)基于阿里云通用訪問(wèn)控制RAM機(jī)制控制對(duì)Datahub資源的訪問(wèn)，但目前只實(shí)現(xiàn)了針對(duì)項(xiàng)目級(jí)（Project）、主題級(jí)（Topic）以及訂閱級(jí)（Subscription）三級(jí)的控制，并沒(méi)有更細(xì)粒度的數(shù)據(jù)范圍控制能力；（2）為支持細(xì)粒度的訪問(wèn)控制，可采用新建應(yīng)用二次轉(zhuǎn)移的方式為下游系統(tǒng)按需篩選、過(guò)濾，提供對(duì)應(yīng)的數(shù)據(jù)和字段，但這會(huì)導(dǎo)致數(shù)據(jù)冗余存儲(chǔ)、應(yīng)用開(kāi)發(fā)成本高、部署結(jié)構(gòu)以及上線流程復(fù)雜等問(wèn)題。

本文提出了一種基于SQL語(yǔ)義在流式數(shù)據(jù)總線（Apache Kafka）上的行列級(jí)數(shù)據(jù)訪問(wèn)控制方式，解決企業(yè)實(shí)時(shí)數(shù)據(jù)總線的細(xì)粒度數(shù)據(jù)訪問(wèn)控制問(wèn)題，如圖1所示。

2設(shè)計(jì)思路

按照批量數(shù)據(jù)平臺(tái)上的訪問(wèn)控制方式，通過(guò)在流式數(shù)據(jù)總線上建立類關(guān)系型數(shù)據(jù)庫(kù)（ RDBMS）的數(shù)據(jù)表（Table）、數(shù)據(jù)視圖（View）能力，并對(duì)數(shù)據(jù)視圖進(jìn)行賦權(quán)，實(shí)現(xiàn)對(duì)流式實(shí)時(shí)數(shù)據(jù)總線上的數(shù)據(jù)的行列級(jí)訪問(wèn)控制。

2.1通過(guò)建立數(shù)據(jù)表（Table），賦予流式數(shù)據(jù)總線上元數(shù)據(jù)管理能力

流式數(shù)據(jù)總線中的消息中間件通常以主題（Topic）形式存儲(chǔ)二進(jìn)制數(shù)據(jù)，不具備數(shù)據(jù)內(nèi)容、數(shù)據(jù)字段等元信息管理能力，這也導(dǎo)致其數(shù)據(jù)訪問(wèn)控制的粒度僅能到Topic級(jí)別。通過(guò)為流式總線上Topic中存儲(chǔ)數(shù)據(jù)建立數(shù)據(jù)表，將數(shù)據(jù)字段名稱、數(shù)據(jù)字段類型、數(shù)據(jù)字段的解析器（Deserializer）等涉及數(shù)據(jù)內(nèi)容的信息保存下來(lái)，賦予流式數(shù)據(jù)總線對(duì)數(shù)據(jù)內(nèi)容的元數(shù)據(jù)管理能力，從而支持對(duì)Topic中保存的二進(jìn)制數(shù)據(jù)進(jìn)一步解析、處理的能力。

2.2通過(guò)建立數(shù)據(jù)視圖（View），實(shí)現(xiàn)數(shù)據(jù)行列級(jí)數(shù)據(jù)訪問(wèn)控制

不同業(yè)務(wù)系統(tǒng)對(duì)同一份數(shù)據(jù)的訪問(wèn)需求不盡相同，因此，需要根據(jù)實(shí)際需求制定不同的安全控制規(guī)則。在數(shù)據(jù)表上支持建立私有的數(shù)據(jù)視圖，為下游數(shù)據(jù)應(yīng)用系統(tǒng)按需創(chuàng)建不同的視圖并賦予其訪問(wèn)權(quán)限。控制業(yè)務(wù)系統(tǒng)僅能訪問(wèn)業(yè)務(wù)所需的數(shù)據(jù)和字段，支持行級(jí)過(guò)濾、列級(jí)過(guò)濾，并通過(guò)UDF函數(shù)支持?jǐn)?shù)據(jù)字段的處理，以支持脫敏、加密等數(shù)據(jù)字段的處理，滿足了最小化數(shù)據(jù)訪問(wèn)原則，無(wú)須再進(jìn)行定制化開(kāi)發(fā)數(shù)據(jù)處理應(yīng)用。

2.3擴(kuò)展實(shí)現(xiàn)流式數(shù)據(jù)總線的SQL能力

在數(shù)據(jù)表和數(shù)據(jù)視圖的基礎(chǔ)上，支持對(duì)流式數(shù)據(jù)總線的進(jìn)一步擴(kuò)展，使其建立較完備的SQL訪問(wèn)能力，支持RDBMS常用SQL語(yǔ)義：（1）支持創(chuàng)建、修改或刪除表／視圖／用戶（CREATE TABLE/VIEW/USER）；（2）支持從數(shù)據(jù)表和視圖上查詢數(shù)據(jù)（SELECT…FROM TABLE/VIEW WHERE）;（3）支持對(duì)用戶賦權(quán)（ GRANT/REVOKE SELECT/INSERT

.. TO/FROM USER）；支持（4）查看表／視圖／用戶信息DESCRIBE TABLE/VIEW/USER等。

通過(guò)建立基于流式數(shù)據(jù)總線的SQL訪問(wèn)能力，不僅能滿足日常運(yùn)維查詢需求，同時(shí)使流式數(shù)據(jù)總線像數(shù)據(jù)庫(kù)一樣簡(jiǎn)單易用。

2.4訪問(wèn)接口兼容

為不侵入流式數(shù)據(jù)總線的內(nèi)部，和原系統(tǒng)耦合，對(duì)流式數(shù)據(jù)總線的訪問(wèn)接口外層進(jìn)行封裝并提供兼容于原數(shù)據(jù)的訪問(wèn)API接口，使外部應(yīng)用仍可通過(guò)簡(jiǎn)單的形式訂閱實(shí)時(shí)流水?dāng)?shù)據(jù)。業(yè)務(wù)系統(tǒng)透明化，實(shí)現(xiàn)即插即用，使業(yè)務(wù)系統(tǒng)開(kāi)發(fā)和改造的影響性最小化，并在安全控制的限制下實(shí)現(xiàn)輕松接人。

2.5不顯著降低數(shù)據(jù)訪問(wèn)性能

對(duì)于流式數(shù)據(jù)總線而言，其重要的一項(xiàng)指標(biāo)是實(shí)時(shí)數(shù)據(jù)訪問(wèn)的吞吐量和時(shí)效性。引入行列級(jí)的訪問(wèn)控制不可避免地帶來(lái)性能開(kāi)銷，但應(yīng)盡量減小對(duì)流式數(shù)據(jù)總線性能的影響。

3原型系統(tǒng)實(shí)現(xiàn)

基于業(yè)界流行的高吞吐開(kāi)源消息中間件Kafka，實(shí)現(xiàn)了本文提出的流式實(shí)時(shí)總線的行列級(jí)訪問(wèn)控制原型以及基于“一套公共的流式實(shí)時(shí)數(shù)據(jù)，多套私有視圖”數(shù)據(jù)安全訪問(wèn)模式（圖2）。本原型系統(tǒng)在Kafka上實(shí)現(xiàn)類RDBMS的數(shù)據(jù)表／視圖模式的訪問(wèn)管理能力，建立基于SQL的行列級(jí)數(shù)據(jù)訪問(wèn)控制，并支持基礎(chǔ)的SQL查詢，配套的客戶端包聯(lián)通了業(yè)務(wù)系統(tǒng)和Kafka，顯著提升了實(shí)時(shí)服務(wù)的安全性和運(yùn)維便捷性。

原型系統(tǒng)主體包括SQL執(zhí)行服務(wù)、管控中心、消費(fèi)者客戶端三大模塊，每個(gè)模塊涉及的關(guān)鍵功能點(diǎn)如下。

3.1 SQL執(zhí)行服務(wù)

SQL執(zhí)行服務(wù)對(duì)外提供SQL語(yǔ)義接口，支持以SQL語(yǔ)句作為輸入進(jìn)行數(shù)據(jù)表與視圖的管理或數(shù)據(jù)查詢。對(duì)于數(shù)據(jù)表、數(shù)據(jù)視圖定義等DDL類型的SQL（如CREATE TABLE/VIEW），SQL執(zhí)行服務(wù)將其轉(zhuǎn)發(fā)給管控中心進(jìn)行進(jìn)一步處理，這是本文目標(biāo)實(shí)現(xiàn)的安全控制規(guī)則的定義；對(duì)于Kafka數(shù)據(jù)的DQL查詢請(qǐng)求（如SELECT FROM TABLE/VIEW），SQL執(zhí)行服務(wù)將其請(qǐng)求解析后轉(zhuǎn)化為對(duì)Kafka數(shù)據(jù)的讀取并在SQL執(zhí)行服務(wù)中處理SELECT語(yǔ)句，這是附帶實(shí)現(xiàn)的類數(shù)據(jù)庫(kù)查詢Kafka中數(shù)據(jù)的功能。

3.2管控中心

管控中心負(fù)責(zé)數(shù)據(jù)表、數(shù)據(jù)視圖、UDF函數(shù)等Topic元信息的管理，并保存在自有數(shù)據(jù)庫(kù)中。通過(guò)管控中心創(chuàng)建應(yīng)用私有視圖并賦權(quán)給下游應(yīng)用用戶訪問(wèn)實(shí)現(xiàn)數(shù)據(jù)的權(quán)限控制。數(shù)據(jù)視圖定義支持行級(jí)過(guò)濾／列級(jí)過(guò)濾／字段處理和UDF函數(shù)等功能。

3.3消費(fèi)者客戶端

消費(fèi)者客戶端封裝原生的Kafka消費(fèi)者客戶端（Kafka-consumer），對(duì)外部應(yīng)用提供兼容原Kafka-consumer API的接口，實(shí)現(xiàn)應(yīng)用的快速接人和平順遷移。Kafka中的數(shù)據(jù)仍然通過(guò)原生的Kafka-consumer客戶端讀取，避免和Kafak系統(tǒng)的深度耦合，簡(jiǎn)化系統(tǒng)的實(shí)現(xiàn)流程。同時(shí)，通過(guò)定期訪問(wèn)管控中心服務(wù)，實(shí)現(xiàn)數(shù)據(jù)視圖所定義的訪問(wèn)控制規(guī)則的同步后，對(duì)從Kafka中讀取的數(shù)據(jù)進(jìn)行反序列化、行列級(jí)數(shù)據(jù)過(guò)濾以及脫敏、加密等操作后送給下游系統(tǒng)，實(shí)現(xiàn)業(yè)務(wù)對(duì)數(shù)據(jù)的最小訪問(wèn)。

4結(jié)束語(yǔ)

本文提出了一種基于SQL語(yǔ)義的流式數(shù)據(jù)總線行列級(jí)數(shù)據(jù)訪問(wèn)控制方式，主要解決企業(yè)中實(shí)時(shí)數(shù)據(jù)總線細(xì)粒度的數(shù)據(jù)訪問(wèn)控制問(wèn)題，并基于業(yè)界流行的開(kāi)源消息中間件Apahce Kafka，驗(yàn)證了系統(tǒng)實(shí)現(xiàn)的可行性。本文方式一方面實(shí)現(xiàn)了對(duì)企業(yè)中流式數(shù)據(jù)總線的行列級(jí)數(shù)據(jù)訪問(wèn)控制，無(wú)須冗余存儲(chǔ)和數(shù)據(jù)處理應(yīng)用，同時(shí)統(tǒng)一了流式數(shù)據(jù)總線上實(shí)時(shí)數(shù)據(jù)、數(shù)據(jù)倉(cāng)庫(kù)／大數(shù)據(jù)平臺(tái)中批量數(shù)據(jù)的訪問(wèn)控制形式，均可通過(guò)廣泛應(yīng)用的SQL語(yǔ)言定義數(shù)據(jù)視圖并賦權(quán)實(shí)現(xiàn)業(yè)務(wù)數(shù)據(jù)的最小訪問(wèn)。

作者簡(jiǎn)介：

禹熹（1986—），碩士，研究方向：大數(shù)據(jù)應(yīng)用和開(kāi)發(fā)。