李銘軒 常 培 崔 童 李朝霞

1 中國(guó)聯(lián)通研究院 北京 100048

2 中國(guó)聯(lián)合網(wǎng)絡(luò)通信集團(tuán)有限公司 北京 100032

3 聯(lián)通數(shù)字科技有限公司 北京 100085

引言

傳統(tǒng)云計(jì)算技術(shù)的研究領(lǐng)域主要集中在虛擬化、存儲(chǔ)等資源的集中管理和調(diào)度等方面，而對(duì)于網(wǎng)絡(luò)資源的納管，更多關(guān)注領(lǐng)域是研究如何通過(guò)建立網(wǎng)絡(luò)連接，實(shí)現(xiàn)計(jì)算、存儲(chǔ)等資源的互聯(lián)互通。而隨著算網(wǎng)融合技術(shù)的發(fā)展以及面向底層計(jì)算架構(gòu)的多樣化，目前云計(jì)算技術(shù)的發(fā)展更多需要考慮兩個(gè)方面：一方面，對(duì)底層異構(gòu)計(jì)算單元的統(tǒng)一納管；另一方面，網(wǎng)絡(luò)資源不單單只提供計(jì)算資源的網(wǎng)絡(luò)連接，更多的能夠面向不同的計(jì)算場(chǎng)景提供不同的網(wǎng)絡(luò)類型。文獻(xiàn)[1]具體闡述了在算力網(wǎng)絡(luò)發(fā)展過(guò)程中，網(wǎng)絡(luò)如何更好滿足計(jì)算的需求，同時(shí)也提出“將邊緣節(jié)點(diǎn)、云計(jì)算節(jié)點(diǎn)以及含廣域網(wǎng)在內(nèi)的各類網(wǎng)絡(luò)資源深度融合在一起……其能夠根據(jù)客戶需求，在云、網(wǎng)、邊之間按需分配和靈活調(diào)度計(jì)算資源、存儲(chǔ)資源以及網(wǎng)絡(luò)資源”。

另外，云原生技術(shù)的興起，改變了傳統(tǒng)對(duì)于云計(jì)算資源的交付模式，從傳統(tǒng)的云主機(jī)、云存儲(chǔ)等計(jì)算單位逐漸發(fā)展到面向服務(wù)能力的交付，使得使用者不再需要關(guān)注底層計(jì)算資源的使用情況，而更加關(guān)注服務(wù)能力以及其之上業(yè)務(wù)場(chǎng)景和需求的開(kāi)發(fā)[2]，而Serverless模式的概念正是滿足了這種模式發(fā)展的需求。本文從不同的算網(wǎng)資源的角度出發(fā)，研究了底層異構(gòu)算力的統(tǒng)一管理，同時(shí)面向上層業(yè)務(wù)和場(chǎng)景不同，提供面向FaaS的服務(wù)能力，以期能夠屏蔽底層的異構(gòu)資源，更好地為業(yè)務(wù)創(chuàng)新和開(kāi)發(fā)提供便捷的環(huán)境[3]。

1 Serverless介紹

Serverless是一種構(gòu)建和管理基于微服務(wù)架構(gòu)的完整流程，允許在服務(wù)部署級(jí)別而不是服務(wù)器部署級(jí)別來(lái)管理應(yīng)用部署。與傳統(tǒng)架構(gòu)的不同之處在于，服務(wù)完全由第三方管理，由事件觸發(fā)，存在于無(wú)狀態(tài)(Stateless)、暫存(可能只存在于一次調(diào)用的過(guò)程中)計(jì)算容器內(nèi)。構(gòu)建無(wú)服務(wù)器應(yīng)用程序意味著開(kāi)發(fā)者可以專注于產(chǎn)品代碼開(kāi)發(fā)上，而無(wú)須管理和操作云端或本地的服務(wù)器或運(yùn)行時(shí)，Serverless真正做到了部署應(yīng)用無(wú)需涉及基礎(chǔ)設(shè)施的建設(shè)，自動(dòng)構(gòu)建、部署和啟動(dòng)服務(wù)[4]。

FaaS(Function as a Service,函數(shù)即服務(wù))和BaaS(Backend as a Service，后端即服務(wù))目前是Serverless技術(shù)發(fā)展所涵蓋的兩個(gè)主流方向，其中FaaS意在無(wú)須自行管理服務(wù)器系統(tǒng)或自己的服務(wù)器應(yīng)用程序，即可直接運(yùn)行后端代碼。FaaS可以取代一些服務(wù)處理服務(wù)器，不僅僅不需要自行供應(yīng)服務(wù)器，也不需要全時(shí)運(yùn)行應(yīng)用程序[5]。

1.1 Knative技術(shù)架構(gòu)

Knative是谷歌開(kāi)源的Serverless架構(gòu)方案，旨在提供一套簡(jiǎn)單易用的Serverless方案，把Serverless標(biāo)準(zhǔn)化。目前參與的公司主要有Google、Pivtal、IBM等，自2018年7月24日對(duì)外發(fā)布以來(lái)，迅速得到業(yè)務(wù)的廣泛關(guān)注，又由于是谷歌開(kāi)放的開(kāi)源架構(gòu)[6]，因此和Kubernetes天然耦合，因此處于快速發(fā)展的階段。根據(jù)官方的闡述，其主要架構(gòu)如圖1所示。

圖1 Knative技術(shù)架構(gòu)

基于上述架構(gòu)，Knative基于Kubernetes進(jìn)行部署，并且能夠通過(guò)Kubernetes調(diào)度到底層的容器資源，同時(shí)對(duì)外暴露API接口以便于開(kāi)發(fā)者進(jìn)行開(kāi)發(fā)和部署，而上層用戶可以基于Istio的Service Mesh(服務(wù)網(wǎng)格)來(lái)承載應(yīng)用的編排。通過(guò)這種方式可以進(jìn)一步屏蔽掉用戶和開(kāi)發(fā)者共用同一個(gè)Kubernetes平臺(tái)入口，一方面為開(kāi)發(fā)者提供基于Knative實(shí)現(xiàn)應(yīng)用DevOps開(kāi)發(fā)；另一方面，為用戶提供基于Istio的應(yīng)用服務(wù)部署。同時(shí)兩者都不再需要關(guān)心Kubernetes本身的容器資源調(diào)度情況和人工手動(dòng)編寫腳本來(lái)實(shí)現(xiàn)業(yè)務(wù)層的編排調(diào)度的煩惱，而進(jìn)一步關(guān)注于業(yè)務(wù)代碼開(kāi)發(fā)本身。

1.2 Knative核心概念

Knative本身主要由Build、Serving和Eventing三大核心組件構(gòu)成。Knative正是依靠著這三個(gè)核心組件來(lái)實(shí)現(xiàn)整個(gè)Serverless的運(yùn)作機(jī)制的。

1)Build：基于Kubernetes能力之上，提供一套完整的標(biāo)準(zhǔn)化、可移植、可復(fù)用的容器鏡像構(gòu)建方式。

2)Serving：主要用來(lái)提供服務(wù)，其構(gòu)建于Kubernetes和Istio之上，為Serverless應(yīng)用提供部署和服務(wù)支持。應(yīng)用服務(wù)可以基于Serving進(jìn)行自動(dòng)擴(kuò)縮容，并且基于Istio組件提供路由和網(wǎng)絡(luò)編程等。

3)Eventing：滿足云原生開(kāi)發(fā)中通用需求，以提供可組合的方式綁定事件源和事件消費(fèi)者。

2 算力網(wǎng)絡(luò)技術(shù)架構(gòu)

算力網(wǎng)絡(luò)是從傳統(tǒng)的云網(wǎng)融合的角度出發(fā)，結(jié)合邊緣計(jì)算、云化網(wǎng)絡(luò)以及智能控制等優(yōu)勢(shì)，在算力網(wǎng)絡(luò)連接下實(shí)現(xiàn)更加廣泛的算力資源的納管和動(dòng)態(tài)調(diào)度。在資源納管方面，算力網(wǎng)絡(luò)與傳統(tǒng)的云網(wǎng)融合不同，更加注重網(wǎng)絡(luò)連接和控制對(duì)于“云、邊、端”的異構(gòu)資源的納管和多集群協(xié)調(diào)的影響和融合[7]。算力網(wǎng)絡(luò)整體技術(shù)架構(gòu)如圖2所示。

圖2 算力網(wǎng)絡(luò)技術(shù)架構(gòu)

依據(jù)上述技術(shù)架構(gòu)，算力網(wǎng)絡(luò)的云原生資源統(tǒng)一調(diào)度平臺(tái)對(duì)底層實(shí)現(xiàn)對(duì)于存儲(chǔ)、計(jì)算和網(wǎng)絡(luò)控制節(jié)點(diǎn)的統(tǒng)一管理，通過(guò)網(wǎng)絡(luò)插件實(shí)現(xiàn)對(duì)于底層算力承載網(wǎng)的控制，從而實(shí)現(xiàn)網(wǎng)絡(luò)連接和網(wǎng)絡(luò)質(zhì)量控制，而通過(guò)存儲(chǔ)插件實(shí)現(xiàn)對(duì)于共享存儲(chǔ)的調(diào)度和管理。另外通過(guò)Kubernetes的多集群管理能力，實(shí)現(xiàn)對(duì)于邊緣云的對(duì)接，從而可以實(shí)現(xiàn)和遠(yuǎn)端邊緣嵌入式終端的資源管理和調(diào)度[8]。

基于上述的算力網(wǎng)絡(luò)技術(shù)架構(gòu)，底層算力網(wǎng)絡(luò)資源和邊緣云終端資源納管基于云原生資源編排調(diào)度技術(shù)實(shí)現(xiàn)統(tǒng)一納管。而上層則通過(guò)平臺(tái)能力下沉等方式形成算力網(wǎng)絡(luò)的服務(wù)能力，結(jié)合算力網(wǎng)絡(luò)的第三方算力能力和自有的算力能力形成一個(gè)統(tǒng)一的算力網(wǎng)絡(luò)能力集并通過(guò)算力網(wǎng)絡(luò)統(tǒng)一開(kāi)放平臺(tái)對(duì)外進(jìn)行開(kāi)放。從而為上層的用戶和開(kāi)發(fā)者提供應(yīng)用商店實(shí)現(xiàn)一鍵部署，同時(shí)統(tǒng)一提供API接口為實(shí)現(xiàn)第三方的開(kāi)發(fā)提供基礎(chǔ)。

3 基于FaaS的算網(wǎng)異構(gòu)算力調(diào)度方案

基于上述的算力網(wǎng)絡(luò)技術(shù)架構(gòu)，傳統(tǒng)的云網(wǎng)融合技術(shù)只能通過(guò)基礎(chǔ)設(shè)施層提供虛擬化計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)的統(tǒng)一納管，并且對(duì)于上層應(yīng)用場(chǎng)景只能夠單純提供虛機(jī)資源、共享存儲(chǔ)以及虛擬網(wǎng)絡(luò)等資源，用戶還需要在此基礎(chǔ)上進(jìn)行平臺(tái)的部署和二次開(kāi)發(fā)。并且在開(kāi)發(fā)過(guò)程中同樣需要考慮算力和網(wǎng)絡(luò)資源的整合等問(wèn)題，從而也提高了整個(gè)面向算力網(wǎng)絡(luò)資源的利用率。而基于FaaS的算網(wǎng)異構(gòu)資源統(tǒng)一調(diào)度環(huán)境下，整合了底層算力網(wǎng)絡(luò)資源的能力，對(duì)上通過(guò)服務(wù)網(wǎng)格的方式實(shí)現(xiàn)應(yīng)用服務(wù)的編排調(diào)度，同時(shí)通過(guò)API和服務(wù)鏡像打包的方式提供算力網(wǎng)絡(luò)開(kāi)放能力，這樣使用者可以基于算力網(wǎng)絡(luò)本身的服務(wù)能力進(jìn)行開(kāi)發(fā)，因此使用者可以更多地關(guān)注業(yè)務(wù)代碼本身。

3.1 技術(shù)架構(gòu)

基于上述的算網(wǎng)異構(gòu)資源的統(tǒng)一調(diào)度和面向使用者的FaaS服務(wù)開(kāi)放，本文提出了基于云原生的異構(gòu)算力資源的Serverless模式的技術(shù)架構(gòu)，其技術(shù)架構(gòu)如圖3所示。

圖3 FaaS異構(gòu)算力技術(shù)架構(gòu)

依據(jù)圖3的技術(shù)架構(gòu)，面向FaaS的算網(wǎng)異構(gòu)資源調(diào)度由算力管理層實(shí)現(xiàn)對(duì)底層網(wǎng)絡(luò)、存儲(chǔ)、邊緣計(jì)算和中心云進(jìn)行統(tǒng)一管理和編排調(diào)度。在算力管理層包括算力注冊(cè)、算力發(fā)現(xiàn)、算力路由來(lái)實(shí)現(xiàn)對(duì)于底層異構(gòu)算力的生命周期管理，并且基于開(kāi)源的云原生資源調(diào)度平臺(tái)Kubernetes來(lái)實(shí)現(xiàn)對(duì)于算力的調(diào)度管理，同時(shí)基于網(wǎng)絡(luò)接口和存儲(chǔ)接口來(lái)實(shí)現(xiàn)對(duì)于網(wǎng)絡(luò)和存儲(chǔ)的管理。

通過(guò)Kubernetes底層資源的調(diào)度能力對(duì)上層提供面向異構(gòu)資源的編排調(diào)度能力[9]，與無(wú)服務(wù)框架Knative進(jìn)行融合和對(duì)接，從而提供函數(shù)服務(wù)能力。而在函數(shù)服務(wù)能力中結(jié)合Knative的Build組件來(lái)實(shí)現(xiàn)代碼的鏡像打包、部署和版本管理等，底層算力管理層也依托函數(shù)服務(wù)能力來(lái)封裝底層資源，從而提供開(kāi)放的API函數(shù)接口。依托Knative的Service組件來(lái)實(shí)現(xiàn)面向上層的服務(wù)編排，整個(gè)開(kāi)發(fā)者的代碼由函數(shù)服務(wù)能力層中的代碼托管來(lái)進(jìn)行統(tǒng)一管理，而打包生成的鏡像則由鏡像倉(cāng)庫(kù)來(lái)進(jìn)行管理。所有版本更新和新函數(shù)事件發(fā)布等則是由核心組件Event來(lái)進(jìn)行統(tǒng)一的事件消息發(fā)布等。

基于上述的整體技術(shù)架構(gòu)，為上層應(yīng)用提供了封裝好的算力網(wǎng)絡(luò)異構(gòu)資源的函數(shù)級(jí)調(diào)度和封裝能力，開(kāi)發(fā)者或者用戶本身不需要關(guān)注底層的資源部署在什么位置或者服務(wù)器上，不需要關(guān)心需要申請(qǐng)多少硬件或者虛機(jī)資源等，而將更多的精力關(guān)注在業(yè)務(wù)邏輯代碼的開(kāi)發(fā)和業(yè)務(wù)創(chuàng)新上面。從而可以大大降低算網(wǎng)異構(gòu)資源作為新基建在應(yīng)用過(guò)程中的門檻。

3.2 異構(gòu)資源管理

面向FaaS的算網(wǎng)異構(gòu)資源調(diào)度管理機(jī)制是基于云原生的底層異構(gòu)算力節(jié)點(diǎn)統(tǒng)一資源納管，通過(guò)底層異構(gòu)計(jì)算芯片作為算力節(jié)點(diǎn)在云原生編排調(diào)度平臺(tái)上進(jìn)行節(jié)點(diǎn)管理和注冊(cè)，并且通過(guò)標(biāo)簽的方式來(lái)實(shí)現(xiàn)算力節(jié)點(diǎn)的管理，同時(shí)將容器作為原子級(jí)的算力調(diào)度單元實(shí)現(xiàn)了算力節(jié)點(diǎn)的資源獲取和應(yīng)用部署，從而實(shí)現(xiàn)了異構(gòu)資源的統(tǒng)一管理。

基于上述的異構(gòu)算力資源的整體納管機(jī)制，本文采用多集群管理和異構(gòu)計(jì)算芯片資源抽象的方式來(lái)實(shí)現(xiàn)分級(jí)的異構(gòu)資源統(tǒng)一管理，其中在多集群管理中基于Kubernetes云原生的Operator多集群管理機(jī)制實(shí)現(xiàn)對(duì)于不同數(shù)據(jù)中心、邊緣集群以及網(wǎng)絡(luò)連接的融合管理[10]。在跨數(shù)據(jù)中心的集群選擇和算力路由等方面，結(jié)合業(yè)務(wù)需求和算力推薦，通過(guò)Operator來(lái)選擇合適的數(shù)據(jù)中心位置和算力集群來(lái)承載應(yīng)用運(yùn)行。

而對(duì)于異構(gòu)算力資源抽象機(jī)制，如圖4所示，在底層的異構(gòu)算力芯片的管理方面，通過(guò)云原生Kubernetes的CRD資源抽象的方式來(lái)進(jìn)行定義[11]，通過(guò)底層驅(qū)動(dòng)層將算力節(jié)點(diǎn)注冊(cè)到資源編排調(diào)度層中，并且在CRD資源抽象層進(jìn)行資源定義和抽象。通過(guò)Kubernetes的配置腳本yaml在云原生應(yīng)用中將所需運(yùn)行的資源進(jìn)行調(diào)用，Kubelet在接收到配置腳本時(shí)，則會(huì)根據(jù)yaml腳本將POD創(chuàng)建在指定的算力節(jié)點(diǎn)上執(zhí)行，從而實(shí)現(xiàn)了異構(gòu)資源的調(diào)度。

圖4 異構(gòu)算力資源抽象調(diào)度圖

3.3 面向FaaS的服務(wù)能力開(kāi)放

基于底層異構(gòu)算力資源的抽象定義機(jī)制能夠?qū)崿F(xiàn)對(duì)于算力資源的統(tǒng)一納管和調(diào)度，并且在資源層實(shí)現(xiàn)了統(tǒng)一，而基于FaaS的算網(wǎng)異構(gòu)資源調(diào)度機(jī)制能夠在服務(wù)層實(shí)現(xiàn)算力網(wǎng)絡(luò)能力的統(tǒng)一，通過(guò)云原生技術(shù)來(lái)實(shí)現(xiàn)底層資源的調(diào)度以及面向上層應(yīng)用的服務(wù)能力開(kāi)放[12]。其平臺(tái)的整體功能架構(gòu)如圖5所示。

依據(jù)圖5所示，在資源層主要實(shí)現(xiàn)計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)的整體管理。在調(diào)度層基于云原生基礎(chǔ)實(shí)現(xiàn)網(wǎng)絡(luò)、算力和存儲(chǔ)的調(diào)度，同時(shí)結(jié)合能力下沉的研發(fā)模式，不斷積累和豐富相關(guān)能力集從而形成算力網(wǎng)絡(luò)的中臺(tái)能力。而編排層則主要負(fù)責(zé)將底層的資源進(jìn)一步轉(zhuǎn)化為服務(wù)能力，基于Service Mesh實(shí)現(xiàn)服務(wù)路由、服務(wù)注冊(cè)和服務(wù)發(fā)現(xiàn)等功能。而在應(yīng)用層則進(jìn)一步采用Serverless模式，結(jié)合開(kāi)源框架Knative實(shí)現(xiàn)鏡像打包、業(yè)務(wù)代碼托管和應(yīng)用商店能力，并且通過(guò)函數(shù)服務(wù)為上層的自服務(wù)門戶和開(kāi)發(fā)者門戶提供API函數(shù)接口和調(diào)用服務(wù)。

圖5 異構(gòu)算網(wǎng)資源能力開(kāi)放平臺(tái)

依據(jù)上述異構(gòu)算網(wǎng)資源能力開(kāi)放平臺(tái)的整體架構(gòu)，主要分為以下幾個(gè)部分。

1)資源層主要對(duì)基礎(chǔ)設(shè)施進(jìn)行統(tǒng)一納管，包括異構(gòu)算力，諸如X86、GPU、ARM、TPU、NPU等各種架構(gòu)的算力，各種存儲(chǔ)類型以及網(wǎng)絡(luò)的管理和調(diào)度能力。

2)調(diào)度層主要分為兩部分的能力，一方面具備對(duì)于底層資源層的計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)的基本調(diào)度能力以及異構(gòu)資源的抽象；另一方面能夠?qū)崿F(xiàn)能力下沉，結(jié)合服務(wù)應(yīng)用場(chǎng)景的調(diào)度能力形成基礎(chǔ)能力集。根據(jù)不同的應(yīng)用場(chǎng)景分為計(jì)算能力集、機(jī)器學(xué)習(xí)能力集以及網(wǎng)絡(luò)方面的控制能力集，從而可以更好地銜接基礎(chǔ)算力能力和上層服務(wù)編排需求。

3)編排層基于目前主流的云原生Kubernetes和服務(wù)網(wǎng)格Service Mesh實(shí)現(xiàn)服務(wù)注冊(cè)、服務(wù)發(fā)現(xiàn)、服務(wù)路由以及邊車管理等功能來(lái)實(shí)現(xiàn)微服務(wù)組件之間的連接和通訊。

4)函數(shù)服務(wù)是基于云原生的Kubernetes和Service Mesh的服務(wù)編排基于開(kāi)源Serverless框架Knative的API網(wǎng)關(guān)來(lái)實(shí)現(xiàn)服務(wù)編排能力的API開(kāi)放以及業(yè)務(wù)的代碼的托管和鏡像打包，并且通過(guò)應(yīng)用商店能力提供可視化的服務(wù)能力瀏覽和一鍵化部署等能力。

5)自服務(wù)門戶/開(kāi)發(fā)者門戶為用戶提供不同的業(yè)務(wù)服務(wù)渠道，自服務(wù)門戶為用戶提供業(yè)務(wù)部署和業(yè)務(wù)運(yùn)營(yíng)的服務(wù)門戶，提供應(yīng)用商店的服務(wù)部署等功能；而開(kāi)發(fā)者門戶為用戶提供業(yè)務(wù)代碼開(kāi)發(fā)和API調(diào)用，代碼托管等方面的功能。

6)監(jiān)控層實(shí)現(xiàn)整個(gè)異構(gòu)算網(wǎng)資源開(kāi)放平臺(tái)常規(guī)的平臺(tái)運(yùn)行、資源監(jiān)控以及安全告警等方面的功能。

異構(gòu)算網(wǎng)資源調(diào)度服務(wù)平臺(tái)，從底層逐步統(tǒng)一納管異構(gòu)算力網(wǎng)絡(luò)資源的管理和調(diào)度，到逐步轉(zhuǎn)向面向應(yīng)用的服務(wù)化編排調(diào)度能力，再到上層的函數(shù)服務(wù)能力開(kāi)放，從而將異構(gòu)的算力網(wǎng)絡(luò)資源進(jìn)行了有效的統(tǒng)一和開(kāi)放。這樣開(kāi)發(fā)者或者應(yīng)用使用者不需要關(guān)心底層計(jì)算資源的分配或者網(wǎng)絡(luò)帶寬的連接，而將更多的精力關(guān)注到面向業(yè)務(wù)代碼的開(kāi)發(fā)和邏輯編排上來(lái)，從而可以更好地促進(jìn)算力網(wǎng)絡(luò)平臺(tái)架構(gòu)下的多場(chǎng)景應(yīng)用的業(yè)務(wù)創(chuàng)新，真正可以引入互聯(lián)網(wǎng)化的“前店后廠”業(yè)務(wù)創(chuàng)新模式和思維。

4 總結(jié)

異構(gòu)算力網(wǎng)絡(luò)技術(shù)的發(fā)展是下一代云網(wǎng)融合2.0技術(shù)的發(fā)展趨勢(shì)，而在傳統(tǒng)的基礎(chǔ)設(shè)施建設(shè)過(guò)程中，云原生技術(shù)和網(wǎng)絡(luò)新技術(shù)的引入為算力網(wǎng)絡(luò)的發(fā)展注入了新的活力[13]。而本文所提出的面向FaaS的算網(wǎng)異構(gòu)資源調(diào)度技術(shù)，在傳統(tǒng)納管各種新型異構(gòu)計(jì)算資源的基礎(chǔ)上，采用云原生架構(gòu)提出了面向FaaS的Serverless框架，從而可以很好地屏蔽掉紛繁復(fù)雜且異構(gòu)多變的算力網(wǎng)絡(luò)資源，從而使得用戶更多地關(guān)注于上層業(yè)務(wù)邏輯的開(kāi)發(fā)和編排，以更好地促進(jìn)算力網(wǎng)絡(luò)技術(shù)的發(fā)展。