汪 敏，勞志修，朱 劍，黎國光，趙 磊，林 源

（1.自然資源部國土空間大數(shù)據(jù)工程技術(shù)創(chuàng)新中心廣西分中心，南寧 530028；2.廣西壯族自治區(qū)自然資源信息中心，南寧 530028）

0 引言

隨著以虛擬化、容器化為代表的云計算環(huán)境快速發(fā)展，越來越多的政府部門逐步將業(yè)務(wù)遷移至云端，政務(wù)信息化系統(tǒng)呈現(xiàn)傳統(tǒng)服務(wù)器技術(shù)、虛擬化技術(shù)、云原生技術(shù)等綜合要素構(gòu)建的云環(huán)境新面貌。同時，混合的形態(tài)也帶來了區(qū)別于傳統(tǒng)網(wǎng)絡(luò)架構(gòu)的安全風(fēng)險。例如，云環(huán)境的邊界隔離措施失效、主機(jī)防護(hù)效率低下、云架構(gòu)持續(xù)開發(fā)與運(yùn)行模式不安全等問題。

廣西自然資源云在架構(gòu)不斷更迭的過程中，通過引入基于軟件定義網(wǎng)絡(luò)（software defined network，SDN）的“東西向”流量定向檢測措施，在虛擬化環(huán)境中構(gòu)建了虛擬網(wǎng)絡(luò)邊界，實現(xiàn)了虛擬主機(jī)之間的訪問控制、主機(jī)加固和應(yīng)用層攻擊防護(hù)。本文從虛擬化和容器技術(shù)各自的特點(diǎn)出發(fā)，分別針對傳統(tǒng)基于虛擬機(jī)管理器（Hypervisor）的虛擬化架構(gòu)及容器的云原生架構(gòu)，探討存在的安全風(fēng)險，提出一種行之有效、覆蓋相對完整的安全防護(hù)思路，并進(jìn)行了具體實踐。

1 云架構(gòu)下的安全問題分析

根據(jù)不同的應(yīng)用需求，政務(wù)云往往會采用不同的云計算技術(shù)部署業(yè)務(wù)系統(tǒng)。例如，對于需求變更頻繁、功能迭代周期短的各類小型業(yè)務(wù)，基于容器技術(shù)的云原生架構(gòu)敏捷、高彈性、資源池特點(diǎn)實現(xiàn)應(yīng)用的快速開發(fā)和部署上線?；贖ypervisor 的虛擬化則可以提供完整的操作系統(tǒng)層[1]，方便部署與操作系統(tǒng)關(guān)聯(lián)性強(qiáng)（如.NET 需要大量調(diào)用操作系統(tǒng)的動態(tài)鏈接庫）、邏輯較復(fù)雜、進(jìn)程關(guān)聯(lián)性強(qiáng)、中央處理器響應(yīng)要求高的一些業(yè)務(wù)。這些虛擬化技術(shù)本質(zhì)都是將原有獨(dú)立的物理服務(wù)器資源虛擬池化，使得計算資源高度集中、高效利用，但也帶來了區(qū)別于傳統(tǒng)業(yè)務(wù)部署模式的安全風(fēng)險。

（1）模糊的安全邊界。傳統(tǒng)業(yè)務(wù)部署模式的安全模式根據(jù)業(yè)務(wù)特點(diǎn)，基于物理交換機(jī)劃分虛擬局域網(wǎng)（virtual local area network，VLAN）、防火墻劃分安全區(qū)域。對每個安全區(qū)域采取物理安全設(shè)備隔離保護(hù)。虛擬化技術(shù)引入后，形成了邏輯的虛擬化網(wǎng)絡(luò)，虛擬機(jī)之間、容器之間互訪并不經(jīng)過外部而直接通過虛擬化技術(shù)提供的邏輯交換機(jī)完成，傳統(tǒng)的物理安全設(shè)備不能部署到邏輯交換機(jī)，導(dǎo)致傳統(tǒng)的防護(hù)手段失效。因此，自然資源云作為云環(huán)境的一種行業(yè)分支，需要一種全新手段將邏輯的安全設(shè)備插入邏輯交換機(jī)，對虛擬化網(wǎng)絡(luò)進(jìn)行安全隔離。

（2）臃腫的主機(jī)防護(hù)。早期傳統(tǒng)的虛擬化防護(hù)方式在每個虛擬機(jī)部署殺毒軟件客戶端。但每個防病毒軟件客戶端會消耗同一個物理主機(jī)的資源，當(dāng)對所有防病毒軟件客戶端下發(fā)全局殺毒策略時，這種資源消耗更嚴(yán)重，會直接影響整個虛擬化平臺的使用效率。這種方式并不適合部署較大數(shù)量虛擬化主機(jī)的數(shù)據(jù)中心或云環(huán)境。

（3）云原生架構(gòu)安全風(fēng)險。容器技術(shù)與Hypervisor 存在本質(zhì)的技術(shù)差異。容器技術(shù)會帶來新的安全風(fēng)險，例如，不安全的鏡像[2]引發(fā)供應(yīng)鏈攻擊，云原生組件之間應(yīng)用程序接口（application programming interface，API）訪問不受控制，容器編排過程存在不安全配置。

（4）虛擬化宿主機(jī)自身的風(fēng)險。虛擬化基礎(chǔ)組件、容器技術(shù)自身存在安全缺陷，容器技術(shù)一直存在容器逃逸[3]的問題。這些安全風(fēng)險不僅影響宿主機(jī)自身，還導(dǎo)致攻擊行為在虛擬機(jī)主機(jī)之間擴(kuò)散。宿主機(jī)的防護(hù)主要依賴傳統(tǒng)的防護(hù)措施，如入侵防御系統(tǒng)（intrusion prevention system，IPS）虛擬補(bǔ)丁、防火墻訪問控制等，這些內(nèi)容不在本文的討論范圍。

2 云環(huán)境安全采用的關(guān)鍵技術(shù)

2.1 Hypervisor 虛擬化安全

Hypervisor 虛擬化環(huán)境下的安全防護(hù)重點(diǎn)在于邏輯環(huán)境中構(gòu)建網(wǎng)絡(luò)邊界，實現(xiàn)虛擬機(jī)之間的訪問控制及應(yīng)用層面的虛擬機(jī)防護(hù)。

網(wǎng)絡(luò)層面主要關(guān)注虛擬機(jī)之間的互訪流量，這一般被稱為“東西向”網(wǎng)絡(luò)流量。防護(hù)技術(shù)的核心點(diǎn)在于對“東西向”網(wǎng)絡(luò)流量進(jìn)行不同方式的引導(dǎo)，實現(xiàn)虛擬機(jī)內(nèi)部網(wǎng)絡(luò)流量的可視化與訪問控制。2017 年前，較常用的方法通過策略路由將虛擬機(jī)內(nèi)部的流量引導(dǎo)至外部物理安全設(shè)備，如虛擬以太網(wǎng)端口聚合器（virtual ethernet port aggregator，VEPA）技術(shù)[4]；流量經(jīng)過外部物理安全設(shè)備分析過濾后返回虛擬機(jī)內(nèi)部。這種方式可以對不同網(wǎng)段的虛擬機(jī)流量進(jìn)行過濾。對于同一個網(wǎng)段內(nèi)互訪的虛擬機(jī)，流量只存在于虛擬網(wǎng)絡(luò)的邏輯交換機(jī)，該方式無法對流量進(jìn)行外部引導(dǎo)，所以只是一種不完全的虛擬化安全解決方案。

近年來，隨著SDN 的不斷發(fā)展，對流量的重定向成為一種更便捷有效的方法。SDN 控制器作為整個SDN 網(wǎng)絡(luò)的大腦，負(fù)責(zé)對全網(wǎng)數(shù)據(jù)進(jìn)行轉(zhuǎn)發(fā)和策略編排。支持覆蓋（overlay）網(wǎng)絡(luò)的邏輯交換機(jī)是具體的數(shù)據(jù)轉(zhuǎn)發(fā)設(shè)備，邏輯交換機(jī)基于OpenFlow 協(xié)議接收控制器策略并形成流表[5]，能夠改變網(wǎng)絡(luò)數(shù)據(jù)包經(jīng)過的網(wǎng)絡(luò)路徑。旁路部署于虛擬化網(wǎng)絡(luò)中的一個或多個安全設(shè)備實例，形成網(wǎng)絡(luò)層安全防護(hù)服務(wù)鏈，其運(yùn)行邏輯如圖1所示。

在圖1 中，用戶首先設(shè)置訪問控制列表（access control list，ACL）規(guī)則，定義需要重定向至安全防護(hù)服務(wù)鏈的流量。控制器通過OpenFlow 協(xié)議將ACL 下發(fā)至邏輯交換機(jī)，形成轉(zhuǎn)發(fā)表項。當(dāng)虛擬機(jī)流量匹配ACL 規(guī)則時，業(yè)務(wù)邏輯交換機(jī)將轉(zhuǎn)發(fā)流量通過overlay 隧道協(xié)議進(jìn)行封裝并加上本地數(shù)據(jù)報頭，將其發(fā)送給安全服務(wù)鏈所在邏輯交換機(jī)。拆解overlay 數(shù)據(jù)報頭后，安全設(shè)備對流量進(jìn)行過濾并調(diào)換源地址和目標(biāo)地址，將其重新返回業(yè)務(wù)邏輯交換機(jī)并發(fā)送至目標(biāo)虛擬機(jī)。

對于主機(jī)層面，本研究在廣西自然資源云的虛擬化環(huán)境中部署“無代理防病毒”[6]，對操作系統(tǒng)進(jìn)行病毒掃描與防護(hù)。雖然不同的虛擬化存在不同的實現(xiàn)技術(shù)，但是平臺隔離及查殺方式大同小異。通常整個無代理病毒防護(hù)包括基于SDN技術(shù)的控制器、虛擬化平臺文件自檢組件（guest introspection，GI）、虛擬機(jī)監(jiān)控工具的GI 驅(qū)動、第三方集中管理的虛擬化防病毒組件4 個組件。無代理防病毒工作流程如圖2 所示。

圖2 無代理防病毒工作流程

（1）第三方防病毒管理中心在SDN 控制器注冊防病毒安全虛擬機(jī)模板，控制器通過與虛擬化管理中心API 自動虛擬化集群下發(fā)、部署基于模板的防病毒安全虛擬機(jī)，并負(fù)責(zé)將病毒庫同步到所有的防病毒虛擬機(jī)。

（2）受保護(hù)的虛擬機(jī)安裝了GI 驅(qū)動，通過驅(qū)動實時收集虛擬機(jī)內(nèi)的文件活動（如新建、修改、運(yùn)行等），并且通過虛擬機(jī)通信接口（virtual machine communication interface，VMCI）傳輸?shù)剿拗鳈C(jī)內(nèi)核（VMKernel），VMKernel 端口用于管理、傳遞虛擬化環(huán)境中的所有非虛擬機(jī)流量。

（3）GI 組件從VMkernel 獲取受保護(hù)的虛擬機(jī)文件活動信息，并通過邏輯交換機(jī)將信息傳輸?shù)椒啦《咎摂M機(jī)。

（4）防病毒虛擬機(jī)病毒庫與GI 報告的文件活動進(jìn)行對比，匹配時防病毒引擎發(fā)送查殺命令（一般阻斷文件的生成、運(yùn)行）到宿主機(jī)內(nèi)核。

（5）VMkernel 通過虛擬機(jī)通信接口VMCI下發(fā)查殺命令并發(fā)送到受保護(hù)虛擬機(jī)的GI 驅(qū)動，由GI 驅(qū)動完成具體的文件處理工作。

Hypervisor 自身的安全性保障也是必須考慮的內(nèi)容，通常會采用虛擬可信平臺模塊（virtual trusted platform module，vTPM）[7]。

2.2 云原生架構(gòu)安全

區(qū)別于Hypervisor 技術(shù)，基于容器技術(shù)的云原生架構(gòu)具有持續(xù)集成、持續(xù)交付的特點(diǎn)。在持續(xù)開發(fā)的過程中，鏡像會不斷打包、更新、保存，惡意攻擊者很容易在打包鏡像中插入惡意的程序、代碼段?；诹阈湃蔚脑瓌t，相關(guān)人員必須關(guān)注鏡像構(gòu)建到鏡像實例運(yùn)行的每個環(huán)節(jié)安全性。云原生架構(gòu)安全防護(hù)如圖3 所示。

圖3 云原生架構(gòu)安全防護(hù)

構(gòu)建階段主要對容器鏡像的生成、傳輸、保存使用等環(huán)節(jié)進(jìn)行保護(hù)。

（1）基于鏡像構(gòu)建文件（Dockerfile）構(gòu)建、生成鏡像文件。Dockerfile對于用戶是完全透明的，所有指令都是可控且可回溯的。在Dockerfile 構(gòu)建文件中，只安裝必要的軟件包，避免過多程序?qū)е鹿裘嬖黾?。盡量使用安全的Dockerfile 操作命令，開發(fā)人員注意不要存儲密碼、令牌、密鑰和用戶機(jī)密信息，即使這些數(shù)據(jù)在容器創(chuàng)建后被刪除也存在風(fēng)險隱患。

（2）結(jié)合數(shù)字證書確保鏡像傳輸與訪問的安全性。為方便開發(fā)人員能夠隨時構(gòu)建、測試鏡像，鏡像倉庫通常放置于互聯(lián)網(wǎng)。由于互聯(lián)網(wǎng)的不可靠性，本研究團(tuán)隊采用通用串行總線秘鑰（universal serial bus key，USB Key）證書加密方式連接倉庫，確保數(shù)據(jù)在互聯(lián)網(wǎng)傳輸?shù)臋C(jī)密性。USB Key 還能夠?qū)υL問人員進(jìn)行身份驗證，避免弱口令問題及非授權(quán)訪問。限制鏡像的使用權(quán)限，尤其是嚴(yán)格限制倉庫內(nèi)鏡像文件的寫權(quán)限，防止惡意攻擊者插入惡意代碼。開發(fā)人員構(gòu)建鏡像后必須對鏡像進(jìn)行數(shù)字簽名，下載人員在拉取鏡像前通過公鑰證書驗證數(shù)字簽名的有效性，防止獲取已被惡意篡改的鏡像。

（3）鏡像安全掃描。在鏡像生成和容器創(chuàng)建前，對鏡像文件進(jìn)行風(fēng)險掃描。區(qū)別于傳統(tǒng)業(yè)務(wù)系統(tǒng)，鏡像是經(jīng)過多層打包形成的文件，逐層進(jìn)行惡意程序檢測、敏感配置檢測。這里可以采用基于模糊哈希、YARA 規(guī)則、機(jī)器學(xué)習(xí)的文本分類算法等檢測方式[8]。此外，還需要對鏡像文件構(gòu)建的歷史命令進(jìn)行定期掃描，尤其對構(gòu)建中的高危命令進(jìn)行標(biāo)記并告警。

在運(yùn)行階段，容器運(yùn)行單元（Pod）運(yùn)行網(wǎng)絡(luò)安全及編排系統(tǒng)的合規(guī)性配置是云安全管理團(tuán)隊需要重點(diǎn)解決的問題。

（1）網(wǎng)絡(luò)微隔離與入侵檢測聯(lián)動。與Hypervisor 虛擬化技術(shù)類似，容器技術(shù)環(huán)境需要對不同的Pod 進(jìn)行網(wǎng)絡(luò)微隔離，限制非授權(quán)訪問。云原生架構(gòu)具有一套網(wǎng)絡(luò)策略（network policy）規(guī)范，能夠定義多Pod 及與其他網(wǎng)絡(luò)端點(diǎn)間的通信規(guī)則。云原生架構(gòu)中常用的網(wǎng)絡(luò)插件都支持網(wǎng)絡(luò)策略，能夠持續(xù)對網(wǎng)絡(luò)策略對象的增刪改查做出響應(yīng)，并在宿主機(jī)上生成對應(yīng)的互通協(xié)議（interworking protocol，IP）地址清單（IP Tables）規(guī)則，實現(xiàn)Pod 之間的訪問控制。通過端口鏡像方式將流量鏡像到入侵檢測安全容器節(jié)點(diǎn)并進(jìn)行攻擊檢測分析，當(dāng)發(fā)現(xiàn)流量存在攻擊行為時，安全容器會聯(lián)動生成網(wǎng)絡(luò)策略規(guī)則，并將其發(fā)送至網(wǎng)絡(luò)插件生成防火墻的IP 地址清單規(guī)則[9]，快速阻斷失陷容器。此外，云原生架構(gòu)也支持overlay的SDN 網(wǎng)絡(luò)。

（2）安全編排。在云原生環(huán)境中，容器的編排系統(tǒng)處于核心地位，在各類微服務(wù)架構(gòu)項目中支撐其核心業(yè)務(wù)。云原生安全提倡在應(yīng)用程序生命周期的早期階段引入安全工具，通過安全測試盡早識別合規(guī)問題、錯誤配置等，盡早發(fā)現(xiàn)安全問題[10]。Kubernetes 社區(qū)提供Pod 安全管理規(guī)范[11]，定義了一組必須運(yùn)行的條件及相關(guān)字段的默認(rèn)值，用于控制Pod 規(guī)范及管理安全。相關(guān)人員可以參考此規(guī)范建立適合實際環(huán)境的計算資源配置基線，還可以借助第三方編排掃描工具對容器集群中的編排文件進(jìn)行合規(guī)掃描，掃描出環(huán)境中不合規(guī)配置。系統(tǒng)管理員可以依據(jù)修復(fù)建議進(jìn)行合規(guī)的編排文件配置。

3 云安全應(yīng)用實踐

廣西自然資源云系統(tǒng)既采用了Hypervisor 虛擬化技術(shù)，又使用了云原生的服務(wù)架構(gòu)。云原生架構(gòu)主要應(yīng)用于不動產(chǎn)登記系統(tǒng)，面向每個市、縣快速部署獨(dú)立的Pod，一個或多個Pod 支撐一個市或縣的不動產(chǎn)業(yè)務(wù)訪問。傳統(tǒng)業(yè)務(wù)系統(tǒng)如電子政務(wù)系統(tǒng)、地理信息系統(tǒng)云管理平臺則部署在Hypervisor 虛擬化平臺，廣西自然資源云架構(gòu)如圖4 所示。

圖4 廣西自然資源云架構(gòu)

廣西自然資源云的Hypervisor 虛擬化云平臺通過部署SDN 控制器實現(xiàn)一系列邏輯網(wǎng)絡(luò)設(shè)備和服務(wù)，如邏輯交換機(jī)、第三方安全服務(wù)等。SDN 控制器隱藏了底層網(wǎng)絡(luò)細(xì)節(jié)和配置等信息，用戶只需簡單配置部署安全服務(wù)和ACL 規(guī)則即可快速地完成部署。標(biāo)準(zhǔn)的SDN 控制器能夠支持基于內(nèi)核的虛擬機(jī)（kernel-based virtual machine，KVM）、開源云計算管理平臺（open source cloud computing infrastructure，OpenStack）等虛擬化平臺，在實踐中可以概括為以下幾個步驟。

（1）第三方網(wǎng)絡(luò)安全虛擬機(jī)（network security virtual machine，NSVM）模板注冊到SDN控制器，控制器通過虛擬化管理中心的API 將NSVM 部署到集群的每個宿主機(jī)。

（2）在SDN 控制器上配置邏輯交換機(jī)開放虛擬交換標(biāo)準(zhǔn)（Open vSwitch，OVS），OVS 支持通過SDN 控制器編程實現(xiàn)大規(guī)模網(wǎng)絡(luò)自動化及OpenFlow 協(xié)議轉(zhuǎn)發(fā)。通過OVS 分別創(chuàng)建業(yè)務(wù)邏輯交換機(jī)和管理邏輯交換機(jī)。

（3）在SDN 控制器中定義overlay 覆蓋網(wǎng)絡(luò)，綁定NSVM 實例，形成安全服務(wù)鏈。

（4）配置需要重定向的對象及安全服務(wù)鏈，形成ACL 規(guī)則。SDN 控制器依據(jù)ACL 規(guī)則下發(fā)至OVS，形成引流的流表。

（5）網(wǎng)絡(luò)中匹配的IP 對象進(jìn)入OVS 后會立即觸發(fā)流量重定向，通過通用網(wǎng)絡(luò)虛擬化封裝（generic network virtualization encapsulation，GENEVE）隧道協(xié)議建立的overlay 網(wǎng)絡(luò)傳輸至NSVM 并進(jìn)行網(wǎng)絡(luò)層與應(yīng)用層的訪問過濾。

（6）主機(jī)層面通過安裝虛擬機(jī)GI 驅(qū)動并結(jié)合安全服務(wù)鏈，完成文件病毒查殺。

（7）部署完成后，管理員根據(jù)資產(chǎn)屬性、風(fēng)險、業(yè)務(wù)性質(zhì)等因素劃分虛擬安全域。

建立不同的安全域后，系統(tǒng)管理員可以根據(jù)不同的安全域配置訪問控制，并啟用應(yīng)用層防護(hù)IPS 過濾。每個宿主機(jī)都有NSVM，安全策略通過安全管理中心統(tǒng)一下發(fā)到所有宿主機(jī)的NSVM，虛擬機(jī)遷移后也能實現(xiàn)一樣的防護(hù)效果。整個部署對于用戶來說完全是無感知的，并且不影響原有網(wǎng)絡(luò)的路由走向和拓?fù)浣Y(jié)構(gòu)。管理員通過安全管理中心還能夠直觀地了解業(yè)務(wù)或用戶被黑客入侵或控制、業(yè)務(wù)漏洞威脅、萬維網(wǎng)服務(wù)器被植入黑鏈等情況，并采取有效的防護(hù)措施。這種功能抽象、快速部署的特性極大提升設(shè)備的上線速度和安全管理員的工作效率。

4 結(jié)束語

目前，基于Hypervisor 的虛擬化安全防護(hù)技術(shù)基本都需要結(jié)合虛擬化基礎(chǔ)架構(gòu)形成具體方案，存在一定的局限性。為了簡化用戶操作，這些解決方案屏蔽了過多的底層細(xì)節(jié)，部署完成后一旦發(fā)生故障，用戶很難定位故障原因。下一步，本研究希望能夠?qū)で笠环N標(biāo)準(zhǔn)化、適用于主流虛擬化基礎(chǔ)架構(gòu)的開源安全組件，使得管理人員能在充分了解底層架構(gòu)的基礎(chǔ)上更好地對虛擬化安全進(jìn)行部署與管理。

基于新興容器技術(shù)的云原生架構(gòu)雖然具有相關(guān)的安全防護(hù)方法和思路，但是落地的解決方案仍處于初級應(yīng)用階段，涉及技術(shù)底層的很多安全細(xì)節(jié)仍待解決。下一步，研究團(tuán)隊將更深入學(xué)習(xí)云原生架構(gòu)及系統(tǒng)底層實現(xiàn)原理，從中不斷總結(jié)可能的安全風(fēng)險點(diǎn)，并進(jìn)行針對性加固。