丁苗苗

中國石化潤滑油有限公司

數(shù)字化經(jīng)濟發(fā)展的大潮下，大規(guī)模部署、高性能網(wǎng)絡、虛擬化等成為數(shù)據(jù)中心網(wǎng)絡的新需求。通過網(wǎng)絡開放化、敏捷化、功能軟件化和網(wǎng)絡智能化等技術手段，數(shù)據(jù)中心網(wǎng)絡關鍵技術演進方向明確，網(wǎng)絡架構革新、網(wǎng)絡設備變革、可編程芯片、網(wǎng)絡設計以及標準化網(wǎng)絡模型等將實現(xiàn)新型數(shù)據(jù)中心網(wǎng)絡，更好地為生產(chǎn)服務。

當前，網(wǎng)絡建設中高度依賴于高端交換機，從而導致建設、運維成本較高，擴展難度大等問題。同時，網(wǎng)絡設備之間、網(wǎng)絡設備與服務器之間連接都是固定的，設備之間物理連接完成之后進行相應的配置，只能按照相關的連接和配置進行數(shù)據(jù)的傳輸，不能根據(jù)網(wǎng)絡流量的變化進行動態(tài)的調(diào)整。未來，這種狀況會發(fā)生很大的變化。

中國石化潤滑油有限公司（簡稱潤滑油公司）對內(nèi)部網(wǎng)絡的安全域做了細分，劃分為互聯(lián)網(wǎng)出口區(qū)、核心網(wǎng)絡區(qū)、內(nèi)部服務器區(qū)、廣域網(wǎng)區(qū)、終端接入?yún)^(qū)等，在不同區(qū)域部署相應的安全設備，完善網(wǎng)絡基礎架構并借助安全設備加強安全管理。潤滑油公司信息系統(tǒng)始建于2002年，并于2006年進行了網(wǎng)絡提升。隨著潤滑油公司業(yè)務的快速發(fā)展，應用系統(tǒng)、網(wǎng)絡系統(tǒng)均在不斷地擴展，原網(wǎng)絡架構及機房部署已不能滿足信息系統(tǒng)日益增長的需求。

數(shù)據(jù)中心網(wǎng)絡的新需求

大規(guī)模部署

隨著云計算的快速發(fā)展，企事業(yè)單位不斷將業(yè)務遷移部署到云端，數(shù)據(jù)中心的規(guī)模越來越大。2013年以來，我國數(shù)據(jù)中心大規(guī)模增長，其中大型以上數(shù)據(jù)中心為增長主力，截止2017年底，大型以上數(shù)據(jù)中心機架數(shù)超過82萬，比2016 年增長68%[1]。面對超大規(guī)模的數(shù)據(jù)中心，網(wǎng)絡體系架構在設計的時候需要考慮可擴展性、網(wǎng)絡帶寬、點對點多通信鏈路等在內(nèi)的諸多因素。這些挑戰(zhàn)共同促進了數(shù)據(jù)中心網(wǎng)絡體系架構的研究發(fā)展。

東西向高性能網(wǎng)絡

云計算、大數(shù)據(jù)等新技術的進一步發(fā)展，讓數(shù)據(jù)處理量激增。面對數(shù)據(jù)中心內(nèi)部東西流量的快速增長，如何保證數(shù)據(jù)在網(wǎng)絡中更快、更高效地傳輸，成為解決數(shù)據(jù)中心在網(wǎng)絡方面的瓶頸，進而提高數(shù)據(jù)中心性能的關鍵所在。該問題的核心是如何提高數(shù)據(jù)中心內(nèi)部數(shù)據(jù)在網(wǎng)絡上的傳輸效率。

相關廠商通常采用提高網(wǎng)絡的帶寬和性能的方式應對該問題。以該問題的具體解決方案——無損網(wǎng)絡為例，其在擁塞控制、流量控制、分組轉(zhuǎn)發(fā)、路由選擇等方面進行了改進與創(chuàng)新，使得網(wǎng)絡可以自動調(diào)節(jié)轉(zhuǎn)發(fā)速度，降低時延、減少丟包。目前，百度、京東、騰訊、電信、移動、華為、邁絡思等公司均針對網(wǎng)絡云化趨勢下基于以太的無損網(wǎng)絡展開了研究，取得了一定的成果[2]。

網(wǎng)絡資源虛擬化

計算虛擬化技術、存儲虛擬化技術已經(jīng)取得較大的突破，實現(xiàn)了對計算和存儲資源的池化，極大地提高了數(shù)據(jù)中心相關基礎設施的利用率。

網(wǎng)絡虛擬化技術相對發(fā)展較慢，但數(shù)據(jù)中心在發(fā)展中對網(wǎng)絡虛擬化技術有切實的要求。網(wǎng)絡虛擬化的對象包括服務器、路由器、交換機、鏈路等方面，采用虛擬化方案后，數(shù)據(jù)中心可以提高網(wǎng)絡資源利用效率、簡化引用部署、降低網(wǎng)絡故障影響區(qū)域等。根據(jù)共享網(wǎng)絡、計算虛擬化、存儲虛擬化等方面的特點，在安全、隔離、調(diào)度等方面進行創(chuàng)新，才能更進一步發(fā)展網(wǎng)絡虛擬化技術，實現(xiàn)網(wǎng)絡資源的統(tǒng)計復用。作為近年來研究的熱點之一，SDN（軟件定義網(wǎng)絡）通過轉(zhuǎn)發(fā)層與控制層的分離，來實現(xiàn)統(tǒng)一的資源調(diào)度。

低成本、高擴展

數(shù)據(jù)中心的規(guī)模變大之后，網(wǎng)絡方面需要較好的擴展性、較低的成本。在擴展性方面，除了考慮網(wǎng)絡架構設計等方面的因素，還需要考慮設備的通用性，在網(wǎng)絡建設中，盡量使用通用性設備，減少專用性設備的使用，有利于網(wǎng)絡未來的擴展；在成本控制方面，也應該盡量減少使用較貴的專用設備，而采取較便宜的通用性設備。因此，目前數(shù)據(jù)中心網(wǎng)絡在研究和建設中，大多采用通用型的設備，以降低成本，同時滿足未來擴展的需要。

新型數(shù)據(jù)中心網(wǎng)絡基本特征

工業(yè)4.0以及互聯(lián)網(wǎng)+環(huán)境下，整個傳統(tǒng)產(chǎn)業(yè)向規(guī)?；椭悄芑墶?shù)據(jù)中心作為數(shù)據(jù)中轉(zhuǎn)和計算的中樞節(jié)點，已經(jīng)成為新一輪的商業(yè)基礎設施資源。隨著云業(yè)務的興起，數(shù)據(jù)中心也面臨云化發(fā)展。新型數(shù)據(jù)中心網(wǎng)絡要求具有以下特征：

網(wǎng)絡開放化

傳統(tǒng)數(shù)據(jù)中心網(wǎng)絡是一個相對封閉的系統(tǒng)，由各種各樣的平臺、專用的協(xié)議對接指定的應用。隨著網(wǎng)絡規(guī)模的日益龐大，無論是底層硬件平臺還是上層通信協(xié)議越來越復雜，各種迭代增加使得傳統(tǒng)數(shù)據(jù)中心網(wǎng)絡越來越繁重，徹底與靈活、高效的網(wǎng)絡需求相悖，數(shù)據(jù)中心網(wǎng)絡開放化的要求呼之欲出。

網(wǎng)絡開放化微觀要求通信設備軟硬件解耦，解除設備商綁定；宏觀要求整個通信產(chǎn)業(yè)鏈的開放，通信產(chǎn)業(yè)鏈從單一芯片提供商、少量設備制造商向多品牌芯片提供商、通用硬件設備制造商（ODM、OEM）、定制化軟件提供商，甚至IT產(chǎn)業(yè)的硬件制造商和軟件提供商轉(zhuǎn)變。

網(wǎng)絡開放將促進通信端到端產(chǎn)業(yè)鏈從傳統(tǒng)的相互隔離演進為相輔相成、相互融合，進而加速新技術引入，推動產(chǎn)業(yè)發(fā)展，形成多贏局面。

網(wǎng)絡敏捷化

互聯(lián)網(wǎng)的浪潮中，智慧運營要求用戶按需訂購、業(yè)務按需提供、網(wǎng)絡按需建設。傳統(tǒng)數(shù)據(jù)中心網(wǎng)絡由眾多軟硬件一體化的網(wǎng)絡設備組成，每個設備都有固定的功能，網(wǎng)絡連接固定；面對網(wǎng)絡新需求通常需要更換新的網(wǎng)絡設備或者是搭建新的網(wǎng)絡來滿足。但是，傳統(tǒng)設備升級是一項復雜、耗時長的系統(tǒng)工程，網(wǎng)絡的重新配置也會導致現(xiàn)有業(yè)務的中斷；這就限制了傳統(tǒng)數(shù)據(jù)中心網(wǎng)絡功能固化、迭代速度特別慢，無法滿足個性化、定制化和碎片化的運營需求。

網(wǎng)絡敏捷化要求針對業(yè)務提出的新需求，服務提供商只需要升級軟件、重新編排業(yè)務或者修改數(shù)據(jù)面快速實現(xiàn)新功能，無需硬件通信設備的更換，進而避免硬件設備的無限膨脹，從而實現(xiàn)網(wǎng)絡功能敏捷快速部署。

功能軟件化

傳統(tǒng)數(shù)據(jù)中心網(wǎng)絡由交換機、防火墻、負載均衡器等形態(tài)各異的專用硬件設備組成，面對網(wǎng)絡新功能，通常需要升級專用設備，或者是新增網(wǎng)絡設備來實現(xiàn)。硬件設備的不斷更替給服務提供商帶來了很高的成本投入，包括設備成本、運維成本、新增設備機房成本、新增設備電力成本等。

網(wǎng)絡軟件化指數(shù)據(jù)中心網(wǎng)絡設備使用基于通用硬件平臺的軟件代替，這樣網(wǎng)絡設備功能由傳統(tǒng)硬件開發(fā)轉(zhuǎn)變?yōu)檐浖_發(fā)，使得開發(fā)門檻降低，開發(fā)集成和部署的速度明顯加快。另外，軟件比硬件具備更好的可修改、可更新能力，能更好地促進網(wǎng)絡創(chuàng)新。同時，采用通用硬件平臺和軟件的部署方式使得網(wǎng)絡建設的固定資產(chǎn)投入極大降低。

網(wǎng)絡智能化

隨著大數(shù)據(jù)和人工智能技術的發(fā)展，新型數(shù)據(jù)中心網(wǎng)絡也正趨于智能化。隨著數(shù)據(jù)中心規(guī)模變大、網(wǎng)絡設備數(shù)量變多，自動化以及智能化網(wǎng)絡管理和運維成為管理人員的核心訴求，基于意圖的網(wǎng)絡（IBN，Intent-based Networking）的出現(xiàn)宣告了網(wǎng)絡智能化時代的崛起。網(wǎng)絡管理人員通過輸入期望達到的“業(yè)務意圖”，即“希望網(wǎng)絡實現(xiàn)的功能、狀態(tài)和行為”，網(wǎng)絡控制端收到“意圖”后進行自動轉(zhuǎn)譯，并完成相應的網(wǎng)絡操作。

智能化還表現(xiàn)在網(wǎng)絡的閉環(huán)控制，網(wǎng)絡控制端在網(wǎng)絡實際運行過程中通過驗證網(wǎng)絡狀態(tài)和業(yè)務意圖的匹配度，并進行自我調(diào)整，最終實現(xiàn)網(wǎng)絡完全滿足意圖需求。

數(shù)據(jù)中心網(wǎng)絡關鍵技術演進方向

網(wǎng)絡架構革新

網(wǎng)絡體系架構的革新是網(wǎng)絡開放的關鍵。SDN和NFV（網(wǎng)絡功能虛擬化）作為網(wǎng)絡體系架構變革的核心技術，SDN開啟軟件定義網(wǎng)絡新時代，NFV開啟軟硬件解耦新時代。三大國內(nèi)運營商在近幾年都發(fā)布下一代網(wǎng)絡愿景：中國移動的《NovoNet 2020愿景》[3]、中國電信的《CTNet-2025網(wǎng)絡架構白皮書》[4]、中國聯(lián)通的《新一代網(wǎng)絡架構白皮書（CUBE-Net-v2.0）》[5]無一例外地將SDN、NFV作為下一代網(wǎng)絡的核心技術，以數(shù)據(jù)中心為核心，構建簡單扁平的新型網(wǎng)絡架構，實現(xiàn)網(wǎng)絡能力開放。

SDN和NFV是相輔相成、優(yōu)勢互補的兩大關鍵技術，兩者深度融合共同構成新型數(shù)據(jù)中心。NFV是網(wǎng)元功能的靈活體現(xiàn)，包括對數(shù)據(jù)中心內(nèi)的網(wǎng)絡單元防火墻設備的虛擬化、負載均衡設備的虛擬化或NAT、VPN等設備的虛擬化。SDN作為網(wǎng)絡功能的新技術，負責高效連接各網(wǎng)元節(jié)點，實現(xiàn)網(wǎng)絡靈活開通和自動調(diào)整。需要指出的是，近兩年來電信運營商重點打造的電信云數(shù)據(jù)中心，是運營商主動迎面急速發(fā)展的大寬帶、大連接業(yè)務進行網(wǎng)絡轉(zhuǎn)型，目標借助于電信網(wǎng)元的虛擬化，增強網(wǎng)絡競爭力，突破成本效益天花板。

網(wǎng)絡設備變革

新型數(shù)據(jù)中心網(wǎng)絡架構下也誕生出一批新型的數(shù)據(jù)中心網(wǎng)絡設備，其中白盒交換機和可編程芯片就是軟件定義的直接產(chǎn)物。

白盒交換機

白盒交換機是數(shù)據(jù)中心交換機的一次革命性嘗試，直接將交換機的硬件和軟件進行解耦，硬件選用通用硬件，軟件選用開源或者商業(yè)操作系統(tǒng)軟件，兩者之間再無綁定關系。

目前白盒交換機軟件的思路主要包括兩類，一類是專業(yè)交換機商業(yè)軟件，另一類是開源軟件。交換機商業(yè)軟件由專業(yè)公司運營，收費模式包括源碼買斷和每臺交換機的授權費兩種。商業(yè)軟件的優(yōu)點是可提供從芯片驅(qū)動層、業(yè)務層到上層管理層的完整解決方案，用戶拿到后一般可直接使用，二次開發(fā)工作量小，可快速出產(chǎn)品，缺點主要是軟件售價高，成本投入大，例如PICA8的PICOS、Cumulus的Cumulus Linux、snaproute的Flexswitch等。開源軟件相反，沒有軟件采購成本，源碼可從社區(qū)直接獲得，另外開源操作系統(tǒng)可以結合數(shù)據(jù)中心客戶定制化需求進行定制化開發(fā)，如流量優(yōu)化、路由優(yōu)化功能等，當前各種開源交換機操作系統(tǒng)勢頭相當活躍。

隨著數(shù)據(jù)中心網(wǎng)絡的發(fā)展，白盒交換機市場占有率在逐年提高。根據(jù)Crehan Research Inc.最近的報告[6]統(tǒng)計，2020年白盒交換機市場占比預計達到20%。白盒交換機通常被視為一種降低成本的方法，但是它更大的價值在于提高網(wǎng)絡的可編程能力和自動化，例如基于API(應用編程接口)的交換機互操作替代傳統(tǒng)命令行操作、進行多樣化的APP開發(fā)等，基于實際需求，快速實現(xiàn)網(wǎng)絡功能定制化，充分發(fā)揮軟件的價值。

可編程芯片

可編程芯片是網(wǎng)絡設備革新的另一個重要方向。隨著業(yè)務優(yōu)化、故障診斷以及低功耗、低時延和需求響應及時性等新需求的提出，交換芯片正在經(jīng)歷一場革命。傳統(tǒng)芯片一方面需要支持各種不同的協(xié)議類型，另一方面存在大量迭代發(fā)展的冗余設計，無法及時響應數(shù)據(jù)中心日益增加的協(xié)議和隧道化技術要求以及部分運維監(jiān)控需求，此外傳統(tǒng)芯片處理流程固定、表項大小固定，不適合需要靈活處理特性的一些實際場景?？删幊绦酒鳛樾酒l(fā)展的趨勢，突破傳統(tǒng)芯片處理流程，在新一代交換芯片中開始嶄露頭角?？删幊绦酒邆湟韵聨状筇卣鳎?/p>

☆靈活性，支持業(yè)務流程靈活編排，支持新業(yè)務編輯；

☆自主性，支持協(xié)議字段自定義，支持新功能解析；

☆彈性，支持表容量彈性定義，具備可編程的操作能力。

可編程芯片配合可編程語言能夠發(fā)揮最大價值，目前相對較為成熟的可編程語言為P4語言，吸引了絕大多數(shù)芯片商、設備商、IT集成商及多家電信運營商的關注。P4是一種類似于JAVA語言的轉(zhuǎn)發(fā)面高級編程語言，實現(xiàn)了數(shù)據(jù)面代碼開發(fā)和硬件的隔離，而且P4代碼通過前后端編譯器目前已經(jīng)可以應用在不同的硬件平臺上。

行業(yè)內(nèi)支持可編程芯片公司包括Barefoot、Cavium以及Broadcom等。Barefoot作為P4開源平臺的主要貢獻者，近期非?；钴S，吸引了Google以及騰訊和阿里巴巴的投資，其芯片Tofino原生支持P4語言，得到了可編程芯片研究者的廣泛關注。Cavium的可編程芯片Xpliant系列早于Barefoot，由于其可編程語言不夠開放，因此未能被大家熟知。作為傳統(tǒng)交換芯片市場領導者Broadcom在其新發(fā)布的Trident3也支持可編程功能，但編程方式是由客戶提功能需求，Broadcom來實施，編程功能不對用戶開放，限制了用戶創(chuàng)新能力。

網(wǎng)絡設計

新型數(shù)據(jù)中心網(wǎng)絡圍繞高可靠、高性能、高擴展、兼容性和開放性這五個原則進行設計：

◇高可靠意味著網(wǎng)絡關鍵節(jié)點和鏈路進行冗余設計，并結合網(wǎng)絡協(xié)議的收斂共同保證業(yè)務的持續(xù)可用性；

◇高性能要求控制設備具備控制和管理多節(jié)點能力、轉(zhuǎn)發(fā)設備具備高性能轉(zhuǎn)發(fā)能力，此外依靠虛擬化集群機制或者彈性擴縮容機制實現(xiàn)性能的提升；

◇高擴展要求網(wǎng)絡層次化設計，每個層次均采用模塊化組網(wǎng)，保證網(wǎng)絡橫向擴展能力；

◇兼容性要求兼容多種計算資源、多類網(wǎng)絡方案；

◇開放性是數(shù)據(jù)中心網(wǎng)絡的基本原則，利用開放的架構，結合標準的協(xié)議和接口，實現(xiàn)網(wǎng)絡能力開放。

應用層是新型數(shù)據(jù)中心的核心價值體現(xiàn)，新型數(shù)據(jù)中心應用層表現(xiàn)為云資源管理平臺，面向用戶或者管理員提供服務。云資源資源管理平臺的重要功能之一就是網(wǎng)絡編排，負責數(shù)據(jù)中心網(wǎng)絡資源的統(tǒng)籌和調(diào)度。管理平臺在模塊化網(wǎng)絡設計中表現(xiàn)為“統(tǒng)一管理模塊-局部管理模塊”扁平化架構，每個標準建設單元內(nèi)部集成局部管理模塊，標準建設單元之間依靠統(tǒng)一管理模塊進行拉通。局部管理模塊作用于建設單元內(nèi)部，負責對單元內(nèi)資源部署、操作、回收、監(jiān)控和統(tǒng)計分析；統(tǒng)一管理模塊作用于整個數(shù)據(jù)中心，對外呈現(xiàn)統(tǒng)一界面和用戶交互，對內(nèi)和局部管理模塊進行交互，利用局部管理模塊調(diào)用資源。

就網(wǎng)絡資源的調(diào)用情況來看，用戶開通網(wǎng)絡資源的指令通過統(tǒng)一管理模塊下發(fā)至對應的局部管理模塊中，局部管理模塊通過本單元網(wǎng)絡控制單元或者是直接控制網(wǎng)絡設備，進行網(wǎng)絡資源的開通。

標準化網(wǎng)絡模型

管理平臺實現(xiàn)網(wǎng)絡編排自動化的過程離不開網(wǎng)絡模型的抽象和建立，即虛擬專用網(wǎng)絡（VPC，Virtual Private Cloud）模型。每個業(yè)務系統(tǒng)對應一個租戶，租戶網(wǎng)絡采用VPC網(wǎng)絡模型進行描述。根據(jù)業(yè)務需求，數(shù)據(jù)中心網(wǎng)絡模型包含網(wǎng)絡節(jié)點以及節(jié)點之間的連接，其中網(wǎng)絡節(jié)點包括主機、端口、子網(wǎng)、路由器、彈性IP等基本網(wǎng)絡服務和負載均衡、防火墻等增值網(wǎng)絡服務，節(jié)點連接涵蓋基本的網(wǎng)絡節(jié)點互聯(lián)以及配置的策略。網(wǎng)絡模型的發(fā)放由云資源管理平臺發(fā)起，管理平臺創(chuàng)建網(wǎng)絡規(guī)則，映射為網(wǎng)絡模型，通過控制節(jié)點動態(tài)生成相應的配置最終傳遞給網(wǎng)絡設備。

為滿足不同應用對網(wǎng)絡界入的不同安全隔離要求，新型數(shù)據(jù)中心網(wǎng)絡設計需要考慮安全性要求。網(wǎng)絡的安全性主要體現(xiàn)在各類網(wǎng)絡隔離策略，粒度從小到大分為網(wǎng)段隔離、安全組隔離、虛擬路由表（VRF，Virtual Routing Forwarding）隔離以及安全設備隔離。網(wǎng)段隔離也指二層流量隔離，對于不同的網(wǎng)段采用不同的VLAN或者VXLAN標識，具體表現(xiàn)為VLAN ID或VXLAN ID（VNI， VXLAN Network Identifier），而VLAN或者VXLAN之間缺省相互隔離。安全組隔離表現(xiàn)為粗粒度的網(wǎng)段隔離，適用于既存在放通需求又存在隔離需求的多個網(wǎng)段之間，一般采用硬件訪問控制列表或者是軟件實現(xiàn)。虛擬路由表本意是為了解決本地路由沖突的問題而引入的虛擬路由器，虛擬路由表隔離具體表現(xiàn)為每個VRF對應獨立的邏輯路由轉(zhuǎn)發(fā)實例，具備獨立的路由表、轉(zhuǎn)發(fā)表和相應接口。防火墻隔離作為高級別的隔離手段，借助于專用安全設備實現(xiàn)網(wǎng)絡的隔離，此時借助于策略路由或者是其他導流手段將流量引導經(jīng)過防火墻，結合防火墻策略進行安全防護。

結束語

網(wǎng)絡是數(shù)據(jù)中心的重要組成部分，也是數(shù)據(jù)中心性能可否完全釋放的重要IT設施。傳統(tǒng)的三層網(wǎng)絡架構部署模式已經(jīng)不太適合新需求下的數(shù)據(jù)中心網(wǎng)絡，需要在芯片層面、設備硬件層面、軟件層面以及網(wǎng)絡架構層面有更多的創(chuàng)新和發(fā)展。