李 興

一、數(shù)據(jù)中心授時(shí)需求

目前，數(shù)據(jù)中心云平臺(tái)分布式計(jì)算，為使系統(tǒng)間協(xié)同處理復(fù)雜事件，以及增量備份，設(shè)計(jì)上均標(biāo)配時(shí)鐘服務(wù)器。但在數(shù)據(jù)中心暖通、電氣、消防、智能化等基礎(chǔ)設(shè)施層面，不同專業(yè)大量的各類設(shè)備，授時(shí)的統(tǒng)一規(guī)劃幾乎空白，常常是以手工修改各類設(shè)備的時(shí)間，既存在工作量大，也根本無(wú)法保證精確性，為數(shù)據(jù)中心故障判定，日志查詢?cè)斐闪撕艽罄Щ蟆?/p>

（一）社會(huì)發(fā)展與時(shí)鐘的關(guān)系

時(shí)間的準(zhǔn)確程度一定程度上代表了社會(huì)效率，從日出而作日落而息，到日晷、沙漏、手表等人類對(duì)時(shí)間的計(jì)量方法，再到網(wǎng)絡(luò)對(duì)時(shí)，時(shí)間與人的關(guān)系也逐漸由人與自然，逐步發(fā)展到人與機(jī)器、機(jī)器與機(jī)器協(xié)作等各種復(fù)雜的關(guān)系，精準(zhǔn)性越發(fā)重要。在數(shù)據(jù)中心，隨著計(jì)算倍增，分布式計(jì)算服務(wù)對(duì)時(shí)間的要求也越來(lái)越高。

（二）IEC 61850規(guī)范

隨著分布式能源、儲(chǔ)能系統(tǒng)和無(wú)人電力系統(tǒng)蓬勃發(fā)展，電網(wǎng)變得更加復(fù)雜，實(shí)時(shí)管理電力調(diào)度越來(lái)越困難，由此電力系統(tǒng)的IEC 61850規(guī)范應(yīng)運(yùn)而生[1]，它將時(shí)間性能劃分為T1到T5五個(gè)等級(jí)?，F(xiàn)階段，數(shù)據(jù)中心在基礎(chǔ)設(shè)施設(shè)計(jì)、建設(shè)、運(yùn)維等各個(gè)階段均對(duì)授時(shí)未涉及，從業(yè)者對(duì)統(tǒng)一授時(shí)的認(rèn)識(shí)嚴(yán)重不足，在此引薦IEC 61580規(guī)范供數(shù)據(jù)中心研究應(yīng)用。

二、NTP授時(shí)原理

時(shí)間同步也稱為“授時(shí)”，是衛(wèi)星導(dǎo)航系統(tǒng)的兩大免費(fèi)功能之一（另一個(gè)是導(dǎo)航定位），導(dǎo)航衛(wèi)星上一般裝有2—3座原子鐘，提供精度較高的基準(zhǔn)時(shí)間，精度約為20納秒。授時(shí)常有短波、長(zhǎng)波、網(wǎng)絡(luò)、電話、衛(wèi)星授時(shí)等多種分類[2]。

網(wǎng)絡(luò)授時(shí)分為廣域網(wǎng)授時(shí)和局域網(wǎng)授時(shí)。廣域網(wǎng)授時(shí)精度受限于路由路徑選擇時(shí)延，局域網(wǎng)授時(shí)精度可達(dá)亞毫秒。

（一）NTP授時(shí)原理

NTP由RFC 1305定義，在分布式時(shí)間服務(wù)器和客戶端進(jìn)行時(shí)間同步的協(xié)議，默認(rèn)UDP協(xié)議123端口。

網(wǎng)絡(luò)時(shí)間按照NTP服務(wù)器等級(jí)進(jìn)行傳播，根據(jù)離基準(zhǔn)時(shí)間的遠(yuǎn)近將不同服務(wù)器歸納到不同的層中（Stratum），單個(gè)Stratum層的總數(shù)限制在15。0層表示高精度設(shè)備，例如原子鐘、GPS時(shí)鐘等；1層設(shè)備和0層設(shè)備相連，誤差僅為微秒，2層設(shè)備和1層設(shè)備通過(guò)網(wǎng)絡(luò)相連，依此類推……

（二）NTP工作模式

NTP可分為客戶端/服務(wù)器、對(duì)等體、廣播、組播等多種模式。當(dāng)可以確定NTP服務(wù)器或?qū)Φ润wIP地址時(shí)，一般采用客戶端/服務(wù)器模式和對(duì)等體模式，設(shè)備從指定服務(wù)器或?qū)Φ润w獲得時(shí)鐘，增加了時(shí)鐘的可靠性。

（三）時(shí)間的平滑同步與跳變

NTP命令是平滑同步，在與時(shí)間服務(wù)器同步過(guò)程中，會(huì)把BIOS計(jì)時(shí)器的晶振頻率偏差記錄下來(lái)，即使失去網(wǎng)絡(luò)同步源，計(jì)算機(jī)仍然能維持一個(gè)精確的走時(shí)。而Ntpdate是立即同步，調(diào)整方式是跳變，這會(huì)使時(shí)間變快或變慢，從而導(dǎo)致依賴時(shí)序的程序出錯(cuò)，可能會(huì)出現(xiàn)兩個(gè)相同時(shí)刻，對(duì)以線性時(shí)間為前提的操作和程序是致命的，生產(chǎn)環(huán)境中要慎用[3]。

三、園區(qū)授時(shí)資源和協(xié)議

北斗云公共服務(wù)區(qū)配置一臺(tái)BTS200時(shí)鐘服務(wù)器，標(biāo)配NTP以太接口、RS485、IRIG-B、TTL脈沖等接口。另一臺(tái)電力監(jiān)控時(shí)鐘服務(wù)器，支持 61850/104規(guī)約，通過(guò)國(guó)網(wǎng)電科院實(shí)驗(yàn)驗(yàn)證中心和國(guó)電公司自動(dòng)化設(shè)備電磁兼容實(shí)驗(yàn)室檢測(cè)。

電氣設(shè)備接口有RS485和Eth兩種，暖通設(shè)備則以RS485接口居多，能否實(shí)現(xiàn)時(shí)鐘同步，一要看協(xié)議對(duì)接開(kāi)發(fā)，二要看技術(shù)協(xié)議中是否有明確要求。消防系統(tǒng)現(xiàn)階段各設(shè)備均為手動(dòng)校時(shí)，如有時(shí)鐘同步需要，另須規(guī)劃專用時(shí)鐘同步方案。

四、系統(tǒng)設(shè)置

數(shù)據(jù)中心服務(wù)器操作系統(tǒng)Linux，受RedHat戰(zhàn)略調(diào)整和國(guó)產(chǎn)化意識(shí)的不斷增強(qiáng)，Linux操作系統(tǒng)以銀河麒麟等國(guó)產(chǎn)操作系統(tǒng)應(yīng)用逐漸成為主流。

（一）Windows客戶端

ntp.org組織推薦使用的Meinberg，其NTP Deamon的運(yùn)行狀態(tài)有INIT、LOCL、DFC、PPS幾種類型。INIT表示未成功連接NTP服務(wù)器，LOCL表示成功連接本地時(shí)鐘，DCF表示成功連接DCF時(shí)鐘設(shè)備，PPS表示成功連接PPS時(shí)鐘設(shè)備。

（二）Linux系統(tǒng)

國(guó)產(chǎn)操作系統(tǒng)銀河麒麟是以 Ubuntu操作系統(tǒng)作為母版進(jìn)行二次開(kāi)發(fā)，timedatectl/timesyncd從Ubuntu16.04開(kāi)始使用，而不是常用的ntpdate/ntp。

Chrony由chronyd和chronyc組成。chronyd用于調(diào)整系統(tǒng)時(shí)鐘和時(shí)鐘服務(wù)器同步。chronyc用于監(jiān)控性能。NTP 通過(guò)UDP123端口進(jìn)行網(wǎng)絡(luò)時(shí)鐘同步，而chrony服務(wù)監(jiān)聽(tīng)UDP的323端口。主配置文件為/etc/chrony.conf，客戶端為/usr/bin/chronyc，服務(wù)端為/usr/sbin/chronyd。

ntpdate和timedatectl都是命令行工具，允許查看或者修改系統(tǒng)的時(shí)間和日期，timedatectl用于替代date命令，在查閱文檔資料或?qū)嶋H操作時(shí)注意加以區(qū)分。

1.服務(wù)端設(shè)置

（三）冗余配置

Windows系統(tǒng)和一些設(shè)備和錄像機(jī)只支持單一地址指向，路由器交換機(jī)等則支持多地址指向。

1.Windows系統(tǒng)

設(shè)置多同步時(shí)間源，一種是在注冊(cè)表中修改，繁瑣不推薦，另一種方法是用ntp軟件，實(shí)現(xiàn)多個(gè)時(shí)間源之間的配置，簡(jiǎn)單實(shí)用。

2.Linux系統(tǒng)

把一個(gè)授時(shí)服務(wù)器多個(gè)物理端口的多個(gè)IP地址或多臺(tái)授時(shí)服務(wù)器，采用DNS，Keepalived,Lvs等技術(shù)方法做成集群，使客戶端便捷使用冗余授時(shí)，但受限在云平臺(tái)側(cè)部署。

（四）交換機(jī)配置

時(shí)間同步子網(wǎng)由主時(shí)間、二級(jí)時(shí)間服務(wù)器，PC客戶端等組成。主時(shí)間服務(wù)器同步到衛(wèi)星定位時(shí)鐘，二級(jí)時(shí)間服務(wù)器通過(guò)網(wǎng)絡(luò)中的主時(shí)間服務(wù)器取得同步；層數(shù)（stratum），是對(duì)時(shí)鐘同步情況的分級(jí)標(biāo)準(zhǔn)，取值范圍1～16，值越小精確越高[4-5]。

1.主時(shí)鐘交換機(jī)

核心交換機(jī)的本地時(shí)鐘作為NTP主時(shí)鐘，接入和匯聚交換機(jī)和核心交換機(jī)之間采用單播NTP服務(wù)器/客戶端模式。

2.客戶端交換機(jī)

配置Switch之間路由可達(dá)，查看接入、匯聚交換機(jī)的NTP狀態(tài)，可以看到時(shí)鐘狀態(tài)為“synchronized”說(shuō)明已經(jīng)完成同步，層數(shù)為3，比服務(wù)器核心交換機(jī)低1級(jí)。

五、授時(shí)方案

二期智能化系統(tǒng)，在云平臺(tái)公共區(qū)部署DCIM、存儲(chǔ)、環(huán)境監(jiān)控電力監(jiān)控服務(wù)器。BA、安防服務(wù)器均為實(shí)體服務(wù)器。燃油自控、柴發(fā)并機(jī)、蓄電池監(jiān)控等子系統(tǒng)和變壓器、UPS、配電柜、直流屏、ATS等電力采集單元通過(guò)智能化網(wǎng)數(shù)據(jù)接入電力監(jiān)控系統(tǒng)；空調(diào)、AHU、漏水、加濕器、溫濕度等環(huán)境采集單元通過(guò)智能化網(wǎng)數(shù)據(jù)接入環(huán)境監(jiān)控系統(tǒng)；視頻監(jiān)控、門禁系統(tǒng)、入侵報(bào)警、冷機(jī)群控、暖通自控等子系統(tǒng)通過(guò)智能化網(wǎng)數(shù)據(jù)接入DCIM系統(tǒng)平臺(tái)。

（一）授時(shí)原則

智能化不僅要接入暖通、電力、消防等各專業(yè)子系統(tǒng)，也要接入各類型前端采集器，要充分調(diào)研被授時(shí)設(shè)備的接口類型、協(xié)議，在授時(shí)規(guī)劃上要評(píng)估重要程度，既要突出重點(diǎn)也要保留子系統(tǒng)的系統(tǒng)性，還需從時(shí)鐘服務(wù)器的資源承載量等各方面統(tǒng)籌規(guī)劃，分出層級(jí)，切忌貪全求大，導(dǎo)致費(fèi)用增加，協(xié)調(diào)難度加大。

（二）授時(shí)劃分

1.監(jiān)控服務(wù)器

環(huán)境監(jiān)控、DCIM與云平臺(tái)公共服務(wù)區(qū)BTS200授時(shí)服務(wù)器時(shí)鐘同步，電力監(jiān)控服務(wù)器與ATS1000時(shí)鐘同步。

環(huán)境監(jiān)控系統(tǒng)，前端采集器AU及接入的子系統(tǒng)均與環(huán)境監(jiān)控服務(wù)器時(shí)鐘同步。二期智能化網(wǎng)內(nèi)門禁一體機(jī)、門禁控制器、安防系統(tǒng)攝像頭、入侵報(bào)警器，DDC、BA服務(wù)器、安防系統(tǒng)等服務(wù)器與DCIM系統(tǒng)時(shí)鐘服務(wù)器同步。

2.電力監(jiān)控系統(tǒng)

電力監(jiān)控系統(tǒng)數(shù)據(jù)接入燃油自控、柴發(fā)并機(jī)、蓄電池監(jiān)控等子系統(tǒng)和變壓器、UPS、配電柜、直流屏、ATS等電力采集單元。

基于電力監(jiān)控在數(shù)據(jù)中心的重要性、保持延續(xù)性，一期已部署的ATS1000時(shí)鐘服務(wù)器為電力監(jiān)控系統(tǒng)專用授時(shí)。園區(qū)一、二期電力監(jiān)控系統(tǒng)歸屬的子系統(tǒng)和電力采集單元，含前端采集器如AU與電力監(jiān)控服務(wù)器時(shí)鐘同步；高壓綜保儀表通過(guò)RS485接口ModbusRTU協(xié)議接入電力監(jiān)控系統(tǒng)AU采集器，監(jiān)控系統(tǒng)需根據(jù)高壓綜保ModbusRTU協(xié)議定制開(kāi)發(fā)，實(shí)現(xiàn)AU采集器對(duì)高壓綜保儀表的授時(shí)；部署在云平臺(tái)的2臺(tái)電力監(jiān)控服務(wù)器與ATS1000時(shí)鐘同步。

3.智能化網(wǎng)

智能化網(wǎng)核心交換機(jī)為主時(shí)鐘服務(wù)器（2級(jí)），同步云平臺(tái)公共服務(wù)區(qū)BTS200授時(shí)服務(wù)器，BTS200的2個(gè)IP地址區(qū)分優(yōu)先級(jí)，智能化網(wǎng)中匯聚交換機(jī)、接入交換機(jī)（3級(jí)）。

辦公網(wǎng)配置同智能化網(wǎng)，網(wǎng)內(nèi)AP、AC等與辦公網(wǎng)核心交換機(jī)時(shí)鐘同步。

結(jié)語(yǔ)

數(shù)據(jù)中心建設(shè)在東數(shù)西算的大背景下，建設(shè)上得到了巨大發(fā)展，但如授時(shí)的規(guī)劃等方面，無(wú)論是設(shè)計(jì)還是總包單位，均未能引起重視，給數(shù)據(jù)中心運(yùn)營(yíng)造成了一定的影響。數(shù)據(jù)中心的建設(shè)工程師們，要善于從數(shù)據(jù)中心運(yùn)營(yíng)角度出發(fā)，充分吸收其他行業(yè)建設(shè)成果，在工作中注重探索總結(jié)，促進(jìn)技術(shù)的創(chuàng)新應(yīng)用，推動(dòng)數(shù)據(jù)中心標(biāo)準(zhǔn)化規(guī)范化建設(shè)。