馬今

摘 要：為了實現(xiàn)公司各地節(jié)點之間的工作文檔和數(shù)據(jù)文件的同步，公司實現(xiàn)了一個文件同步系統(tǒng)。論文介紹了該文件同步系統(tǒng)的運行環(huán)境和應(yīng)用需求，探討了加密網(wǎng)絡(luò)對系統(tǒng)需求、設(shè)計方案的影響，進而采用大文件傳輸工具箱作為基礎(chǔ)工具，實現(xiàn)了文件同步系統(tǒng)。同時，論文探討了文件同步系統(tǒng)取得的成效。結(jié)果表明：加密網(wǎng)絡(luò)環(huán)境下多節(jié)點文件同步系統(tǒng)能夠滿足企業(yè)的應(yīng)用要求。

關(guān)鍵詞：文件同步；加密網(wǎng)絡(luò)；大文件傳輸

中圖分類號： TP309 文獻標識碼：A

Practice and Research of File Synchronization System in Multi Node Encrypted Network

Ma Jin

（Beijing Primeton Yundong Technology.Co.Ltd.， Beijing 100080）

Abstract： In order to realize the synchronization of work documents and data files between different nodes， a file synchronization system has been implemented. This paper introduces the running environment of the file synchronization system and application requirements， discusses the influence of network encryption system design requirements. File transfer toolbox as a basic tool， realizes the file synchronization system. At the end of this paper， the effectiveness of the file synchronization system is discussed. The results show that the multi node file synchronization system in the encrypted network environment can meet the application requirements of the organization.

Key words： File Synchronization； Encryption Network； Large File Transfer

1 引言

在公司的信息技術(shù)框架下，以數(shù)據(jù)庫服務(wù)為基礎(chǔ)的數(shù)據(jù)中心已經(jīng)穩(wěn)定運行多年。隨著信息技術(shù)的日新月異，特別是大數(shù)據(jù)技術(shù)、地理信息技術(shù)、VR/AR技術(shù)等不斷成熟，越來越多專業(yè)領(lǐng)域的應(yīng)用開發(fā)團隊加入到公司信息化建設(shè)中，共同參與數(shù)據(jù)的價值挖掘。然而，數(shù)據(jù)庫服務(wù)不適合大數(shù)據(jù)量高并發(fā)查詢，用戶不斷新增管理困難，數(shù)據(jù)訪問難以審計監(jiān)督等局限性逐漸顯現(xiàn)。公司逐漸用數(shù)據(jù)服務(wù)總線為基礎(chǔ)的服務(wù)中心，代替現(xiàn)有的數(shù)據(jù)中心對外提供數(shù)據(jù)服務(wù)，對基礎(chǔ)數(shù)據(jù)的管理能力大大提升。

在初步完成了數(shù)據(jù)共享管理目標之后，公司的文件共享管理任務(wù)被提上日程。無論是通知、制度、規(guī)范的文本下發(fā)，還是電子工作文檔的傳遞，再到異構(gòu)的大量基礎(chǔ)數(shù)據(jù)需要集中進行全網(wǎng)同步—公司急需在加密網(wǎng)絡(luò)中實現(xiàn)各個節(jié)點之間的文件同步功能。

2 文件同步系統(tǒng)的建設(shè)背景和任務(wù)目標

經(jīng)過需求整理，該文件同步系統(tǒng)應(yīng)滿足一下功能需求。

（1）同步的文件大小在數(shù)十k至數(shù)G（超過10G的文件采用異步機制共享）。

（2）文件的共享方可以自由選擇共享給那些加密網(wǎng)內(nèi)的節(jié)點。

（3）根據(jù)當前網(wǎng)絡(luò)的帶寬占用比例，自動調(diào)節(jié)傳輸速度，保證數(shù)據(jù)服務(wù)擁有足夠帶寬。

（4）在帶寬不足以完成當前文件同步任務(wù)時，自動將任務(wù)切換為異步發(fā)送，待網(wǎng)絡(luò)帶寬空余再繼續(xù)發(fā)送。

（5）發(fā)送完成后立即刪除所發(fā)送文件的本地實例，以節(jié)省空間。

（6）任意節(jié)點刪除或遷移本地接收到的文件實例，都不影響其它節(jié)點文件實例的存續(xù)。

（7）所有文件共享、子節(jié)點文件實例刪除都留有記錄供審計。

（8）所有文件傳輸、同步任務(wù)的起止時間都被監(jiān)控，以便發(fā)現(xiàn)節(jié)點故障或通道失效，實時發(fā)出預(yù)警。

3 加密網(wǎng)環(huán)境介紹及其對系統(tǒng)設(shè)計的影響

通常情況下，網(wǎng)絡(luò)系統(tǒng)安全與性能、功能是一對矛盾的關(guān)系，如果某個系統(tǒng)不對外界提供任何服務(wù)（網(wǎng)絡(luò)斷開）外界是不可能對其構(gòu)成安全威脅的。但是，本加密網(wǎng)出于業(yè)務(wù)要求，不僅網(wǎng)絡(luò)節(jié)點本身位于全國的省、市、自治區(qū)加密子網(wǎng)，還連接著各地公共服務(wù)部門的數(shù)據(jù)提供方和數(shù)據(jù)服務(wù)提供方。因此，無法采用網(wǎng)絡(luò)斷開的方式保證本加密網(wǎng)絡(luò)的安全性。

在本加密網(wǎng)的實際環(huán)境中，首先對加密網(wǎng)的數(shù)據(jù)安全風險作出分析，統(tǒng)一規(guī)劃，全面考慮；其次，統(tǒng)一配置、監(jiān)管、管理各種技術(shù)，如虛擬加密網(wǎng)、文件加密技術(shù)、公鑰基礎(chǔ)設(shè)施（PKI）技術(shù)、操作系統(tǒng)底層技術(shù)、網(wǎng)絡(luò)基礎(chǔ)協(xié)議等；最后，加強制訂了有關(guān)網(wǎng)絡(luò)安全保密的各項制度和規(guī)范，制訂自動化的考核機制并保證能夠嚴格執(zhí)行。這些安全機制的設(shè)計和實現(xiàn)都在文件同步需求產(chǎn)生之前，安全機制的存在為文件同步系統(tǒng)的設(shè)計實現(xiàn)造成了不小的挑戰(zhàn)。

3.1 物理層數(shù)據(jù)存儲安全機制

因為數(shù)據(jù)本身是絕密或者機密，所以本加密網(wǎng)對數(shù)據(jù)本身進行加密，杜絕存儲介質(zhì)非法讀取、被盜、不安全替換、未脫敏丟棄等造成重要數(shù)據(jù)泄密的可能。沒有密鑰的情況下，數(shù)據(jù)是不能解密的；而密鑰不存儲在數(shù)據(jù)所在位置本地。endprint

3.2 網(wǎng)絡(luò)層數(shù)據(jù)傳輸安全機制

網(wǎng)絡(luò)傳輸?shù)臄?shù)據(jù)必須是二次加密，以防止非法監(jiān)聽、廣播方式截獲數(shù)據(jù)；同時將網(wǎng)絡(luò)按照安全級別，在邏輯上劃分成了不同的虛擬保密子網(wǎng)，不同保密子網(wǎng)的通信加密算法類型不同，由網(wǎng)關(guān)節(jié)點實現(xiàn)限于內(nèi)存中的解密再加密任務(wù)。網(wǎng)關(guān)節(jié)點只允許相鄰節(jié)點通過操作系統(tǒng)認證才能連通，不相鄰節(jié)點通過防火墻杜絕穿透訪問可能。從而將非法接入導(dǎo)致的安全風險范圍限制在本節(jié)點范圍內(nèi)（省、市、自治區(qū)加密子網(wǎng)），杜絕風險擴散可能。

3.3 系統(tǒng)層用戶接入安全機制

操作系統(tǒng)是所有計算機終端、工作站和服務(wù)器等正常運行的基礎(chǔ)。根據(jù)操作系統(tǒng)應(yīng)用環(huán)境對安全的要求不同，本加密網(wǎng)分別做出了安全管理。具體安全管理措施包括服務(wù)器物理安全、系統(tǒng)補丁管理、登錄安全、用戶安全、文件權(quán)限安全、打印安全、注冊表安全、遠程登錄（RLS）安全、遠程訪問（RAS）安全、應(yīng)用安全等。

以上每一層安全機制都要求本系統(tǒng)一一設(shè)計對應(yīng)方案，以保證整個文件同步系統(tǒng)的順利運行。

4 解決思路及系統(tǒng)設(shè)計原則

在這樣的實際環(huán)境下，本次文件同步系統(tǒng)的設(shè)計目標：通過文件同步系統(tǒng)的搭建，實現(xiàn)本加密網(wǎng)絡(luò)各地節(jié)點之間的文件同步功能，加強對文件的安全保護，提高涉密文件的管理水平，保證加密網(wǎng)的安全、穩(wěn)定運行，保證文件同步系統(tǒng)的安全、穩(wěn)定運行，能夠通過國家涉密網(wǎng)絡(luò)的例行檢查，并遵循幾項設(shè)計原則。

（1）功能性不影響安全。文件同步系統(tǒng)的需要高可用性的運行效果，但是任何影響安全性的功能設(shè)計將不能被接受。

（2）全方位實現(xiàn)功能、滿足性能。功能和性能要求必須從全方位、多層次加以考慮，來確保系統(tǒng)適用性。

（3）易于使用，盡可能低的學(xué)習(xí)成本。最終用戶對信息技術(shù)的了解非常有限，應(yīng)該允許最終用戶專注于自身業(yè)務(wù)，而非學(xué)習(xí)和使用本系統(tǒng)。

（4）易于實施、管理與維護。系統(tǒng)運行在加密網(wǎng)內(nèi)，更多的維護次數(shù)會增加運維成本；更多的人工介入，也大大增加安全風險。因此低維護甚至零維護是本系統(tǒng)設(shè)計的重要原則。

（5）可伸縮性。系統(tǒng)目前的使用規(guī)模：全國各地省、市、自治區(qū)級別加密子網(wǎng)內(nèi)的本系統(tǒng)二級單位，以及全國各地區(qū)、縣、自治縣級別加密子網(wǎng)內(nèi)的本系統(tǒng)三級單位。由于全國各地的環(huán)境千差萬別，系統(tǒng)整體建設(shè)周期將會進行兩年時間。建設(shè)期間必須允許各個節(jié)點逐步注冊上來，并立即投入使用。

（5）節(jié)約系統(tǒng)投資。在保障安全性、功能性、可用性、易用性的前提下，必須充分考慮投資成本，將國家利益始終放在第一位。通過認真規(guī)劃設(shè)計，選擇實現(xiàn)機制，達到解決系統(tǒng)投資的目的。

5 實踐方案

為了能夠充分聽取專家意見，采納兄弟單位的實踐經(jīng)驗，公司成立了由科研單位和兄弟機構(gòu)專家組成的委員會，共同設(shè)計實現(xiàn)本系統(tǒng)。經(jīng)過為期半年的產(chǎn)品選型、原型實現(xiàn)、實景測試，系統(tǒng)選定大文件傳輸（BFT）工具箱作為基礎(chǔ)開發(fā)平臺。在實際操作中，系統(tǒng)主體框架主要抽取自BFT工具箱的三個工具：BFT Agent、BFT Server、BFT Console。其中，BFT Server為中心服務(wù)節(jié)點，集中管理傳輸代理節(jié)點信息、傳輸配置信息、日志記錄等；BFT Agent為傳輸代理節(jié)點是文件傳輸任務(wù)的最小執(zhí)行單元，負責監(jiān)控指定的本地文件系統(tǒng)，可以發(fā)送和接受來自其它Agent或者其他文件數(shù)據(jù)源的文件；BFT Console為管理控制臺提供友好的交互界面，使用Web化的控制臺集中管理整個文件同步系統(tǒng)。

5.1 系統(tǒng)可用性

為保證系統(tǒng)可用性，杜絕網(wǎng)絡(luò)故障、設(shè)備故障帶來的單點故障，系統(tǒng)在全國五大區(qū)域分別部署了一套BFTServer中心服務(wù)節(jié)點。各區(qū)域的BFTAgent傳輸代理節(jié)點默認與本區(qū)域的Server進行通訊；一旦發(fā)現(xiàn)通訊失敗或者無法偵測心跳，則自動跳轉(zhuǎn)至鄰近區(qū)域Server繼續(xù)通訊。由于BFT Server中心服務(wù)節(jié)點之間實時共享配置信息，所以上述跳轉(zhuǎn)基本上是無縫的，實踐中對于最終文件傳輸任務(wù)的影響程度低于100ms級別。

5.2 異步節(jié)點一致性

一般情況下，分布式條件下異步節(jié)點之間的一致性是必須著重關(guān)注的問題，由于配置信息時延所導(dǎo)致的文件重復(fù)傳輸類錯誤會導(dǎo)致網(wǎng)絡(luò)和存儲資源浪費；而文件替換/覆蓋請求如果因為刪除和添加逆序則會直接導(dǎo)致文件寫入后被刪除，導(dǎo)致數(shù)據(jù)丟失。經(jīng)過實踐分析，發(fā)現(xiàn)文件大小是影響異步一致性的主要敏感因素。因此，針對不同的業(yè)務(wù)數(shù)據(jù)進行合理規(guī)劃設(shè)計是必須注意。通過設(shè)置BFTAgent，可以減小文件鎖、服務(wù)（配置）鎖粒度，從而降低鎖競爭帶來的開銷。例如BFTAgent在線狀態(tài)，針對每個Agent配置一個分布式鎖，更新在線狀態(tài)必須獲得Agent對應(yīng)的鎖。而對于文件傳輸記錄這樣的無狀態(tài)數(shù)據(jù)無論在哪一個BFTServer都可以進行持久化存儲在同一個數(shù)據(jù)庫中，從而達到嚴格模式與混雜模式兼容的最佳效果。

5.3 會話控制機制

傳輸會話中存在兩類角色，其中發(fā)送文件的Agent作為發(fā)送方，接受文件的另外一個Agent就是接收方。發(fā)送方首先會與接收方進行協(xié)商，建立一個用于傳輸?shù)臅掃B接，會話建立成功之后，發(fā)送方把發(fā)送的文件一段一段地切分，切分的每一個數(shù)據(jù)段在建立好的會話上發(fā)送到接收方，接收方接受數(shù)據(jù)并驗證，驗證通過之后存儲到本地，當接收方接受完成整個文件之后會發(fā)送一個回執(zhí)到發(fā)送方，通知發(fā)送方文件已經(jīng)完整無誤的接受完成，可以進行后續(xù)處理。

6 系統(tǒng)獲得的成效

6.1 分段傳輸

一個文件被切分為眾多數(shù)據(jù)段，每個數(shù)據(jù)段分配一個文件的塊號，通過塊號可以準確無誤地寫入到接收方的臨時文件中。當最后一個文件塊到達接收方并寫入文件成功之后，更改臨時文件名，同時向發(fā)送方返回一個確認消息，通知發(fā)送方，所有文件塊已經(jīng)接收完成，發(fā)送方可以進行下一步操作。在傳輸過程中，每個數(shù)據(jù)段可以進行例如校驗、加密、多線程I/O等。endprint

6.2 數(shù)據(jù)校驗

如果說數(shù)據(jù)在傳輸過程中產(chǎn)生錯誤，錯誤的數(shù)據(jù)沒有被發(fā)現(xiàn)，那么接收到的文件也就無法保障正確性。分段方式傳輸則可以定位和發(fā)現(xiàn)錯誤，保障文件內(nèi)容的完整無誤。文件傳輸在讀取文件時，對已經(jīng)讀取的數(shù)據(jù)段進行編號并計算校驗和，校驗和、編號和數(shù)據(jù)段一同發(fā)送到接收方。當接收方接受完成之后校驗，如果驗證錯誤則立刻發(fā)送消息到發(fā)送方，發(fā)送方接收到這個信號之后會從出現(xiàn)問題的編號位置重新讀取數(shù)據(jù)，并將I/O隊列清空。

6.3 斷點續(xù)傳

BFT工具箱具備從斷點位置重新傳輸?shù)哪芰?，而分段式的傳輸為斷點定位和續(xù)傳帶來便利。例如文件發(fā)送第N塊數(shù)據(jù)時，連接被斷開或者會話異常，之后恢復(fù)連接并會話重試之后，發(fā)送方可以從上次中斷的文件塊開始繼續(xù)傳輸，不需要重新開始。因為網(wǎng)絡(luò)和應(yīng)用層面存在數(shù)據(jù)緩沖區(qū)，所以文件傳輸?shù)臄帱c是按照接收方存儲到文件系統(tǒng)中的實際大小為準，在建立傳輸會話時由接收方提供給發(fā)送方，這樣發(fā)送方就能準確定位斷點。

6.4 消息優(yōu)化

文件被分段傳輸，每個數(shù)據(jù)段都是在一個個消息上，使用Java對象作為消息進行通訊，由于消息中攜帶有類型的元數(shù)據(jù)，碼流過大，效率較低，所以BFT工具箱利用Google_Protobuf編解碼方案與BFT自定義編解碼兩種方式混合使用，提高消息的利用率降低碼流，以盡可能少的控制數(shù)據(jù)與文件數(shù)據(jù)放置在一個消息當中。其中Protobuf主要負責非文件數(shù)據(jù)的復(fù)雜消息的交互，例如建立會話的請求、回執(zhí)消息等。對于文件切分出來的數(shù)據(jù)塊，則采用更為簡潔、直觀的自定義編解碼方式。文件數(shù)據(jù)消息使用特殊BFT自定義消息的主要原因：Protobuf沒有NIO接口。如果使用Protobuf只能產(chǎn)生byte[]，這樣會出現(xiàn)內(nèi)存復(fù)制和GC過程。

6.5 流速控制

文件傳輸在實際傳輸文件的過程中，尤其是大文件，會占用網(wǎng)絡(luò)帶寬資源，影響其它進程的使用，所以文件傳輸BFTAgent具備實時流控，可以在BFTAgent進程和多個文件傳輸配置兩個維度分配流量，降低對其它進程的影響。流控同時帶來另外一個應(yīng)用場景，那就是優(yōu)先級?？梢葬槍?yōu)先級高的文件，增加流出速率，讓高優(yōu)先級的文件傳輸?shù)母煲恍?/p>

文件傳輸?shù)膸捲O(shè)置主要分為兩部分，其中BFTAgent設(shè)置一個總的可用帶寬，BFTAgent所屬的文件傳輸服務(wù)從這個總帶寬中分配。BFT工具箱采用了緩沖隊列和定期采集I/O流速的方式實現(xiàn)帶寬控制，緩沖隊列具備最高水位線，限制可以存儲的待發(fā)數(shù)據(jù)，防止內(nèi)存溢出，當?shù)竭_控制閾值后，緩沖隊列超過最高水位線時，發(fā)送不可寫事件，通知發(fā)送邏輯暫停讀取文件，等待恢復(fù)至水位線以下或任務(wù)被取消。

6.6 傳輸安全

對于傳輸過程中數(shù)據(jù)的安全性，文件傳輸系統(tǒng)支持安全套接字協(xié)議。為了滿足企業(yè)更多的定制化安全策略，同時也提供文件數(shù)據(jù)的加密、解密接口，可由用戶自行實現(xiàn)并放置到系統(tǒng)中，讓數(shù)據(jù)的傳輸更加安全。上述方式可以組合使用。

7 結(jié)束語

基于實際業(yè)務(wù)需求，結(jié)合BFT大文件傳輸工具箱，公司實現(xiàn)了各個節(jié)點之間的文件同步效果。雖然由于時間緊張，建設(shè)工程中發(fā)現(xiàn)了部分實踐問題未能及時得到解決（如加密網(wǎng)內(nèi)各個子系統(tǒng)服務(wù)器的系統(tǒng)時間，因為沒有可以統(tǒng)一連接的時間同步服務(wù)而存在系統(tǒng)時間差，導(dǎo)致日志監(jiān)控出現(xiàn)時間不一致），但是整體項目目標已經(jīng)基本達成。全國已接入的節(jié)點數(shù)：省、市、自治區(qū)接入比例達到近六成；區(qū)、縣、自治縣接入比例已超三成。截至目前，系統(tǒng)運行穩(wěn)定，文件同步功能可靠。

參考文獻

[1] Hervé，Chabanne，Pascal，Urien，Jean-Fer.RFID與物聯(lián)網(wǎng)[M].北京： 清華大學(xué)出版社，2016-01-01.

[2] 章立春.軟件保護及分析技術(shù)—原理與實踐[M].北京： 電子工業(yè)出版社， 2016-07-01.

[3] 陳志德，黃欣沂，許力.身份認證安全協(xié)議理論與應(yīng)用[M].北京： 電子工業(yè)出版社， 2015-01.

[4] Junaid Ahmed Zubair.賽博安全標準.實踐與工業(yè)應(yīng)用[M].北京： 國防工業(yè)出版社， 2015-6-1.endprint