孫林林

摘要： 隨著海南自由貿(mào)易港的建立，洋浦港在“面向東南亞的航運樞紐港、石油化工、漿紙一體化和油氣儲備基地”的“一港三基地”的作用愈發(fā)重要，港區(qū)的發(fā)展，業(yè)務量的增加，急需部署一套視頻監(jiān)控存儲系統(tǒng)。本文從項目背景、用戶需求進行分析，根據(jù)系統(tǒng)設計原則、建設內(nèi)容，提出了規(guī)劃設計方案，完成了洋浦港區(qū)口岸服務中心的監(jiān)控系統(tǒng)的優(yōu)化。

Abstract： With the establishment of the free trade port in Hainan， the role of Yangpu Port in the "one port and three bases" for "shipping hubs， petrochemicals， pulp and paper integration， and oil and gas reserve bases for Southeast Asia" has become increasingly important. With the development of the port area and the increase of business volume， it is urgent to deploy a video surveillance storage system. This article analyzes the background of the project and the needs of the users. According to the system design principles and construction content， it proposes a planning and design plan and completes the monitoring system optimization of the port service center in Yangpu Port Area.

關鍵詞：監(jiān)控系統(tǒng)；大數(shù)據(jù)云存儲；優(yōu)化

Key words： monitoring system；big data cloud storage；optimization

中圖分類號：TN954 文獻標識碼：A 文章編號：1006-4311（2018）26-0215-03

1 項目概述

洋浦港區(qū)口岸服務中心已經(jīng)分兩期建設了視頻存儲系統(tǒng)，已經(jīng)實現(xiàn)了初步的視頻存儲統(tǒng)一管理。為了能夠承載新增的高清視頻錄像存儲業(yè)務與視頻智能應用業(yè)務，需部署一套視頻監(jiān)控存儲系統(tǒng)，并且新增的存儲系統(tǒng)需要能夠整合現(xiàn)有的存儲系統(tǒng)，實現(xiàn)舊設備的再次利用以及存儲資源的池化，統(tǒng)一管理、統(tǒng)一規(guī)劃、統(tǒng)一分配和資源共享存儲資源，不僅簡化了應用緩解，也大大節(jié)約了用戶建設成本，同時提供更強的存儲和共享功能。為了實現(xiàn)視頻監(jiān)控數(shù)據(jù)高效、穩(wěn)定、快速的存取服務，并實現(xiàn)便捷、可靠的統(tǒng)一管理及運維，提高社會治安防控體系水平，加快新建擴建、視頻資源的共享和應用業(yè)務的整合。

2 用戶需求

2.1 可靠性需求 隨著容量和存儲設備的增加，視頻監(jiān)控數(shù)據(jù)的來源越來越多樣化，需要保證海量監(jiān)控數(shù)據(jù)存儲的安全性和可靠性是傳統(tǒng)視頻存儲面臨的巨大挑戰(zhàn)，在滿足數(shù)據(jù)可靠性的同時，還需要更高的硬盤利用率，避免犧牲大量的存儲空間（原始數(shù)據(jù)幾倍的存儲空間）來滿足數(shù)據(jù)可靠性要求。并要求存儲系統(tǒng)具備7×24小時的不間斷寫入的能力。在系統(tǒng)運行的過程中，運行壓力的持續(xù)或加大系統(tǒng)能夠通過集群技術、虛擬化技術動態(tài)自動調(diào)整業(yè)務壓力，將業(yè)務響應的壓力進行分散來減少單點壓力過大。

2.2 擴展性需求 能夠提供海量存儲和高速讀寫性能，以應對數(shù)十PB級的視頻存儲需求；能夠快速擴容，在動態(tài)調(diào)整具體監(jiān)控區(qū)域的存儲資源時要求能夠做到良好的靈活性，不但能夠增加存儲資源的配給，也能夠減少存儲資源的配給工作，充分體現(xiàn)出良好的擴展性，并且擴容后性能隨容量同步提升，設備一旦融入云存儲系統(tǒng)后立即可用作為整體存儲資源的一部分進行調(diào)用，在擴展存儲設備時要求能夠支持對接標準第三方存儲設備；保證在線系統(tǒng)增加、減少設備時業(yè)務不中斷；存儲系統(tǒng)部署方便，無需復雜的配置，可快速支持業(yè)務運行。

2.3 可用性需求 提供海量存儲空間、提高I/O吞吐能力以及保障數(shù)據(jù)安全后，為了確保數(shù)據(jù)得到持續(xù)有效的保護并且隨時可用，存儲系統(tǒng)的運行維護至關重要，直接決定了業(yè)務系統(tǒng)的持續(xù)運行能力。良好的可用性，將復雜的應用、繁瑣的操作流程簡單化。提供相應的大容量存儲系統(tǒng)的集中化管理軟件，用戶在唯一的界面上就能夠準確并安全地進行配置、部署、監(jiān)控整套存儲系統(tǒng)，簡化存儲系統(tǒng)的安裝、配置、監(jiān)控、日常維護和故障處理，能夠為用戶對設備狀態(tài)、資源、報警、升級、擴展，維護方面提供便捷。

2.4 資源整合需求 新增存儲系統(tǒng)可整合原有的IP SAN存儲資源，實現(xiàn)舊有設備的再次利用以及存儲資源的池化，進而實現(xiàn)對存儲資源統(tǒng)一管理、統(tǒng)一規(guī)劃、統(tǒng)一分配和資源共享。整合后的云存儲資源需要具備云存儲高性能，跨節(jié)點冗余技術，橫向擴展能力，便捷維護等特性且流媒體服務器能正常訪問并進行數(shù)據(jù)讀寫磁盤空間，用戶無須關心空間是通過怎樣的方式提供的。

2.5 系統(tǒng)兼容性需求 由于存儲系統(tǒng)前端采用的視頻服務器/流媒體服務器等會存在多種可能的操作系統(tǒng)，也可能是不同服務器廠商的不同型號產(chǎn)品，因此存儲系統(tǒng)需要具有廣泛的操作系統(tǒng)兼容性和與不同型號主機的良好互操作性。不能出現(xiàn)對主流的服務器和操作系統(tǒng)的兼容性問題，因此存儲系統(tǒng)要能提供和支持標準的協(xié)議和接口等。此外，為了便于整體的運維系統(tǒng)平臺搭建，存儲系統(tǒng)需要按照國內(nèi)外相關的技術標準與規(guī)范，提供標準的API 接口，以支持構建統(tǒng)一的視頻管理集成應用平臺。

2.6 大數(shù)據(jù)分析需求

①視頻存儲系統(tǒng)除了需要滿足基本的視頻采集、傳輸、存儲，回放等業(yè)務以外，還需要滿足智能分析、視頻轉(zhuǎn)碼、視頻摘要、全局檢索、視頻歸檔、時空重構等多種智能化的應用需求，存儲系統(tǒng)必須滿足 Paas 層大數(shù)據(jù)與云計算業(yè)務平臺核心性能需求。②視頻存儲系統(tǒng)需滿足兼容 Hadoop大數(shù)據(jù)處理標準接口與 Openstack 云計算接入標準，且能夠為其他業(yè)務應用提供不同性能資源池。③視頻存儲系統(tǒng)需提供海量大數(shù)據(jù)計算基礎資源池，為智能分析系統(tǒng)提供高性能，高可靠，統(tǒng)一標準接口的數(shù)據(jù)資源，保證視頻圖像資源的智能化運用。④隨著云計算發(fā)展，視頻存儲系統(tǒng)能夠靈活滿足不斷增長的存儲性能與計算性能的需求。結合上述需求，本次建設將采用云存儲擴容和優(yōu)化管理。

3 系統(tǒng)設計原則

通過對用戶視頻監(jiān)控存儲平臺的需求了解，結合存儲系統(tǒng)的應用特點，在建設過程中應當遵循如下原則：

3.1 安全可靠性原則 系統(tǒng)支持分布式架構；系統(tǒng)支持從硬件層面，數(shù)據(jù)層面到業(yè)務層面高可用，滿足可用性原則；系統(tǒng)支持存儲系統(tǒng)集群，滿足高可靠性需求；系統(tǒng)具備充分的數(shù)據(jù)冗余，數(shù)據(jù)容錯能力；系統(tǒng)具有專業(yè)的技術保障體系以及數(shù)據(jù)可靠性保證機制；系統(tǒng)在存儲節(jié)點損壞時（包括硬盤，機柜的故障），不會丟失數(shù)據(jù)；系統(tǒng)在發(fā)生數(shù)據(jù)損壞時，有數(shù)據(jù)自愈能力；對工作環(huán)境要求較低，環(huán)境適應能力強；確保系統(tǒng)具有高度的安全性，提供安全的登錄和訪問措施，防止系統(tǒng)被攻擊；異常掉電后不丟失數(shù)據(jù)，供電恢復后自動重新啟動并自動恢復正常連接；系統(tǒng)器件選擇要考慮能支持 7×24小時連續(xù)長時間大壓力下工作。

3.2 擴展性原則 系統(tǒng)易于擴展，支持 EB 級數(shù)據(jù)存儲；系統(tǒng)在容量擴展時，性能得到提升；系統(tǒng)選擇標準化的部件，利于靈活替換和容量擴展。

3.3 先進性原則 系統(tǒng)必須嚴格遵循國際標準、國家標準和國內(nèi)通信行業(yè)的規(guī)范要求；需符合存儲技術以及 IT 行業(yè)的發(fā)展趨勢，所選用的產(chǎn)品型號已規(guī)模上量；所有的系統(tǒng)處于先進的技術水平，確保較長時間內(nèi)技術上不落伍；系統(tǒng)的處理能力要達到業(yè)內(nèi)領先，對于本次業(yè)務的使用要留有一定的余量，以滿足后續(xù)升級的需求。

3.4 開放性原則 系統(tǒng)必須支持國際上通用的標準網(wǎng)絡存儲協(xié)議、國際標準的應用開放協(xié)議；與主流服務器之間保持良好的兼容性；兼容各主流操作系統(tǒng)及應用程序；可以與第三方管理平臺集成，提供給客戶定制化的管理維護手段；滿足今后的發(fā)展，留有充分的擴充余地。

3.5 易維護性原則 系統(tǒng)支持簡體中文，通俗易懂，操作方便、簡單；系統(tǒng)具有充分的權限管理，日志管理、故障管理，并能夠?qū)崿F(xiàn)故障自動報警；系統(tǒng)設備安裝使用簡單，無需專業(yè)人員維護；系統(tǒng)容量可按需要在線擴展，無需停止業(yè)務；系統(tǒng)功能擴充需要升級時，支持不中斷業(yè)務升級；支持圖形化界面管理方式。

4 建設內(nèi)容

4.1 建設內(nèi)容 ①新增5臺磁盤陣列和190塊硬盤，增加現(xiàn)有的存儲容量，保證擴容的存儲空間。②新增1臺40K 三項UPS主機和電池柜，以滿足現(xiàn)有機房斷電后的設備持續(xù)工作。③對原有的管理系統(tǒng)升級，升級為云存儲管理系統(tǒng)，以便用戶更好的服務和管理。④針對1、2期改造，及本期項目的3年運維服務，要求7*24技術支持，4 小時響應，8小時到場，24小時內(nèi)解決問題。本項服務費為運維服務費，不包括設備損壞更換費用。

4.2 設計思想及目標 針對洋浦港區(qū)口岸服務中心監(jiān)控的需求。本期數(shù)字監(jiān)控系統(tǒng)增加云存儲 1 套、原有系統(tǒng)平臺的升級，用來擴大港區(qū)口岸監(jiān)控范圍及視頻存儲。增加一臺40K UPS，以保障現(xiàn)有機房斷電后的持續(xù)工作。由于原有建設一期、二期的維保服務已經(jīng)到期，所以在本次建設內(nèi)容里增加了對原有一、二期建設的維保服務內(nèi)容。本次方案，主要是針對視頻監(jiān)控應用場景，根據(jù)用戶對容量和性能的需求，本次存儲系統(tǒng)配置5臺存儲節(jié)點，190 塊4TB SATA磁盤，并且NCS10000存儲系統(tǒng)通過分布式切片及負載均衡技術，充分利用硬件和網(wǎng)絡的性能，構造高效的數(shù)據(jù)通道，滿足用戶對存儲容量和性能的需求。通過多端口千兆網(wǎng)絡互連前端的應用節(jié)點和后端的集群存儲節(jié)點，可以保證存儲設備的性能輸出達到最大化。存儲節(jié)點一方面用來存放文件系統(tǒng)中所有的元數(shù)據(jù)信息，包括文件目錄樹組織、屬性維護、文件操作日志記錄、訪問控制信息、存儲位置等，管理整個系統(tǒng)的命名空間，對外提供單一的系統(tǒng)映像。另一方面用來存儲用戶的實體數(shù)據(jù)即視頻錄像數(shù)據(jù)等，當客戶端訪問系統(tǒng)時，首先訪問存儲節(jié)點中的元數(shù)據(jù)信息，獲取將要與之進行交互的存儲節(jié)點的信息，然后訪問這些節(jié)點來完成數(shù)據(jù)讀寫，用戶可以通過擴展存儲集群來獲得更多文件管理的能力以及更大的聚合帶寬與存儲容量，靈活、無縫、平滑的擴展方式讓用戶可以有效地控制成本。

5 視頻云存儲平臺規(guī)劃設計方案

為了解決傳統(tǒng)視頻監(jiān)控系統(tǒng)面臨的數(shù)據(jù)量大、效率低、信息孤立、可靠性差、兼容性差等問題，為了滿足存儲管理海量視頻監(jiān)控數(shù)據(jù)，保證數(shù)據(jù)安全的同時，進行簡易化合理的視頻監(jiān)控數(shù)據(jù)的存儲管理以及提高存儲系統(tǒng)讀寫性能，提升視頻監(jiān)控數(shù)據(jù)的處理效率，將存儲系統(tǒng)的價值發(fā)揮到最大。同有科技專門針對安防監(jiān)控行業(yè)應用自主研發(fā)了一套NetStor NCS10000云存儲系統(tǒng)。NCS10000存儲系統(tǒng)為前端應用服務器端提供一個全局統(tǒng)一命名空間，方便用戶數(shù)據(jù)的統(tǒng)一管理，減少了人力管理和維護的成本，并且數(shù)據(jù)的全局共享可以加強各計算節(jié)點之間的寫作，提高了作業(yè)的運行效率。

作為海量存儲系統(tǒng)，NCS10000能夠組合上萬臺以上存儲節(jié)點，在線擴展至 EB 級別存儲容量，并可以同時管理上千億個文件，單個目錄可以滿足千萬級的文件數(shù)量的讀寫，NCS10000集群存儲系統(tǒng)通過多存儲節(jié)點集群技術和高效的海量文件檢索技術，在存儲上千億個文件的同時，能夠保持極高的文件檢索效率。NCS10000集群存儲系統(tǒng)通過多臺存儲設備，提供并行的數(shù)據(jù)存儲服務，在應用服務器端向存儲系統(tǒng)上寫文件時，文件將會根據(jù)一定大小進行分片，然后存放到多臺存儲設備上；在應用服務器端讀取文件時，則并發(fā)的從多個存儲設備上讀取數(shù)據(jù)，組合后供應用服務器端讀取，顯著提高存儲的讀寫性能。并且NCS1000O存儲系統(tǒng)支持動態(tài)的擴展容量，無需中斷應用的運行，而且隨著存儲設備和數(shù)據(jù)的增多，整套系統(tǒng)的性能也會呈現(xiàn)線性的增長，完全滿足用戶針對業(yè)務不斷發(fā)展所產(chǎn)生的容量和性能需求。

6 結語

本文首先分析了用戶需求，根據(jù)系統(tǒng)設計原則、建設內(nèi)容，提出了基于NetStor NCS10000 云存儲系統(tǒng)的視頻云存儲平臺規(guī)劃設計方案，完成了洋浦港區(qū)口岸服務中心的監(jiān)控系統(tǒng)的優(yōu)化。

參考文獻：

[1]施朗，艾雄軍，馬方方.一種面向視頻監(jiān)控的云存儲系統(tǒng)設計與實現(xiàn)[J].電子技術與軟件工程，2015（08）.

[2]趙鐵柱，鄧見光.面向大規(guī)模數(shù)據(jù)備份的云存儲網(wǎng)關研究[J].計算機光盤軟件與應用，2013（12）.

[3]于成龍，王梓涵.面向云存儲的非結構化數(shù)據(jù)存儲研究[J].計算機光盤軟件與應用，2014（19）.