陳寬錄
【摘要】隨著高清數字技術的高速發(fā)展,素材信息的存儲量也大大增加,對素材信息文件的讀寫速度和存儲容量的要求也顯著提高,因此誕生了矩陣存儲系統(tǒng)。本文主要對矩陣存儲技術中的“CIFS”文件共享服務進行分析,得出以下結論:對于服務器數量較多的場合,為方便使用,矩陣存儲器多個千兆網口選擇均衡(balance)的“alb”無需交換機支持的負載均衡方式”時,才能獲得最大讀寫速度和最高使用效率。
【關鍵詞】矩陣存儲;RAID;速度;負載均衡
1. 引言
當前,非線性媒體技術的高速發(fā)展,高清程度也越來越高,4K、8K超高清的出現(xiàn),使得媒體信息的存儲量大大增加,對素材的讀寫速度要求也越來越高,采用傳統(tǒng)的非編工作站自身的硬盤來存儲素材,顯然已經沒辦法滿足現(xiàn)在高速發(fā)展的需求,因此很有必要引入硬盤矩陣存儲器來滿足這個需求。本文主要對矩陣存儲器的“CIFS”文件共享服務在廣播電視臺媒體網絡中的使用方法以及影響讀寫速度的原因進行綜合分析,找出正確使用矩陣存儲器的方法。
2. 矩陣存儲器
2.1 矩陣存儲器又叫磁盤矩陣服務器,或叫磁盤陣列服務器,其核心技術支撐是矩陣存儲技術。矩陣存儲技術的核心技術支撐是RAID解決方案,該方案能夠全面地提升計算機的硬盤故障容災能力和存儲能力。
2.2 磁盤矩陣(英文是Disk Array)是由硬盤控制器,通過RAID技術,將多個物理硬盤互相連接起來、并使多個硬盤同步讀寫,并增加存儲總空間,提高穩(wěn)定度的技術。
2.3 RAID技術是獨立磁盤冗余陣列的英文[Redundant(冗余)Array(陣列)of(的)Independent(獨立)Disks(磁盤)]縮寫,其核心方法是將多塊的物理硬盤以不同的組合方式連接起來,得到一個比使用單個硬盤具有更好更優(yōu)秀的存儲性能和更大的存儲空間的邏輯硬盤,并提供較好的數據備份能力和磁盤故障容災能力。根據磁盤陣列的不同組合連接方式,就產生了多種的RAID組合方式,最常用的是RAID0、1、5、10方式。下面重點介紹RAID5技術。
2.4 RAID5技術,使用的是Byte(字節(jié)) interleaving(交叉存儲)技術,中文名為“數據交錯存儲”,即將數據按一定的容錯算法,分為許多“小塊”,分散存儲到N+1個物理硬盤。實際存放數據的有效總空間,只有N個盤的總空間。
硬盤在SCSI卡的統(tǒng)一協(xié)調下,同時作讀寫操作,并將“奇偶校驗”用的數據位儲存到每個硬盤里。當N+1個硬盤中某個硬盤出現(xiàn)故障時,會自動根據其它N個硬盤中正常的數據來恢復原始數據,使得N個物理硬盤能夠繼續(xù)工作。當更換一個新物理硬盤后,系統(tǒng)自動恢復完整的數據信息。
2.5 RAID5具備很優(yōu)秀的容錯能力,硬盤的容量使用效率也非常高,它的穩(wěn)定可靠度也相當好。
2.6 CIFS是Common(通用)Internet(網絡)File(文件)System(系統(tǒng))的英文縮寫,中文叫通用網絡文件系統(tǒng),是一種共享方式。
3. 硬盤熱插拔技術
硬盤熱插拔,顧名思義,帶電插撥(英文是Hot Swap),即在不停機的情況下更換撥出硬盤。當有一個硬盤出現(xiàn)故障損壞的情況下,矩陣存儲器可以不用關機,帶電操作,直接撥出故障硬盤并換上新硬盤。磁盤陣列在硬盤出現(xiàn)故障的時候,一般情況下故障盤的相應指示燈會顯現(xiàn)異常。并伴隨自動鳴叫警示,向管理員提示更換硬盤。
4. 矩陣存儲器的主要作用
矩陣存儲器具有提高存儲器的讀寫速度,增加存儲容量,防止數據丟失這三大主要作用。
5. 矩陣存儲技術的特點:
引入RAID技術,相比通常的磁盤存儲設備來說,具有更高更優(yōu)秀的性能指標和更好的數據文件完整性,可以很大程度地增加存儲總空間,有效提高數據的讀寫速度、并提供非常有效的數據備份功能。
6. 影響矩陣存儲器讀寫速度的因素
本文主要描述的是采用RAID5方式的矩陣存儲作為素材的存儲設備。由于現(xiàn)在高配的存儲器內存、CPU等硬件的運行速度,已大大超過硬盤和交換機的讀寫速率和數據交換能力,因此,限制矩陣存儲器的讀寫速度的主要因素還是在于硬盤和網絡交換機的交換速度。
7. 矩陣存儲器的讀寫速度測試
7.1 測試條件:
7.1.1 矩陣存儲器:采用32個3TB的硬盤,硬盤內部傳輸速率是:168MB/S。采用RAID5方式。配備四個千兆網口,均支持負載平衡(balance)模式,選擇CIFS共享模式測試。
7.1.2 測試的四臺電腦配置:華碩P8Z77,i5@3.30GHz,4GB內存DDR3-1.6GHz,主板自帶千兆網口,西數500GB硬盤7200轉/分,內部數據傳輸率最大達1.008Gb/s,操作系統(tǒng):Windows7、64位、SP1。
7.1.3 千兆交換機:端口數量:48個,傳輸速率:1Gbps,71.42Mpps的包轉發(fā)率,96Gbps的背板帶寬。
7.2 實測結果
矩陣存儲器通過千兆交換機與四臺電腦相連接,實際測試數據如下:
7.2.1 電腦單機內部讀寫速度:
7.2.1.1 電腦單機內部讀寫速度:280~310Mb/s。
7.2.1.2 電腦單機經過網絡(即經過訪問網卡后返回本機)的讀寫速度:288~315Mb/s。說明硬盤要同時作讀取又要寫入的操作等因素,電腦本身訪問自己速度為正常的速度的一半左右。
7.2.2 在矩陣存儲器與交換機都沒有作綁定,矩陣存儲器只接一個網口時,電腦單機與矩陣存儲器間的讀寫速度:
存儲器的寫入:857Mb/s、讀?。?597Mb/s;電腦的寫入:597Mb/s、讀?。?57Mb/s。
7.2.3 在矩陣存儲器四個網口和交換機都沒有作綁定時,四臺電腦同時訪問矩陣存儲器的同一個網口同一個IP的情形:
7.2.3.1 四臺電腦同時向矩陣存儲器作讀寫素材時速度:
存儲器的寫入:899Mb/s、讀?。?95Mb/s;各電腦寫入:223-350Mb/s、讀?。?24-278Mb/s。從7.2.2和7.2.3.1數據分析可知,說明電腦的寫入速度比讀出速度慢。而矩陣存儲器讀寫速度相差不多。
7.2.3.2 兩臺電腦同時向矩陣存儲器不同文件夾作讀出操作、而另兩臺同時向矩陣存儲器不同文件夾作寫入操作時的速度:矩陣存儲器的讀寫總和的平均速度1625Mb/s,各電腦寫入:351~443Mb/s,讀?。?06~409Mb/s??紤]到交換機的包轉發(fā)所需要的附加開銷,可以說矩陣存儲器的單個千兆網口的讀取、寫入均可達到千兆比特/秒的速度,而且上下行的速度一樣。也就是說,單個千兆網口的同時讀取與寫入的速度合并值達到上下行的千兆值。
7.2.4 交換機和矩陣存儲器四個網口都沒有綁定時,四臺電腦分別訪問矩陣存儲器四個網口對應不同IP的情形:
7.2.4.1 四臺電腦同時訪問矩陣存儲器的不同文件夾作讀寫操作時:矩陣存儲器的總傳輸速度為寫入:3219.2Mb/s、讀取:1838.5Mb/s;四臺電腦傳輸速度在:寫入:411.7~561Mb/s、讀出804.8~853.7Mb/s;由于交換機轉發(fā)時需要額外增加一定的比特量,所以,在這樣的速率下,四個網口合計的矩陣存儲器寫入速度是3219.2Mb/s,加上交換機轉發(fā)包所需的額外量,基本上能達到交換機的千兆上限。(說明:矩陣存儲器讀取速度每個網口沒有達到千兆,是由于各電腦的寫入速度沒辦法達到千兆所致。)
7.2.4.2 四臺電腦同時向矩陣存儲器訪問同一文件夾并作讀寫操作時的速度:矩陣存儲器的寫入:2337.7Mb/s、讀?。?478.6Mb/s;各電腦:寫入:584.4~739.6Mb/s、讀?。?19.6~870Mb/s。
從7.2.4.1和7.2.4.2可知,矩陣存儲器在不同文件夾的寫入速度明顯快于在同一文件夾的寫入速度,而讀取速度正好相反。
7.2.5 交換機沒綁定而矩陣存儲器四個網口作“alb”無需交換機支持的負載均衡方式時,在四臺電腦同時去訪問矩陣存儲器的四個網絡端口綁定的一個共同IP的情形:
7.2.5.1? 四臺電腦同時向矩陣存儲器的不同文件夾作讀寫操作時:矩陣存儲器寫入速度:3314.88Mb/s、讀出速度:1645Mb/s;各電腦的寫入速度:411~476 Mb/s、讀取速度:875.36~875.76 Mb/s。
每個網口的速率:875.36 Mb/s加上交換機額外量,也達到交換機的千兆上限。
7.2.5.2? 兩臺電腦同時向矩陣存儲器作寫入、另兩臺電腦同時向矩陣存儲器作讀出操作的情形:矩陣存儲器讀寫合拼的速度:2532.5 Mb/s,兩臺電腦的寫入速度:633~673 Mb/s;另兩臺電腦的讀取速度:850.8~866.8 Mb/s。
7.2.6? 矩陣存儲器作“XOR”需交換機支持的負載均衡方式,四個網絡端口綁定成一個共同的1個IP,而千兆交換機四個端口同時作IP匯聚綁定,則讀寫速度將會大大下降,見如下所測數據。
四臺電腦同時向矩陣存儲器的不同文件訪問并作讀寫操作時的速度:矩陣存儲器寫入:1187.5 Mb/s、讀出1494.8 Mb/s;各電腦的寫入速度372~582Mb/s、讀出:297~871Mb/s。
7.3 對比分析
矩陣存儲器四個千兆口作“alb”無需交換機支持的負載均衡方式、所有電腦訪問同一IP時,傳輸速度跟四個網口沒作綁定時、四臺電腦同時訪問四個不同IP時,速度沒有多大差別,均能達到正常最高速度。但是,如果交換機作綁定,或矩陣存儲器作“XOR”的負載均衡方式時,速度將會大大下降。
8. 矩陣存儲器作四個網絡口的IP綁定
如果一個網絡,電腦數量少,沒有作綁定,可以做到四個網絡口的四個IP平均分配電腦臺數,這不會有什么問題。但是,如果一個網絡中電腦數量較多,沒有作綁定,則很難做好網口平均分配負擔電腦訪問臺數或者訪問數據量。如此一來,在訪問矩陣存儲器時,四個網口間的數據交換會由于負載不平衡而引起網口的數據交換負擔不平衡,從而難以達到最高訪問速度。這時,就要將四個網絡口綁定成一個IP,使所有電腦訪問矩陣存儲器時,共同訪問同一個IP。只有這樣做,才能達到最高的訪問速度。
9. 結語
對于電腦服務器數量較多的情況,只能作負載均衡,而且,交換機不能作任何聚合綁定,只有將矩陣存儲器四個千兆網口作balance-alb無需交換機支持的負載均衡方式時,才能發(fā)揮矩陣存儲器所能達到的最高數據讀寫速度。
參考文獻:
[1]馮麗娟.淺談RAID磁盤陣列功能及組網[J].電子質量,2013,(12):45-46
[2]古世磊.RAID5初始化方法研究與改進[J].科技浪潮,2013,(01):38-39
[3]黃蓬勃.淺談RAID技術 [J]. 電子世界,2013,(04):67-68
[4]李云龍,張曉慧,張振華,周文理.網絡存儲技術的應用研究[J].計算機光盤軟件與應用,2013,(02):33-37
[5]英姿.收放自如—實戰(zhàn)SATA硬盤熱插撥[J].電腦自做,2005,(07):128-131