楊繼民

（金陵科技學(xué)院 圖書(shū)館，江蘇 南京 211169）

存儲(chǔ)從最初服務(wù)器的內(nèi)置設(shè)備，到獨(dú)立于主機(jī)之外，組建單獨(dú)的存儲(chǔ)網(wǎng)絡(luò)，專(zhuān)注于數(shù)據(jù)的管理，促成“數(shù)據(jù)計(jì)算和數(shù)據(jù)管理”的分離，實(shí)現(xiàn)了一步步飛越。目前存儲(chǔ)系統(tǒng)已經(jīng)成為了一個(gè)與網(wǎng)絡(luò)系統(tǒng)、服務(wù)器系統(tǒng)并列的重要IT子系統(tǒng)。隨著圖書(shū)館數(shù)字化進(jìn)程的開(kāi)始，越來(lái)越多的電子文獻(xiàn)資源被不斷引進(jìn)，而且圖書(shū)館一直在致力于自主數(shù)字資源的開(kāi)發(fā)，傳統(tǒng)的紙質(zhì)以及音像資源現(xiàn)在也越來(lái)越多地實(shí)現(xiàn)數(shù)字化。而這一切使得圖書(shū)館的數(shù)據(jù)量越來(lái)越大，海量存儲(chǔ)也對(duì)圖書(shū)館的存儲(chǔ)管理提出了嚴(yán)格的要求。如何建立一個(gè)安全高效、管理方便且具有較強(qiáng)擴(kuò)展能力的存儲(chǔ)系統(tǒng)，擺在了圖書(shū)館技術(shù)管理人員面前。

一、圖書(shū)館存儲(chǔ)的一般要求

1.安全性

圖書(shū)館所有的數(shù)據(jù)包括核心數(shù)據(jù)全部在存儲(chǔ)系統(tǒng)中，必然對(duì)存儲(chǔ)的安全性有很高的要求，為了核心數(shù)據(jù)的安全，同時(shí)需要建立數(shù)據(jù)災(zāi)備、容災(zāi)系統(tǒng)進(jìn)行配合，以提高數(shù)據(jù)安全性。

2.穩(wěn)定性

圖書(shū)館的業(yè)務(wù)系統(tǒng)要能承受大量的應(yīng)用需求并且具有良好的反應(yīng)速度，而圖書(shū)館的數(shù)據(jù)具有較高I/O要求，電子資源服務(wù)要求一周7×24小時(shí)提供不間斷服務(wù)，需要一個(gè)成熟穩(wěn)定、故障率低的存儲(chǔ)系統(tǒng)。

3.可擴(kuò)展性

圖書(shū)館每年會(huì)購(gòu)買(mǎi)大量的電子資源，目前的數(shù)據(jù)量是以TB的倍數(shù)在增長(zhǎng)，數(shù)據(jù)的急速膨脹對(duì)存儲(chǔ)的可擴(kuò)展性有一定的要求，這種擴(kuò)展并不是簡(jiǎn)單的容量擴(kuò)展，同時(shí)應(yīng)該包括數(shù)據(jù)處理能力、數(shù)據(jù)交換帶寬和數(shù)據(jù)管理能力的擴(kuò)展。

4.兼容性

目前應(yīng)用系統(tǒng)對(duì)數(shù)據(jù)的使用方式，仍以文件系統(tǒng)、數(shù)據(jù)庫(kù)系統(tǒng)為主要手段。存儲(chǔ)系統(tǒng)要適應(yīng)各種主機(jī)系統(tǒng)的數(shù)據(jù)I/O要求，就必須能夠兼容各種操作系統(tǒng)和文件系統(tǒng)、數(shù)據(jù)庫(kù)系統(tǒng)等各種傳統(tǒng)數(shù)據(jù)管理手段。

5.可管理性

支持各種主流的管理協(xié)議和管理架構(gòu)，能夠與網(wǎng)絡(luò)、計(jì)算等各種設(shè)備進(jìn)行統(tǒng)一管理和集中管理。

6.較高的性?xún)r(jià)比

應(yīng)綜合考慮存儲(chǔ)的預(yù)算、價(jià)格、性能以及可擴(kuò)展性、后期擴(kuò)展成本等各方面因素選擇適合于本館的存儲(chǔ)產(chǎn)品。

二、目前的存儲(chǔ)形式及各自的優(yōu)缺點(diǎn)

1.DAS（Direct Attached Storage，直接附加存儲(chǔ)）

DAS指將存儲(chǔ)設(shè)備直接連接到服務(wù)器上。上個(gè)世紀(jì)80年代，DAS是主要的存儲(chǔ)方式。它的特點(diǎn)是初始費(fèi)用比較低，配置簡(jiǎn)單。目前DAS依然被廣泛地應(yīng)用在小型存儲(chǔ)應(yīng)用上。與此同時(shí)，DAS也暴露出它的缺點(diǎn)，對(duì)于多個(gè)服務(wù)器或多臺(tái)PC的環(huán)境，每臺(tái)PC或服務(wù)器單獨(dú)擁有自己的存儲(chǔ)磁盤(pán)，容量的再分配困難；對(duì)于整個(gè)環(huán)境下的存儲(chǔ)系統(tǒng)管理，工作繁瑣而重復(fù)，沒(méi)有集中管理解決方案,整體管理成本較高。[1]

2.NAS（Network Attached Storage）

NAS是一種專(zhuān)業(yè)的網(wǎng)絡(luò)文件存儲(chǔ)及文件備份設(shè)備。通常是集成了處理器的磁盤(pán)柜，可以看做是一種專(zhuān)門(mén)優(yōu)化了的文件服務(wù)器加上大容量存儲(chǔ)，連接到TCP/IP網(wǎng)絡(luò)（LAN或WAN），通過(guò)文件存取協(xié)議存取數(shù)據(jù)。[2]NAS的優(yōu)點(diǎn)是易于安裝，即插即用。NAS設(shè)備的物理位置可靈活安排，易于維護(hù)，可擴(kuò)展性強(qiáng)，并且NAS是多平臺(tái)支持。NAS的缺點(diǎn)是由于采取文件請(qǐng)求的方式，相比塊請(qǐng)求的設(shè)備性能差，而且占用應(yīng)用網(wǎng)絡(luò)帶寬。NAS系統(tǒng)的文件傳輸采用的文件協(xié)議不適用于某些數(shù)據(jù)庫(kù)。

3.SAN（Storage Area Network）

SAN是一個(gè)由存儲(chǔ)設(shè)備和存儲(chǔ)構(gòu)件組成的網(wǎng)絡(luò)，所有的通信都在一個(gè)與應(yīng)用網(wǎng)絡(luò)隔離的單獨(dú)網(wǎng)絡(luò)上完成，被用來(lái)集中和共享存儲(chǔ)資源。

SAN主要有以下優(yōu)點(diǎn)：（1）存儲(chǔ)與服務(wù)器之間可以遠(yuǎn)距離連接；（2）高可靠性和高性能；（3）多個(gè)服務(wù)器和存儲(chǔ)之間可以任意連接，支持異構(gòu)平臺(tái)；（4）集中的存儲(chǔ)設(shè)備代替了多個(gè)獨(dú)立的存儲(chǔ)，支持存儲(chǔ)容量共享；（5）SAN易于擴(kuò)展存儲(chǔ)容量；（6）可以通過(guò)軟件集中管理和控制SAN上的存儲(chǔ)設(shè)備，提供數(shù)據(jù)共享；（7）SAN不但提供了對(duì)數(shù)據(jù)設(shè)備的高性能連接，還增加了對(duì)存儲(chǔ)的冗余連接功能，提供了高可用群集系統(tǒng)的支持。SAN的缺點(diǎn)是成本較高，并且對(duì)管理人員也有一定的技術(shù)要求。

我們看到，DAS不適用于數(shù)字圖書(shū)館的大容量存儲(chǔ)集中管理的要求，而NAS可以完成大容量存儲(chǔ)管理，但它以文件協(xié)議傳輸數(shù)據(jù)，占用網(wǎng)絡(luò)帶寬，性能較差，所以不適用于圖書(shū)館環(huán)境的快速I(mǎi)/O要求和以數(shù)據(jù)庫(kù)為主的業(yè)務(wù)應(yīng)用。比較而言SAN具有傳輸速率高、數(shù)據(jù)吞吐量大、容錯(cuò)能力強(qiáng)、穩(wěn)定性高、可以集中管理、可以自由擴(kuò)展容量的特點(diǎn)，無(wú)疑是數(shù)字化圖書(shū)館的最佳選擇。

三、SAN技術(shù)的選擇

1.SAN分類(lèi)

SAN分為基于FC協(xié)議的FC SAN,以及以iSCSI協(xié)議為主的IP SAN（以下稱(chēng)為iSCSI SAN）。下面我們分別來(lái)了解一下這兩種SAN。

（1）FC SAN：在最初的時(shí)候，存儲(chǔ)都是在服務(wù)器內(nèi)部，基于SCSI協(xié)議，通過(guò)SCSI線(xiàn)與主機(jī)相連，而隨著存儲(chǔ)設(shè)備的不斷擴(kuò)大，存儲(chǔ)逐漸從主機(jī)內(nèi)部移動(dòng)到了主機(jī)外部，有自己的磁盤(pán)柜以及電源供應(yīng)。這時(shí)的SCSI協(xié)議，就顯露出連接設(shè)備少，連接距離短，主機(jī)共享性低等一系列問(wèn)題，當(dāng)時(shí)的以太網(wǎng)帶寬只有10Mb,無(wú)法提供高速傳輸數(shù)據(jù)能力。于是1988年能提供1Gb串行網(wǎng)絡(luò)訪(fǎng)問(wèn)能力的光纖通道協(xié)議（Fibre Channel，簡(jiǎn)稱(chēng) FC）面世,于上世紀(jì)90年代末開(kāi)始大規(guī)模應(yīng)用。早期的SAN都是搭建在光纖通上的，所以SAN曾經(jīng)成為光纖存儲(chǔ)網(wǎng)絡(luò)的代名詞，而且隨著基于IP的SAN的出現(xiàn)，這類(lèi)SAN又被加了一個(gè)前綴，稱(chēng)為“FC SAN”。目前FC SAN已經(jīng)發(fā)展到8Gb。

在FC SAN中，主機(jī)要安裝一塊光纖HBA（主機(jī)總線(xiàn)適配器）卡，再通過(guò)光纖線(xiàn)連接到光纖交換機(jī)相應(yīng)的端口中，形成FC SAN的交換結(jié)構(gòu)。

FC SAN結(jié)合了高速度和低延遲的特點(diǎn)，并且具有強(qiáng)大的擴(kuò)展能力，可以通過(guò)強(qiáng)大的交換機(jī)系統(tǒng)給數(shù)百臺(tái)設(shè)備提供快速連接。FC SAN也是一種非常可靠的SAN技術(shù)，HBA和交換機(jī)的性能非常強(qiáng)大，設(shè)備故障率非常低。FC SAN結(jié)構(gòu)允許多重連接線(xiàn)路和冗余線(xiàn)路，如果某個(gè)硬件出現(xiàn)故障或電纜出現(xiàn)問(wèn)題，可以找到一條新的通道，這樣傳輸轉(zhuǎn)換到另外一個(gè)通道，可以保持存儲(chǔ)和應(yīng)用程序之間的連接，直到故障排除。另外，多重連接可以進(jìn)行合并，以獲得更好的帶寬。例如，將兩個(gè)2Gb的連接進(jìn)行合并，可以有效地達(dá)到一個(gè)4Gb數(shù)據(jù)帶寬的性能。這種多重或冗余連接的可行性，能夠在 SAN系統(tǒng)卸載流量時(shí)，均衡負(fù)載，并且能夠動(dòng)態(tài)地調(diào)整繁忙通道利用較少使用的通道進(jìn)行傳輸。

在安全方面，嚴(yán)格來(lái)說(shuō)FC是一個(gè)運(yùn)行在二層的協(xié)議，安全性不是太高，但由于FC SAN與以太網(wǎng)不能兼容，基本是一個(gè)隔絕的物理LAN上運(yùn)行，所以安全問(wèn)題不是很突出。

由于歷史原因，雖然FC協(xié)議的技術(shù)標(biāo)準(zhǔn)確實(shí)存在，但各家廠(chǎng)商卻有不同的解釋。導(dǎo)致FC SAN產(chǎn)品的標(biāo)準(zhǔn)混亂，不同廠(chǎng)商的FC SAN產(chǎn)品都無(wú)法兼容，較差的兼容性也給統(tǒng)一管理帶來(lái)了困難，各家FC標(biāo)準(zhǔn)的不開(kāi)放性也使FC SAN的應(yīng)用越來(lái)越窄。

（2）iSCSI SAN：FC SAN 費(fèi)用昂貴，構(gòu)造復(fù)雜，許多小型單位常常因?yàn)轭A(yù)算的原因無(wú)法部署。而在FC SAN盛行的十年間，開(kāi)放的以太網(wǎng)從最初的100Mb發(fā)展到10Gb，提高了100倍，而同時(shí)期，F(xiàn)C協(xié)議標(biāo)準(zhǔn)只從1Gb發(fā)展到8Gb,只提高了8倍。以太網(wǎng)成本低廉，傳播廣泛，是數(shù)據(jù)傳輸?shù)牧己幂d體，于是IBM、Cisco共同發(fā)起了iSCSI（Internet SCSI）技術(shù)標(biāo)準(zhǔn)。 2003 年 2 月 11 日，IETF（Internet Engineering Task Force，互聯(lián)網(wǎng)工程任務(wù)組）通過(guò)了iSCSI標(biāo)準(zhǔn)，iSCSI終于得到IETF認(rèn)可。iSCSI的問(wèn)世也預(yù)示著平民化的SAN時(shí)代的到來(lái)。

iSCSI是建立在TCP/IP協(xié)議之上的傳輸協(xié)議，他將SCSI命令封裝在TCP/IP包里并在IP網(wǎng)絡(luò)內(nèi)傳輸，理論上是沒(méi)有距離限制的。iSCSI集成了SCSI和IP兩種非常成熟的協(xié)議。SCSI協(xié)議技術(shù)是被磁盤(pán)、磁帶等設(shè)備廣泛采用的存儲(chǔ)標(biāo)準(zhǔn)，從1986年誕生起到現(xiàn)在仍然保持著良好的發(fā)展勢(shì)頭；TCP/IP協(xié)議在網(wǎng)絡(luò)方面是最通用、最成熟的協(xié)議，而且IP協(xié)議的基礎(chǔ)建設(shè)非常完善。

iSCSI SAN的主要優(yōu)點(diǎn)在于簡(jiǎn)潔、成本低廉、使用范圍廣泛。光纖通道技術(shù)非常昂貴，需要專(zhuān)業(yè)技術(shù)人員才能正確安裝和配置，而iSCSI SAN只需利用普通的以太網(wǎng)卡和交換機(jī)就能實(shí)現(xiàn)，這些設(shè)備能夠輕易買(mǎi)到。因此，獲取、擴(kuò)展和更新以太網(wǎng)LAN的費(fèi)用都相對(duì)較低。以太網(wǎng)已經(jīng)成功地在家庭和小公司中設(shè)立、使用，用戶(hù)也非常了解以太網(wǎng)的設(shè)置和配置，其使用范圍就會(huì)更加廣泛。

目前iSCSI SAN與服務(wù)器連接有三種形式：①iSCSI HBA卡實(shí)現(xiàn)方式，在這種方式下，所有的TCP/IP包和iSCSI報(bào)文的處理全在HBA卡內(nèi)完成，不占用主機(jī)資源；②硬件TOE（TCP/IP卸載引擎）卡實(shí)現(xiàn)方式，在這種方式下所有的TCP/IP包的處理由TOE完成，iSCSI層的功能由主機(jī)完成，占用一小部分主機(jī)資源，網(wǎng)絡(luò)性能得到了保證；③軟件Initiator實(shí)現(xiàn)方式，軟件Initiator在服務(wù)中模擬出一個(gè)iSCSI HBA卡來(lái)完成TCP/IP報(bào)文和iSCSI報(bào)文的轉(zhuǎn)換，只需要以太網(wǎng)卡即可連接存儲(chǔ)，微軟公司更是在Windows 2003 Server及以后的操作系統(tǒng)中內(nèi)置了對(duì)iSCSI的支持。軟件Initiator要占用所裝服務(wù)器的一定資源，比較適合于非核心業(yè)務(wù)使用，而高端核心業(yè)務(wù)，則可以使用TOE卡或HBA卡來(lái)獲得更好的性能。

以前一般認(rèn)為iSCSI SAN存儲(chǔ)性能不如FC SAN,但事實(shí)是iSCSI SAN的性能非常出色。根據(jù)DELL實(shí)驗(yàn)室的測(cè)試數(shù)據(jù)，在相同的數(shù)據(jù)流量下，使用HBA卡的10Gb iSCSI SAN在協(xié)議效率、吞吐量、CPU利用率方面都毫不遜色于FC，甚至有些已經(jīng)超過(guò)FC。而在1Gb環(huán)境下，采用普通千兆網(wǎng)卡兩塊進(jìn)行綁定后，在全雙工交換機(jī)上也能實(shí)現(xiàn)數(shù)據(jù)傳輸最大速率在 190～195MB/s，足夠滿(mǎn)足日常應(yīng)用，應(yīng)用成本也不高。[4][5]

iSCSI采用先進(jìn)的身份驗(yàn)證技術(shù)，設(shè)置安全措施，例如用CHAP（挑戰(zhàn)握手驗(yàn)證協(xié)議）來(lái)防止未經(jīng)授權(quán)的訪(fǎng)問(wèn)，只允許可信賴(lài)的節(jié)點(diǎn)訪(fǎng)問(wèn)；用IPSec（Internet Protocol Security，互聯(lián)網(wǎng)協(xié)議安全性）來(lái)防止偵聽(tīng)，保證數(shù)據(jù)傳輸中的安全。iSCSI安全措施也可以通過(guò)存儲(chǔ)網(wǎng)絡(luò)和應(yīng)用網(wǎng)絡(luò)進(jìn)行物理隔離得以實(shí)現(xiàn)，但更多的情況下，我們可以在VLAN（虛擬LAN）中運(yùn)行iSCSI SAN實(shí)現(xiàn)隔離,這在現(xiàn)有以太網(wǎng)絡(luò)上也很容易實(shí)現(xiàn)。

iSCSI建立在SCSI和TCP/IP兩個(gè)非常成熟的開(kāi)放協(xié)議標(biāo)準(zhǔn)上，沒(méi)有兼容性和統(tǒng)一管理上的困難。

2.兩種協(xié)議的比較

通過(guò)以上討論，我們看到FC SAN與iSCSI SAN除了具有SAN的普通特點(diǎn)外，互相之間也有一些區(qū)別。

（1）從性能上來(lái)講：在以太網(wǎng)1Gb時(shí)代時(shí)，F(xiàn)C是擁有性能上的優(yōu)勢(shì)的。而目前以太網(wǎng)達(dá)到10Gb后，F(xiàn)C SAN相比iSCSI SAN并沒(méi)有明顯優(yōu)勢(shì)可言。我們放眼看去，以太網(wǎng)帶寬的提升速度遠(yuǎn)遠(yuǎn)超過(guò)光纖通道帶寬的提升速度，目前16Gb的FC標(biāo)準(zhǔn)還在討論中，以太網(wǎng)40Gb和100Gb的標(biāo)準(zhǔn)已經(jīng)制定,而且40Gb的以太網(wǎng)交換機(jī)已經(jīng)出現(xiàn)，IEEE（美國(guó)電氣和電子工程師協(xié)會(huì)）已經(jīng)開(kāi)始開(kāi)發(fā)100GB以上以太網(wǎng)標(biāo)準(zhǔn)。應(yīng)該說(shuō)隨著以太網(wǎng)帶寬的提升，F(xiàn)C SAN曾經(jīng)有的高性能優(yōu)勢(shì)將被iSCSI SAN遠(yuǎn)遠(yuǎn)拋離。

（2）從管理上來(lái)說(shuō)：iSCSI管理難度小，有以太網(wǎng)管理經(jīng)驗(yàn)即可。FC則對(duì)管理人員有一定的技術(shù)能力要求，一般需培訓(xùn)專(zhuān)門(mén)的人員。

（3）從成本來(lái)說(shuō)：FC SAN是高于iSCSI SAN，因?yàn)镕C SAN環(huán)境的建設(shè)要購(gòu)買(mǎi)光纖交換機(jī)，每臺(tái)服務(wù)器均需配備光纖HBA卡，光纖交換機(jī)上的光纖適配器還要另外購(gòu)買(mǎi)，代價(jià)昂貴。而iSCSI則最低只需要以太網(wǎng)交換機(jī)及以太網(wǎng)卡即可.其詳細(xì)對(duì)比如表所示。

表 協(xié)議對(duì)比

綜合上述比較，筆者認(rèn)為iSCSI SAN架構(gòu)存儲(chǔ)具有保證性能下的成本最小化，可以使用現(xiàn)有的IP網(wǎng)絡(luò)，本身包含容災(zāi)功能，安全性能出色，可以遠(yuǎn)距離傳輸?shù)葍?yōu)勢(shì)，具有最大的發(fā)展?jié)摿?，是我們建設(shè)數(shù)字化圖書(shū)館的首選存儲(chǔ)架構(gòu)。

四、附記

近日廠(chǎng)商已經(jīng)開(kāi)始推出FCoE（Fibre Channel over Ethernet，光纖通道以太網(wǎng)）協(xié)議的存儲(chǔ)產(chǎn)品，利用以太網(wǎng)來(lái)傳輸光纖通道協(xié)議。由于FCoE的標(biāo)準(zhǔn)尚未最終通過(guò)，對(duì)于它的穩(wěn)定性、系統(tǒng)成熟性還未有定論，所以我們暫時(shí)不會(huì)考慮FCoE架構(gòu)的存儲(chǔ)產(chǎn)品。

[1]袁貴娟.IP SAN存儲(chǔ)技術(shù)在數(shù)字圖書(shū)館中的應(yīng)用[J].圖書(shū)館學(xué)刊,2008(2):136-138.

[2]樂(lè)昱.基于IP SAN的數(shù)字圖書(shū)館存儲(chǔ)研究與探討[J].現(xiàn)代情報(bào),2010,30(12)：81-83.

[3]存儲(chǔ)在線(xiàn)［DB/OL］.http://www.dostor.com.2011-04-01.

[4]Comparing Performance Between iSCSI,FCoE,and FC[DB/OL].http://www.delltechcenter.com/page/Comparing+Performance+Between+iSCSI,+FCoE,+and+FC.2011-04-01.

[5]劉文續(xù)，F(xiàn)C-SAN與IP-SAN非編制作網(wǎng)絡(luò)之我見(jiàn)[J].中國(guó)有線(xiàn)電視，2011(2)：172-174.