葉俊，劉琴，李立，劉松林

江蘇省泰興市人民醫(yī)院 信息科，江蘇 泰州 225400

引言

隨著互聯(lián)網(wǎng)+醫(yī)療技術(shù)的日新月異，醫(yī)療業(yè)務(wù)系統(tǒng)的數(shù)據(jù)共享、互聯(lián)互通的需求日益增加，對(duì)數(shù)據(jù)中心的運(yùn)營(yíng)、維護(hù)一體化管理提出更高要求[1]，對(duì)底層信息系統(tǒng)架構(gòu)的安全性、容災(zāi)性、穩(wěn)定性也提出了更高的要求。在超融合技術(shù)的發(fā)展上，國(guó)外產(chǎn)品包括Nutanix和VMware的VSAN在內(nèi)，都以自主產(chǎn)品為主，有成熟穩(wěn)定的優(yōu)勢(shì)，但部署了以后，只能按照各自的技術(shù)路線進(jìn)行相應(yīng)擴(kuò)展。國(guó)內(nèi)基本都是以深度優(yōu)化和整合開(kāi)源技術(shù)為主，優(yōu)勢(shì)是比較開(kāi)放，用戶選擇空間較大，可以支持多種虛擬化平臺(tái)，這方面要根據(jù)各醫(yī)院實(shí)際情況來(lái)進(jìn)行選擇。

本院以VMware vSphere6.5超融合架構(gòu)搭建服務(wù)器群，對(duì)各個(gè)子系統(tǒng)進(jìn)行高度設(shè)備集成，在滿足本院各類應(yīng)用軟件上線要求同時(shí)，保證了醫(yī)院信息系統(tǒng)的高可用性、業(yè)務(wù)的不間斷性、服務(wù)器部署能力和一體化管理能力的提高，利用超融合技術(shù)突破了原有刀片虛擬服務(wù)器給信息化發(fā)展瓶頸，具有更彈性的橫向擴(kuò)展能力。從本院實(shí)踐來(lái)看，本院選擇超融合虛擬化和云計(jì)算技術(shù)的解決方案，體現(xiàn)了更強(qiáng)的IT資源管理和容災(zāi)性能，顯著降低運(yùn)營(yíng)成本，提高管理靈活性[2]。

本院在2015年實(shí)施部署了一套基于EMC存儲(chǔ)的雙活數(shù)據(jù)中心，一套設(shè)備部署在核心機(jī)房，另一套設(shè)備部署在住院大樓，同時(shí)各部署了1套IBM FLEX刀片服務(wù)器，由虛擬機(jī)和多個(gè)節(jié)點(diǎn)分布式存儲(chǔ)資源池相結(jié)合組成一個(gè)虛擬化系統(tǒng)，由8臺(tái)高性能服務(wù)器和2臺(tái)EMC VPLEX網(wǎng)及EMC VNX存儲(chǔ)組成。隨著醫(yī)院業(yè)務(wù)規(guī)模和種類不斷擴(kuò)大，雖然逐漸感受到服務(wù)器虛擬化帶來(lái)的便利和高效，但每當(dāng)新業(yè)務(wù)需要存儲(chǔ)空間時(shí)，分配各項(xiàng)資源需要進(jìn)行反復(fù)核算，無(wú)法隨服務(wù)器計(jì)算能力的擴(kuò)展實(shí)現(xiàn)存儲(chǔ)容量的存儲(chǔ)水平或垂直擴(kuò)展 ，存儲(chǔ)資源利用率低 ，安全性差。圖1為我院基于EMC存儲(chǔ)的雙活數(shù)據(jù)中心示意圖。

圖1 我院基于EMC存儲(chǔ)的雙活數(shù)據(jù)中心示意圖

1 虛擬化平臺(tái)基礎(chǔ)架構(gòu)建設(shè)部署

1.1 需求分析

本次信息集成平臺(tái)方案核心就是將應(yīng)用系統(tǒng)如：HIS、PACS、RIS、LIS、EMR等數(shù)據(jù)庫(kù)進(jìn)行集成融合，便于醫(yī)院決策分析平臺(tái)，后臺(tái)運(yùn)維管理系統(tǒng)，OA辦公自動(dòng)化、數(shù)據(jù)上報(bào)平臺(tái)等順利應(yīng)用。在醫(yī)療技術(shù)和計(jì)算機(jī)技術(shù)日新月異的今天，信息系統(tǒng)需要簡(jiǎn)單、高效、安全、易于擴(kuò)展、易于管理，利用超融合技術(shù)對(duì)硬件資源統(tǒng)一整合管理是迎合了這種發(fā)展趨勢(shì)[3]。

1.2 系統(tǒng)集成的內(nèi)容

HIS、EMR、集成平臺(tái)等應(yīng)用是醫(yī)院最核心的應(yīng)用之一，核心HIS的數(shù)據(jù)每天提供大量用戶訪問(wèn)的計(jì)算資源和存儲(chǔ)資源及網(wǎng)絡(luò)資源，其特點(diǎn)為需要大量的CPU和內(nèi)存及需要大量的存儲(chǔ)IOPS性能，其他門戶和應(yīng)用前置機(jī)等應(yīng)用則是大并發(fā)，需要提供大量用戶訪問(wèn)，然后將用戶需要的數(shù)據(jù)從數(shù)據(jù)庫(kù)中讀取，因此不需要非常大的CPU和內(nèi)存，但是需要保障應(yīng)用穩(wěn)定，前置機(jī)等應(yīng)用支持負(fù)載均衡技術(shù)，可通過(guò)負(fù)載均衡將用戶訪問(wèn)分擔(dān)到不同的前置機(jī)服務(wù)器[4]。

基于此，醫(yī)院信息系統(tǒng)數(shù)據(jù)中心集成平臺(tái)的建立，對(duì)各個(gè)子系統(tǒng)進(jìn)行設(shè)備集成，滿足醫(yī)院各類應(yīng)用軟件上線要求；超融合具有更彈性的橫向擴(kuò)展能力，可以為數(shù)據(jù)中心帶來(lái)最優(yōu)的效率、靈活性、規(guī)模、成本和數(shù)據(jù)保護(hù)，系統(tǒng)整合及數(shù)據(jù)遷移，實(shí)現(xiàn)原有系統(tǒng)設(shè)備利用、數(shù)據(jù)遷移及重新部署。

1.3 系統(tǒng)部署

1.3.1 硬件網(wǎng)絡(luò)部署

鑒于醫(yī)院核心應(yīng)用系統(tǒng)為醫(yī)院信息集成平臺(tái)、電子病歷等應(yīng)用，經(jīng)多次論證，決定采用軟件定義的超融合模式進(jìn)行環(huán)境部署，基于軟件定義的平臺(tái)以超融合打造的分布式IT架構(gòu)，進(jìn)行系統(tǒng)集中監(jiān)管，實(shí)現(xiàn)平臺(tái)特性的可編程化，建立從底層數(shù)據(jù)到上層應(yīng)用的高可靠性、高可用性、負(fù)載均衡的網(wǎng)絡(luò)硬件平臺(tái)[5]。

為保障核心醫(yī)院決策分析平臺(tái)對(duì)數(shù)據(jù)存儲(chǔ)的大量讀寫能夠降低延遲，采用3副本，新區(qū)大樓異地部署7臺(tái)DELL R740超融合服務(wù)器，2顆Intel Xeon X5118 CPU，16顆 32 G DDR4內(nèi) 存，2塊 800 GB SATA 2.5” MLC G3HS EnterpriseSSD，12塊 1.2 TB 10 K 12 Gbps SAS 2. 5” SAS，1 塊 陣 列 卡 Controller，2 塊 Intel X710‐DA2 ML22xlOGbE SFP+ Adapter，2塊 SD Media， 以 及 數(shù) 據(jù)中心部署3臺(tái)DELL R740超融合服務(wù)器，2顆Intel Xeon X5118 CPU，16顆32 G DDR4內(nèi) 存，2塊800 GB SATA 2.5”MLC Enterprise SSD，8塊 960 GB SATA 2.5”MLC Enterprise SSD，1塊 陣 列 卡 Controller，2塊 Intel X710‐DA2 ML22xlOGbE SFP+ dapter，2塊SD Media，提供數(shù)據(jù)存儲(chǔ)空間，通過(guò)華為CE6850萬(wàn)兆裸光纖將兩地?cái)?shù)據(jù)中心連通最終實(shí)現(xiàn)雙活數(shù)據(jù)中心（可提供大量的計(jì)算資源），通過(guò)VMware VSAN企業(yè)級(jí)軟件定義存儲(chǔ)軟件將服務(wù)器虛擬化，分別提供給核心應(yīng)用使用。

新的超融合基礎(chǔ)架構(gòu)下的應(yīng)用虛擬化平臺(tái)建設(shè)好后，它完全兼容現(xiàn)有的虛擬化平臺(tái)，并且原有的傳統(tǒng)架構(gòu)下的虛擬機(jī)可以實(shí)現(xiàn)在線的數(shù)據(jù)遷移。同時(shí)對(duì)老的虛擬機(jī)版本統(tǒng)一升級(jí)到6.5版本。圖2為超融合服務(wù)器架構(gòu)圖。

圖2 超融合服務(wù)器架構(gòu)圖

1.3.2 網(wǎng)絡(luò)負(fù)載均衡

在醫(yī)院兩層架構(gòu)的核心業(yè)務(wù)具有數(shù)據(jù)量大、高并發(fā)等特點(diǎn)，采用負(fù)載均衡機(jī)制，采用F5 均衡負(fù)載F5‐BIG‐LTM‐I2600根據(jù)設(shè)定的負(fù)載策略，每秒L7 請(qǐng)求數(shù)350 K,把請(qǐng)求分發(fā)到集群中的每一臺(tái)服務(wù)器上，每秒L4 連接數(shù)125 K，讓整個(gè)服務(wù)器群來(lái)處理業(yè)務(wù)請(qǐng)求，從而達(dá)到提升性能的作用。

1.3.3 防火墻

服務(wù)器部分屬于醫(yī)院整個(gè)數(shù)據(jù)中心最核心的部分，與其他網(wǎng)絡(luò)互聯(lián)時(shí)必須通過(guò)防火墻進(jìn)行隔離，外部用戶只能訪問(wèn)服務(wù)器端固定開(kāi)放的端口，其他端口禁止掃描及使用，最大限度地保護(hù)服務(wù)器部分的安全。外網(wǎng)出口部分需要使用防火墻進(jìn)行保護(hù)，主要功能為NAT功能，將內(nèi)網(wǎng)地址翻譯為外網(wǎng)IP，內(nèi)部PC可以訪問(wèn)外部Internet網(wǎng)絡(luò)，同時(shí)也對(duì)外部網(wǎng)絡(luò)的攻擊進(jìn)行防護(hù)。通過(guò) VMware NSX 平臺(tái)提供的擴(kuò)展服務(wù)插入和服連接口，將安全業(yè)務(wù)虛擬機(jī)透明的部署在每臺(tái) ESXi主機(jī)上。SG‐6000‐CloudHive安全策略能夠跟隨虛擬應(yīng)用的變更而動(dòng)態(tài)的變化。在VMware NSX的流量重定向能力的配合下，將可能產(chǎn)生的漏洞端口堵住，減少攻擊，能夠?qū)崿F(xiàn)微隔離、可視化操作[6]。

2 虛擬化技術(shù)的應(yīng)用

2.1 數(shù)據(jù)庫(kù)備份與恢復(fù)

針對(duì)關(guān)鍵業(yè)務(wù)以及虛擬機(jī)本身在距離數(shù)據(jù)中心5 km處建立影子虛擬機(jī)保護(hù)，核心數(shù)據(jù)基本存放與虛擬化平臺(tái)上，采用DELL R740備份一體機(jī)，配置2顆intel Xeon 4110 CPU，32 G內(nèi)存，6塊8 T NL_SAS磁盤，提供Veer備份軟件功能。

重復(fù)數(shù)據(jù)消除技術(shù)不再需要在每臺(tái)服務(wù)器中安裝備份agent軟件，將文件分解成多個(gè)子段以確定哪些子段具有唯一性，從而最大限度地減少備份存儲(chǔ)需求，可對(duì)全虛擬化平臺(tái)業(yè)務(wù)進(jìn)行自動(dòng)化備份以及業(yè)務(wù)連續(xù)性保護(hù)，通過(guò)基于中文client端的直觀用戶界面，可以輕松恢復(fù)完整虛擬機(jī)或單個(gè)文件，并采用快速磁盤備份，能夠?qū)崿F(xiàn)可靠的恢復(fù)[7]。

2.2 安全資源池規(guī)劃

資源池劃分為計(jì)算、存儲(chǔ)、安全、網(wǎng)絡(luò)和管理5個(gè)子系統(tǒng)，服務(wù)器虛擬化將硬件、操作系統(tǒng)和應(yīng)用程序一同裝入一個(gè)可遷移的虛擬機(jī)檔案文件中，能夠?qū)崿F(xiàn)設(shè)備資源池化，每臺(tái)機(jī)器上有多個(gè)負(fù)載，對(duì)資源進(jìn)行共享，軟件相對(duì)于硬件獨(dú)立，采用軟件定義的數(shù)據(jù)中心，改變了傳統(tǒng)數(shù)據(jù)中心的運(yùn)行和管理模式，數(shù)據(jù)中心已經(jīng)轉(zhuǎn)有運(yùn)行在基于x86服務(wù)器的虛擬化軟件所管理。存儲(chǔ)池采用橫向擴(kuò)展及縱向擴(kuò)展，本部采用三節(jié)點(diǎn)全閃設(shè)備，異地采用7節(jié)點(diǎn)磁盤和閃存設(shè)備節(jié)點(diǎn)之間的延時(shí)可以在100 ms以內(nèi)，延時(shí)小于5 ms；邏輯交換運(yùn)行于三層網(wǎng)絡(luò)之上的二層網(wǎng)絡(luò)，與物理網(wǎng)絡(luò)解耦；邏輯路由在虛擬網(wǎng)絡(luò)之間以及虛擬網(wǎng)絡(luò)和物理網(wǎng)絡(luò)之間路由；邏輯防火墻為分布式防火墻，內(nèi)核集成。

這種轉(zhuǎn)變提供了極大的靈活性和可控性，同時(shí)提高了效率，也大大降低了成本，提高現(xiàn)有醫(yī)院數(shù)據(jù)資源利用率，系統(tǒng)擴(kuò)展能力強(qiáng)，可根據(jù)業(yè)務(wù)量彈性擴(kuò)容，適應(yīng)業(yè)務(wù)系統(tǒng)突發(fā)需求。資源能夠自動(dòng)分配，縮短系統(tǒng)部署周期，加快業(yè)務(wù)上線速度，當(dāng)集群資源不足時(shí)，可對(duì)集群增加計(jì)算或存儲(chǔ)資源，方便醫(yī)院數(shù)據(jù)自動(dòng)化、合理化分配及應(yīng)用[8]。

2.3 安全配置

通過(guò)VMware NSX 平臺(tái)提供的擴(kuò)展服務(wù)插入和服務(wù)連接口，第三方公司vSOM組件能夠從VMware NSX平臺(tái)同步配置信息，通過(guò)SG‐6000‐CloudHive將安全業(yè)務(wù)虛擬機(jī)透明的部署在每臺(tái)ESXi主機(jī)上?？砂凑蔗t(yī)院系統(tǒng)應(yīng)用情況，創(chuàng)建和變更快速的制定安全策略，能夠跟隨虛擬應(yīng)用場(chǎng)景的變更而動(dòng)態(tài)的變化[9]。

3 應(yīng)用效果評(píng)價(jià)

VMware vSphere6.5虛擬化技術(shù)搭建服務(wù)器群底層平臺(tái)運(yùn)行近1年，陸續(xù)將之前IBM FLEX刀片服務(wù)器上EMR、PACS、移動(dòng)護(hù)理等重要系統(tǒng)，遷移到虛擬化平臺(tái)，其應(yīng)用效果明顯，主要體現(xiàn)在以下幾方面。

3.1 服務(wù)器替換整合

醫(yī)院的HIS、LIS、RIS業(yè)務(wù)服務(wù)器使用時(shí)間都超過(guò)8年，EMR、PACS業(yè)務(wù)服務(wù)器超過(guò)5年，內(nèi)存、CPU、網(wǎng)絡(luò)、I/O存儲(chǔ)等硬件都不能滿足現(xiàn)有業(yè)務(wù)的需求，且由于各性能不能協(xié)調(diào)運(yùn)作，造成瓶頸。將實(shí)體機(jī)原有操作系統(tǒng)、應(yīng)用程序和數(shù)據(jù)制作成鏡像，將IBM FLEX刀片服務(wù)器添加到VMware vSphere Client控制臺(tái)，對(duì)其克隆，部分系統(tǒng)遷移到新虛擬化平臺(tái)，通過(guò)網(wǎng)絡(luò)從原有環(huán)境遷移到虛擬化所搭建的光纖通道陣列中，可以在不影響生產(chǎn)業(yè)務(wù)的情況下，用較快的時(shí)間將這些系統(tǒng)遷移到虛擬服務(wù)器上[10]。上線1年來(lái)，整合部署虛擬服務(wù)器36臺(tái)，虛擬化技術(shù)將多個(gè)系統(tǒng)整合到一臺(tái)服務(wù)器上，系統(tǒng)的兼容性問(wèn)題得到解決，部署時(shí)間短，統(tǒng)一管理平臺(tái)，服務(wù)器的資源得到充有效的利用，可以實(shí)現(xiàn)零宕機(jī)的硬件維護(hù)和升級(jí)等資源得到合理利用。表1為刀片機(jī)與超融合服務(wù)器資源整合、資源部署、設(shè)備利用率等方面情況比較，差異有統(tǒng)計(jì)學(xué)意義（P<0.05），表明超融合具有明顯優(yōu)勢(shì)。

表1 刀片機(jī)與超融合服務(wù)器硬件資源整合、部署、利用率等方面情況比較（%）

3.2 應(yīng)用系統(tǒng)快速部署

利用虛擬化平臺(tái)預(yù)置的虛擬機(jī)模板及虛擬機(jī)的導(dǎo)入、導(dǎo)出和復(fù)制功能，可以主動(dòng)地提前規(guī)劃配置資源，快速部署了數(shù)據(jù)庫(kù)、中間件等，同時(shí)支持在線擴(kuò)展內(nèi)存、存儲(chǔ)等熱添加方式，服務(wù)器部署時(shí)間從數(shù)小時(shí)安裝系統(tǒng)、安全設(shè)置、打補(bǔ)丁等壓縮至幾分鐘，數(shù)據(jù)庫(kù)配置、應(yīng)用加載、中間件部署等時(shí)間也縮減到幾分鐘，從根本上改變了新應(yīng)用上線部署周期長(zhǎng)的局面[11]。近一年來(lái)，利用虛擬化平臺(tái)部署虛擬服務(wù)器62臺(tái)，特別值得一提的是，在疫情防控期間，時(shí)間緊任務(wù)重，加上春節(jié)期間，無(wú)法購(gòu)買到物理服務(wù)器，因?yàn)椴渴鹛摂M化服務(wù)器，大大節(jié)省購(gòu)買和部署服務(wù)器時(shí)間，成功部署了疫情上報(bào)服務(wù)器、云影像服務(wù)器、預(yù)約診療服務(wù)器、分診叫號(hào)服務(wù)器、自助機(jī)服務(wù)器等，解決了大量實(shí)際困難。圖3是超融合架構(gòu)在醫(yī)院信息系統(tǒng)中應(yīng)用VSAN群集。

圖3 超融合架構(gòu)在醫(yī)院信息系統(tǒng)中應(yīng)用VSAN群集

3.3 集中統(tǒng)一管理平臺(tái)

醫(yī)院數(shù)據(jù)中心資源呈幾何級(jí)增加，且數(shù)據(jù)重要性不言而喻，機(jī)房服務(wù)器和存儲(chǔ)設(shè)備的運(yùn)行管理日益重要復(fù)雜。信息工作人員登錄vSphere Web Client端在統(tǒng)一管理平臺(tái)里，以實(shí)現(xiàn)虛擬化高可用性功能，就可以對(duì)所有主機(jī)和虛擬機(jī)以及山石云格進(jìn)行統(tǒng)一管理，全面監(jiān)管，自動(dòng)通知和報(bào)警，主要包括：虛擬機(jī)模板建設(shè)及備份；虛擬機(jī)快照實(shí)現(xiàn)實(shí)時(shí)系統(tǒng)恢復(fù)；虛擬機(jī)實(shí)時(shí)監(jiān)控，在線遷移。統(tǒng)一管理平臺(tái)高可靠性保證不停機(jī)和數(shù)據(jù)不丟失，實(shí)現(xiàn)服務(wù)不中斷[12]。

4 討論

超融合虛擬化和云計(jì)算技術(shù)在我院的成功部署，滿足醫(yī)院信息集成平臺(tái)和各類應(yīng)用軟件上線要求，保證醫(yī)院信息系統(tǒng)的高可用性，業(yè)務(wù)的不間斷，提高服務(wù)器部署能力和一體化管理能力。目前，在超融合平臺(tái)上安裝運(yùn)行了近120臺(tái)各類虛擬化服務(wù)器，除HIS業(yè)務(wù)以外，還包括PACS、RIS、LIS、CIS、移動(dòng)護(hù)理等所有的醫(yī)院業(yè)務(wù)辦公系統(tǒng)。原有刀片服務(wù)器沒(méi)有足夠的硬盤插槽，且受冷卻條件和緊湊機(jī)箱的限制，刀片服務(wù)器CPU性能較低，電源功率和機(jī)箱空間也限制了可安裝的DRAM內(nèi)存容量。利用超融合技術(shù)突破了原有刀片虛擬服務(wù)器給信息化發(fā)展瓶頸[13]，能擁有更多的驅(qū)動(dòng)器用于實(shí)現(xiàn)數(shù)據(jù)冗余和網(wǎng)絡(luò)共享，具有更彈性的橫向擴(kuò)展能力，多節(jié)點(diǎn)可以通過(guò)網(wǎng)絡(luò)聚合起來(lái)，形成統(tǒng)一的資源池，可以為數(shù)據(jù)中心帶來(lái)最優(yōu)的效率、靈活性、規(guī)模、成本和數(shù)據(jù)保護(hù)[14]，有效地整合了醫(yī)院信息系統(tǒng)的服務(wù)器資源，減少服務(wù)器數(shù)量，降低運(yùn)維成本，資源共享和容災(zāi)備份，節(jié)省機(jī)房空間，減輕UPS、精密空調(diào)壓力，實(shí)現(xiàn)節(jié)能減排，消除了因服務(wù)器硬件故障造成的系統(tǒng)停機(jī)隱患。虛擬化技術(shù)在架構(gòu)設(shè)計(jì)中將變得更為流行，將為醫(yī)院數(shù)字化建設(shè)提供了強(qiáng)有力的支撐和保障，為互聯(lián)網(wǎng)醫(yī)療奠定基礎(chǔ)。但是由于系統(tǒng)部署簡(jiǎn)單，帶來(lái)虛擬機(jī)數(shù)量過(guò)多，虛擬服務(wù)器散亂現(xiàn)象，導(dǎo)致管理難度大幅提高。通過(guò)虛擬化技術(shù)，可以成功地實(shí)現(xiàn)服務(wù)器替換和整合，盡可能將物理服務(wù)器數(shù)量減到最少，實(shí)現(xiàn)軟件與硬件相對(duì)分離目標(biāo)，加速應(yīng)用業(yè)務(wù)和測(cè)試環(huán)境的部署，同時(shí)，借助虛擬化架構(gòu)統(tǒng)一管理平臺(tái)，自動(dòng)通知和報(bào)警，自動(dòng)化容錯(cuò)糾錯(cuò)，降低了風(fēng)險(xiǎn)管理的難度，顯著提高各模塊可用性和可靠性，為醫(yī)院信息系統(tǒng)的業(yè)務(wù)連續(xù)性和節(jié)能減排做出貢獻(xiàn)，取得較好的經(jīng)濟(jì)效益和社會(huì)效益[15]。