施識(shí)帆，張昕，曹凱迪，王忠民

南京醫(yī)科大學(xué)第一附屬醫(yī)院 信息處，江蘇 南京 210029

引言

隨著信息化技術(shù)的不斷發(fā)展，醫(yī)院對(duì)信息化的依賴程度與日俱增。因此，鑒于醫(yī)院服務(wù)模式的特殊性，醫(yī)院中的各個(gè)業(yè)務(wù)信息系統(tǒng)需保持高度的穩(wěn)定性與安全性。另外，隨著新醫(yī)改的不斷深入，醫(yī)院的規(guī)模不斷擴(kuò)大，醫(yī)院集團(tuán)化的發(fā)展趨勢(shì)日益顯著。如何在滿足穩(wěn)定性、安全性的同時(shí)，應(yīng)用有限的資源建設(shè)滿足高并發(fā)需求、方便橫向擴(kuò)展的信息系統(tǒng)，成為每一個(gè)醫(yī)院信息管理者的難題。幸運(yùn)的是在金融、國(guó)電等領(lǐng)域已有一些先行經(jīng)驗(yàn)可供借鑒，那就是采用負(fù)載均衡技術(shù)。本文將主要介紹該技術(shù)的背景及其在我院的實(shí)際應(yīng)用情況。

1 負(fù)載均衡技術(shù)介紹

負(fù)載均衡技術(shù)建立在現(xiàn)有網(wǎng)絡(luò)結(jié)構(gòu)之上，提供了一種廉價(jià)、有效、透明的方法，來(lái)擴(kuò)展網(wǎng)絡(luò)設(shè)備和服務(wù)器的帶寬、增加吞吐量、加強(qiáng)網(wǎng)絡(luò)數(shù)據(jù)處理能力、提高網(wǎng)絡(luò)的靈活性和可用性。簡(jiǎn)單的講，就是將工作負(fù)載進(jìn)行平衡、分?jǐn)偟蕉鄠€(gè)服務(wù)器主機(jī)或網(wǎng)絡(luò)設(shè)備上進(jìn)行協(xié)同工作，共同完成工作任務(wù)[1-3]。它主要用于避免出現(xiàn)單點(diǎn)故障，提高服務(wù)器資源利用率，提高服務(wù)器響應(yīng)速度，解決網(wǎng)絡(luò)擁塞問(wèn)題，為用戶提供更加穩(wěn)定可靠的訪問(wèn)質(zhì)量。

負(fù)載均衡技術(shù)在實(shí)現(xiàn)上有兩種方案可供考慮：軟件負(fù)載均衡和硬件負(fù)載均衡。通常來(lái)說(shuō)，軟件負(fù)載均衡通過(guò)在服務(wù)器上安裝軟件來(lái)實(shí)現(xiàn)[4-6]，成本低廉，使用靈活，一般情況下，適用于訪問(wèn)量小且不要求全天候運(yùn)行的系統(tǒng)；硬件負(fù)載均衡是獨(dú)立于服務(wù)器操作系統(tǒng)和外部網(wǎng)絡(luò)的硬件設(shè)備，在功能和性能上要優(yōu)于前者，適用于負(fù)載量大且要求全天候不間斷運(yùn)行的系統(tǒng)[7]。

負(fù)載均衡器在網(wǎng)絡(luò)中的部署方式很多，主要的有串聯(lián)模式和并聯(lián)模式[7-8]兩種。串聯(lián)模式負(fù)載均衡器位于上下層網(wǎng)絡(luò)設(shè)備之間，網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)和應(yīng)用業(yè)務(wù)的實(shí)現(xiàn)對(duì)負(fù)載均衡設(shè)備依賴性較強(qiáng)；并聯(lián)模式負(fù)載均衡器以旁路的方式部署在現(xiàn)行的網(wǎng)絡(luò)環(huán)境中，可以方便、快速地部署到網(wǎng)絡(luò)環(huán)境中實(shí)現(xiàn)其負(fù)載均衡功能，但接口的流量壓力較大，要避免成為網(wǎng)絡(luò)瓶頸[9]。

另外，負(fù)載均衡器可以通過(guò)設(shè)定算法策略，合理地將前端請(qǐng)求調(diào)度給后端的服務(wù)器，盡量將負(fù)載做到均衡[10]。算法策略大致可以分為以下幾類：靜態(tài)算法[11-15]、動(dòng)態(tài)算法和自適應(yīng)算法[16-18]。針對(duì)不同的應(yīng)用場(chǎng)景使用不同的算法策略，也是一項(xiàng)值得深入的研究。我院在實(shí)施負(fù)載均衡項(xiàng)目時(shí)，綜合考慮了以上不同選擇的優(yōu)劣，針對(duì)實(shí)際情況選擇了最適合我院的方案，完成了項(xiàng)目的部署和應(yīng)用。

2 我院負(fù)載均衡方案應(yīng)用實(shí)踐

2.1 項(xiàng)目實(shí)施目的

我院實(shí)施負(fù)載均衡項(xiàng)目的初衷是為了解決住院電子病歷系統(tǒng)實(shí)施過(guò)程中出現(xiàn)的一些問(wèn)題。在我院住院電子病歷系統(tǒng)的上線初期，應(yīng)用服務(wù)器只使用了一臺(tái)。到了系統(tǒng)上線完成時(shí)，服務(wù)器已擴(kuò)展為四臺(tái)，分別對(duì)應(yīng)了本部?jī)?nèi)科、本部外科、本部其他科室和集團(tuán)分院。這里存在幾個(gè)問(wèn)題：① 某臺(tái)服務(wù)器停機(jī)維護(hù)或宕機(jī)時(shí)，對(duì)應(yīng)部門(mén)或院區(qū)的電子病歷系統(tǒng)服務(wù)就不得不停止；② 客戶端維護(hù)困難，需要針對(duì)不同部門(mén)設(shè)定其對(duì)應(yīng)的服務(wù)器IP地址；③ 會(huì)有某臺(tái)服務(wù)器CPU壓力極高，而其他幾臺(tái)空閑的情況出現(xiàn)。

隨著上線科室和使用部門(mén)越來(lái)越多，服務(wù)器規(guī)模越來(lái)越大，上述問(wèn)題特別是第③點(diǎn)服務(wù)器負(fù)載不均衡的問(wèn)題日益突出，維護(hù)人員經(jīng)常需要將連接到繁忙服務(wù)器上的客戶端遷到空閑服務(wù)器上，來(lái)保證其服務(wù)可用。在遷來(lái)遷去的過(guò)程中，客戶端和服務(wù)器的對(duì)應(yīng)關(guān)系就更加混亂了。為了充分利用服務(wù)器資源，從根本上解決上述問(wèn)題，同時(shí)為日后其他業(yè)務(wù)系統(tǒng)服務(wù)器架構(gòu)設(shè)計(jì)提供經(jīng)驗(yàn)，負(fù)載均衡項(xiàng)目的實(shí)施正式開(kāi)始。

2.2 項(xiàng)目方案選擇

軟、硬件負(fù)載均衡各有優(yōu)劣，經(jīng)過(guò)前期調(diào)研，該項(xiàng)目最終還是選擇了硬件負(fù)載均衡方案。這個(gè)選擇主要基于以下幾點(diǎn)考慮：① 我院的規(guī)模較大，系統(tǒng)數(shù)和用戶數(shù)較多，相應(yīng)的負(fù)載量較大，硬件負(fù)載均衡有比較好的性能和穩(wěn)定性；② 硬件負(fù)載均衡的策略算法較多，功能較豐富，比如高級(jí)服務(wù)器健康檢查和防火墻功能。這些算法和功能，有些軟件方案無(wú)法滿足；③ 雖然部分軟件負(fù)載均衡開(kāi)源而且免費(fèi)，但是學(xué)習(xí)、管理和遷移成本較高；④ 功能強(qiáng)大的軟件負(fù)載均衡消耗系統(tǒng)資源較多，而且操作系統(tǒng)本身的漏洞也會(huì)帶來(lái)新的安全問(wèn)題[2]。所以，盡管硬件負(fù)載均衡前期投入的成本很高，但從長(zhǎng)遠(yuǎn)來(lái)看，從維護(hù)的角度來(lái)看，依然是非常劃算的。

2.3 整體架構(gòu)設(shè)計(jì)

我院目前的負(fù)載均衡架構(gòu)如圖1所示?？傮w架構(gòu)使用了兩組負(fù)載均衡，每組負(fù)載均衡由兩臺(tái)設(shè)備組成雙機(jī)熱備，備機(jī)自動(dòng)同步主機(jī)配置，當(dāng)主機(jī)故障時(shí)，自動(dòng)主備切換，保證不在負(fù)載均衡設(shè)備上出現(xiàn)單點(diǎn)故障。對(duì)于業(yè)務(wù)系統(tǒng)也按功能和重要程度進(jìn)行了分組，部分系統(tǒng)如集成平臺(tái)相關(guān)的系統(tǒng)劃為A組，與負(fù)載均衡A對(duì)接；其余系統(tǒng)如電子病歷系統(tǒng)劃為B組，與負(fù)載均衡B對(duì)接。在極端情況下，如負(fù)載均衡A兩臺(tái)設(shè)備均故障，那么可以將A組系統(tǒng)臨時(shí)接入負(fù)載均衡B，保證應(yīng)用不中斷。為達(dá)到該目的，在設(shè)計(jì)時(shí)，我院采用的負(fù)載均衡設(shè)備保留了極高的冗余性能。

圖1 我院負(fù)載均衡項(xiàng)目總體架構(gòu)圖

事實(shí)證明，即使是小概率的極端情況也有發(fā)生的時(shí)候。在某個(gè)周末，A組設(shè)備主機(jī)故障，主備切換過(guò)程中發(fā)生設(shè)備宕機(jī)，重啟設(shè)備后發(fā)現(xiàn)兩臺(tái)設(shè)備均無(wú)法正常使用。幸運(yùn)的是A組設(shè)備的配置文件有備份，于是我們?cè)贐組中重建了所有任務(wù)，中斷的業(yè)務(wù)得到恢復(fù)。正是由于使用了兩組負(fù)載均衡設(shè)備的設(shè)計(jì)，故障又恰巧發(fā)生在周末，重要業(yè)務(wù)才沒(méi)有中斷太長(zhǎng)時(shí)間。

這也給信息系統(tǒng)相關(guān)維護(hù)人員一個(gè)警示，使用負(fù)載均衡設(shè)備本意是為解決單點(diǎn)故障、保障系統(tǒng)可用性，千萬(wàn)不要讓其成為整個(gè)系統(tǒng)中的弱點(diǎn)和死穴。

在部署方式上，我院采用了并聯(lián)模式來(lái)部署負(fù)載均衡設(shè)備。綜合來(lái)說(shuō)，這種模式增加了網(wǎng)絡(luò)的靈活性，提高了網(wǎng)絡(luò)整體的可靠性，是對(duì)現(xiàn)有網(wǎng)絡(luò)結(jié)構(gòu)、應(yīng)用業(yè)務(wù)及服務(wù)器配置更改最少的一種部署方式。

在部署完成之后，住院電子病歷系統(tǒng)曾遇到一個(gè)小問(wèn)題，那就是服務(wù)器端無(wú)法接收客戶端的真實(shí)源地址，在日志中記錄的IP全部來(lái)自負(fù)載均衡設(shè)備。我們的解決的辦法也很簡(jiǎn)單，就是通過(guò)改造住院電子病歷系統(tǒng)，把客戶端地址放在HTTP頭信息里傳過(guò)來(lái)，服務(wù)器端解析后提取即可。

2.4 負(fù)載均衡策略的使用

我院根據(jù)實(shí)際情況和不同系統(tǒng)的特點(diǎn)，使用了不同的負(fù)載均衡策略。

對(duì)于影像數(shù)據(jù)中心平臺(tái)、Web Service接口服務(wù)等，由于每次訪問(wèn)都是獨(dú)立的，對(duì)于客戶端來(lái)說(shuō)訪問(wèn)A服務(wù)器或者B服務(wù)器并沒(méi)有什么區(qū)別，而且每次訪問(wèn)的連接時(shí)間很短，因此可以采用加權(quán)輪詢調(diào)度算法，根據(jù)每臺(tái)服務(wù)器性能的高低，配置對(duì)應(yīng)的權(quán)重；或者采用最快響應(yīng)算法，把負(fù)載調(diào)度給相對(duì)空閑的服務(wù)器。

對(duì)于電子病歷等業(yè)務(wù)系統(tǒng)，因?yàn)檫B接時(shí)間較長(zhǎng)，同時(shí)服務(wù)器上會(huì)保存會(huì)話信息和一些緩存信息。如果在不同服務(wù)器上切換，會(huì)導(dǎo)致系統(tǒng)登出和數(shù)據(jù)保存失敗，因此采用最小連接調(diào)度算法，同時(shí)采取會(huì)話保持機(jī)制，以確保在會(huì)話期間不會(huì)被調(diào)度到其他應(yīng)用服務(wù)器上。在實(shí)施門(mén)診電子病歷的過(guò)程中，偶爾會(huì)出現(xiàn)用戶自動(dòng)登出的問(wèn)題，適當(dāng)增加會(huì)話保持的時(shí)間就可以有效減少此類問(wèn)題。但如果會(huì)話保持的時(shí)間太長(zhǎng)的話，負(fù)載均衡本身又會(huì)失去意義，所以配置優(yōu)化工作也是在實(shí)踐摸索中不斷前行的。

另外，配置服務(wù)器數(shù)量時(shí)要考慮宕機(jī)時(shí)的冗余，盡量保證每臺(tái)服務(wù)器的負(fù)載在中低水平。在某臺(tái)服務(wù)器故障時(shí)，剩余服務(wù)器能接手額外增加的負(fù)載，避免發(fā)生“A機(jī)宕機(jī)→負(fù)載均衡→B機(jī)過(guò)載→B機(jī)宕機(jī)”這樣的連鎖反應(yīng)。

2.5 應(yīng)用成效

我院硬件負(fù)載均衡經(jīng)過(guò)5年多的使用，除了上線時(shí)部署的住院電子病歷系統(tǒng)以外，還增加了門(mén)急診電子病歷系統(tǒng)、各類接口服務(wù)器等。目前設(shè)備上部署的資源池27個(gè)，對(duì)應(yīng)的資源池成員64個(gè)，對(duì)應(yīng)的節(jié)點(diǎn)46個(gè)。

平時(shí)工作期間的每秒數(shù)據(jù)吞吐量在100～200 M Bits之間，有時(shí)數(shù)據(jù)峰值可達(dá)400 M Bits/s（圖2），活動(dòng)連接數(shù)也在500到1000左右，最大連接數(shù)超過(guò)2000（圖3）。從圖中也可以看出，醫(yī)院的工作負(fù)荷在周一最重，周六較輕，周日最輕，其余工作日持平。

圖2 數(shù)據(jù)吞吐量

圖3 活動(dòng)連接數(shù)

從設(shè)備上部署的服務(wù)器數(shù)量來(lái)看，和Web Service接口服務(wù)相關(guān)的服務(wù)器大約占60%，其余40%用于各個(gè)業(yè)務(wù)系統(tǒng)，如臨床數(shù)據(jù)中心、影像數(shù)據(jù)中心、MQ平臺(tái)、門(mén)急診電子病歷系統(tǒng)、住院電子病歷系統(tǒng)等。

從數(shù)據(jù)吞吐量的角度（圖4），影像數(shù)據(jù)中心占絕對(duì)主力，超過(guò)總數(shù)據(jù)量的五分之四；如果從活動(dòng)連接數(shù)的角度看（圖5），則住院電子病歷系統(tǒng)和門(mén)急診電子病歷系統(tǒng)合計(jì)接近總連接數(shù)的四分之三。

在這樣的負(fù)載壓力下，硬件負(fù)載均衡的CPU占用率始終在20%左右波動(dòng)且波動(dòng)幅度較?。▓D6），同時(shí)內(nèi)存的是使用率也保持在極低的程度，這表明實(shí)際負(fù)載相對(duì)于設(shè)備的可負(fù)載能力還保持在較低水平，硬件性能還有極大的冗余，即使訪問(wèn)量出現(xiàn)可預(yù)期或者不可預(yù)期的突然增加，也可以保證系統(tǒng)穩(wěn)定運(yùn)行的瓶頸不會(huì)出現(xiàn)在硬件負(fù)載均衡設(shè)備上。

圖4 各業(yè)務(wù)系統(tǒng)數(shù)據(jù)吞吐量餅圖

圖5 各業(yè)務(wù)系統(tǒng)活動(dòng)連接數(shù)餅圖

圖6 CPU占用率

3 結(jié)語(yǔ)

負(fù)載均衡技術(shù)隨著信息化的發(fā)展而產(chǎn)生，它的出現(xiàn)提高了信息系統(tǒng)的橫向可擴(kuò)展性，使得系統(tǒng)在高并發(fā)時(shí)的可用性和安全性得到保障。我院通過(guò)實(shí)施負(fù)載均衡項(xiàng)目，滿足了業(yè)務(wù)的冗余要求，為醫(yī)院365天×24小時(shí)持續(xù)服務(wù)奠定了基礎(chǔ)。隨著云計(jì)算技術(shù)和大數(shù)據(jù)時(shí)代的到來(lái)，安全性和可靠性的要求也越來(lái)越高，在這種背景下，用對(duì)用好負(fù)載均衡，把技術(shù)轉(zhuǎn)化為生產(chǎn)力，也將變得非常重要。