王亮 魯曉帆 郭邦圣 劉鑫 高曉佳

摘 ?要：高可用集群環(huán)境構(gòu)建中，部署應(yīng)用的流程，主要由管理進(jìn)程資源組中的帶入和帶出任務(wù)，修改資源刪除資源測試資源。當(dāng)客戶端訪問時(shí)，支持手動(dòng)切換資源調(diào)集。應(yīng)用過程中，支持魯棒測試，如熱插拔、關(guān)機(jī)、進(jìn)程殺掉;測試過程中支持分布式和單元測試。經(jīng)過一系列的部署、安裝和測試，發(fā)現(xiàn)不當(dāng)配置與應(yīng)用效果，需進(jìn)一步完善機(jī)制與策略控制，再次進(jìn)行大規(guī)模應(yīng)用與監(jiān)測。

關(guān)鍵詞：高可用 ? 安全存儲 ? 集群構(gòu)建 ? 應(yīng)用研究

中圖分類號：P209 ? ? ? ? ? ? ? ? ? ? ? ? ? 文獻(xiàn)標(biāo)識碼：A文章編號：1672-3791（2021）08（c）-0011-03

Application Research on the Construction of High Available Secure Storage Cluster

WANG Liang ?LU Xiaofan ?GUO Bangsheng ?LIU Xin ?GAO Xiaojia

（Jilin University of Architecture and Technology， Changchun， Jilin Province， 130114 China）

Abstract： In the construction of high availability cluster environment， the process of deploying applications is mainly carried in and out by the tasks in the management process resource group， modify resources， delete resources and test resources. When the client accesses， it supports manual switching of resource mobilization. During the application process， it supports robust testing， such as hot plug， shutdown， process kill， and distributed and unit testing. After a series of deployment in the test， found the improper configuration and application effect need to further improve the mechanism and strategy control， and carry out large-scale application and monitoring again.

Key Words： High availability; Secure storage; Cluster construction; Application research

在大數(shù)據(jù)、人工智能領(lǐng)域開展深入研究，實(shí)現(xiàn)高校服務(wù)器采用HA（High Available）高可用及高可用安全存儲集群構(gòu)建，一旦發(fā)生服務(wù)器陣列故障，則面臨多個(gè)單點(diǎn)服務(wù)故障或校園多樣服務(wù)大數(shù)據(jù)（教務(wù)系統(tǒng)數(shù)據(jù)、網(wǎng)站系統(tǒng)數(shù)據(jù)、監(jiān)控系統(tǒng)數(shù)據(jù)、學(xué)科平臺科研建設(shè)數(shù)據(jù)等）損毀及停頓。因此，要實(shí)現(xiàn)業(yè)務(wù)數(shù)據(jù)的高可靠性，必然要保證存儲高可用性，針對這類情況，提出高可用安全存儲集群構(gòu)建應(yīng)用研究[1]。

1 ?高可用集群系統(tǒng)

當(dāng)前，大學(xué)校園或中小企業(yè)對信息化高度重視，大都建立了計(jì)算機(jī)應(yīng)用系統(tǒng)，支持其自身的環(huán)境、運(yùn)營和管理工作。然而不論是校園還是企業(yè)，最重視的核心問題是如何建立并維護(hù)其系統(tǒng)的運(yùn)行持續(xù)性及穩(wěn)定性。由此，高可用對于計(jì)算機(jī)應(yīng)用系統(tǒng)極其重要。在正常的業(yè)務(wù)運(yùn)行過程當(dāng)中，軟硬件系統(tǒng)不可避免地會(huì)發(fā)生故障，可能還會(huì)導(dǎo)致系統(tǒng)的整體癱瘓，這樣會(huì)影響用戶的響應(yīng)請求及用戶的信任，損失會(huì)難以估計(jì)，所以采取必要的防范和應(yīng)用措施來保證計(jì)算機(jī)系統(tǒng)的高可用和不間斷業(yè)務(wù)服務(wù)等，來保障系統(tǒng)的安全性、穩(wěn)定性[2]。

2 ?RoseHA概述

RoseHA高可用系統(tǒng)是實(shí)現(xiàn)兩節(jié)點(diǎn)的集群構(gòu)建環(huán)境，用戶只需在原有系統(tǒng)上附加同類服務(wù)器及IP-SAN即可，通過監(jiān)控系統(tǒng)的卷資源、別名資源、繪畫資源、存儲資源及應(yīng)用程序和操作系統(tǒng)，各類計(jì)算機(jī)硬件和軟件資源的運(yùn)行狀態(tài)，實(shí)現(xiàn)某個(gè)關(guān)鍵核心業(yè)務(wù)的高可用性。當(dāng)某個(gè)活動(dòng)節(jié)點(diǎn)不工作或宕機(jī)，RoseHA將活動(dòng)業(yè)務(wù)的系統(tǒng)主機(jī)遷移至備援主機(jī)，有效地降低計(jì)劃內(nèi)外的主機(jī)非正常運(yùn)轉(zhuǎn)時(shí)間，提高業(yè)務(wù)系統(tǒng)穩(wěn)定性和高可用性[3]。

3 ?RoseHA的產(chǎn)品結(jié)構(gòu)與工作原理

支持動(dòng)態(tài)卷切換，增強(qiáng)卷切換的工作效率及支持LINUX系統(tǒng)平臺下的邏輯卷設(shè)備切換。針對不同的特定應(yīng)用代理程序，將服務(wù)監(jiān)控按照實(shí)際有效的方式切換，提供API用戶開發(fā)代理程序，針對企業(yè)編寫特定專用的代理程序，指定與專用服務(wù)相關(guān)的狀態(tài)診斷與錯(cuò)誤恢復(fù)機(jī)制。集群具有容錯(cuò)可靠，具有兩個(gè)或多個(gè)核心進(jìn)程，互相監(jiān)控，如果其中一個(gè)失敗，另一個(gè)進(jìn)程自動(dòng)執(zhí)行恢復(fù)，避免單點(diǎn)故障發(fā)生在自身服務(wù)。支持多心跳路徑，避免心跳故障單點(diǎn)產(chǎn)生，支持仲裁資源，使集群節(jié)點(diǎn)全部通信斷開，通過仲裁確定集群運(yùn)行狀態(tài)，避免節(jié)點(diǎn)競爭[4]。

4 ?基于ORACLE+RoseHA的高可用安全存儲集群構(gòu)建

4.1 ORACLE的構(gòu)建部署

啟動(dòng)實(shí)例的過程是加載內(nèi)存的過程，將主服務(wù)部署聯(lián)機(jī)共享，部署后刪除主實(shí)例后部署的備用服務(wù)器，常規(guī)劃于RAID磁盤陣列中，磁盤陣列隸屬于當(dāng)前某個(gè)活動(dòng)的基于ISCSI映射連接的磁盤空間中，啟動(dòng)數(shù)據(jù)庫：startup nomount：啟動(dòng)實(shí)例;startup mount：只允許本地操作;startup open：打開數(shù)據(jù)庫，所有用戶可使用;startup restrict：以受限模式打開數(shù)據(jù)庫。Alter database db01 mount轉(zhuǎn)換數(shù)據(jù)庫狀態(tài)Alter database db01 only read把數(shù)據(jù)庫轉(zhuǎn)換成只讀的Start database restrict數(shù)據(jù)庫受限狀態(tài)。構(gòu)建集群狀態(tài)下的核心數(shù)據(jù)庫，具體情況如圖1所示。

4.2 RoseHA的構(gòu)建部署

服務(wù)器主備均需安裝RHA，可無序安裝，部署向?qū)е?，根?jù)實(shí)際需要進(jìn)行路徑和模塊選擇。在配置上，首先訪問RHA的控制中心，通過默認(rèn)密碼webadmin訪問，創(chuàng)建方案選擇活動(dòng)SERVER，根據(jù)活動(dòng)服務(wù)器的狀態(tài)及網(wǎng)絡(luò)虛擬指定的IP，作為指定服務(wù)器的IP地址，根據(jù)登錄界面輸入ROSE的內(nèi)置密碼，設(shè)置注冊碼，復(fù)制主備server的ID，通過注冊碼將授權(quán)導(dǎo)入。

配置鏈路，添加鏈路，選擇心跳IP，根據(jù)經(jīng)驗(yàn)需要兩組心跳效果最好。結(jié)合需求，選擇數(shù)據(jù)庫的應(yīng)用類型，添加數(shù)據(jù)庫后，根據(jù)“磁盤列表”選擇磁盤ID，確認(rèn)并格式化磁盤。若安裝lvm或multi-path，需手動(dòng)輸入仲裁設(shè)備名，IP-SAN網(wǎng)絡(luò)存儲需要ISCSI連接成為本地磁盤后格式化磁盤，進(jìn)行仲裁加入。卷資源添加后磁盤ID要保持一直，在掛載和驅(qū)動(dòng)器號上，指定分區(qū)盤符。IP資源處選擇添加，網(wǎng)卡處掛在活動(dòng)的網(wǎng)卡，在資源處輸入activety的IP地址和掩碼。根據(jù)應(yīng)用類型，RHA自動(dòng)添加系統(tǒng)服務(wù)，進(jìn)程資源是根據(jù)配置需要添加的.exe程序，默認(rèn)無監(jiān)控端口[5]。

集群環(huán)境部署應(yīng)用設(shè)計(jì)過程。（1）帶入：需主機(jī)開啟活動(dòng)IP，啟動(dòng)每個(gè)業(yè)務(wù)服務(wù)系統(tǒng)，數(shù)據(jù)實(shí)現(xiàn)實(shí)時(shí)同步，集群中的備機(jī)會(huì)自動(dòng)停止。（2）帶出：當(dāng)前Active主機(jī)會(huì)休眠所有同步業(yè)務(wù)系統(tǒng)，實(shí)時(shí)監(jiān)聽同步數(shù)據(jù)，暫停全部活動(dòng)數(shù)據(jù)及業(yè)務(wù)，屬于對等層業(yè)務(wù)的暫停執(zhí)行。（3）資源切換：處于正常與非正常狀態(tài)的切換資源方式，主機(jī)業(yè)務(wù)正常，但主機(jī)資源需要硬件維護(hù)或其他使用目的，則強(qiáng)制切換資源給備機(jī)使用，同步會(huì)通過心跳線路將IP資源、別名資源、會(huì)話資源、RAID卷資源及所有服務(wù)資源切換給備機(jī)運(yùn)行。當(dāng)主機(jī)出現(xiàn)異常宕機(jī)或其他非正常運(yùn)行狀況，則主機(jī)自動(dòng)實(shí)現(xiàn)帶出全部資源，將主動(dòng)權(quán)資源切換給備機(jī)，主機(jī)離線狀態(tài)，也會(huì)把所有資源權(quán)限全部帶出交付給備機(jī)，使其處于活動(dòng)狀態(tài)。主機(jī)關(guān)機(jī)及主機(jī)心跳或鏈路被拔掉及主機(jī)進(jìn)程被KILL掉，則全部資源自動(dòng)被帶出，交付備機(jī)接管，備機(jī)接收后按照RoseHA的自定向下服務(wù)執(zhí)行模式，將資源接管，繼續(xù)為用戶提供連續(xù)不間斷服務(wù)業(yè)務(wù)[6]。

4.3 單元與分布式測試

4.3.1 單元測試

（1）結(jié)合該項(xiàng)目實(shí)例，根據(jù)集群關(guān)鍵業(yè)務(wù)，通過RoseHA啟動(dòng)，JOB是否被正常運(yùn)行、停止。

（2）通過RoseHA進(jìn)行Take Over測試是否正常。

（3）通過RoseHA進(jìn)行Fail Over測試是否正常。

（4）通過RoseHA進(jìn)行Agent功能保護(hù)測試是否正常。

（5）網(wǎng)卡保護(hù)功能測試，拔除AS心跳線路測試是否提示出現(xiàn)Fail Over，并進(jìn)行遷出操作，立即插上后，AS是否恢復(fù)主機(jī)關(guān)鍵服務(wù)業(yè)務(wù)。

4.3.2 分布式測試

（1）修改活動(dòng)IP，選中配置好的RESOURCES池，執(zhí)行帶出操作，停止整個(gè)業(yè)務(wù)集群幾桶，在RESOURCES lists里，選中IP資源，操作屬性中修改IP地址，修改后保存執(zhí)行代入資源測試。

（2）新增監(jiān)控資源，在資源列表里如新增NT服務(wù)，依賴關(guān)系處選擇依賴資源配置后執(zhí)行帶入，然后立即監(jiān)控。

（3）刪除部分資源，在選中配置好的資源組中帶出并停止真?zhèn)€集群服務(wù)業(yè)務(wù)，在資源列表中刪除某個(gè)測試資源，操作-刪除，刪除后，選中資源組，執(zhí)行帶入。

4.4 故障排錯(cuò)與解決方案

主機(jī)狀態(tài)顯示主機(jī)離線，備機(jī)心跳紅色，確認(rèn)備機(jī)take in成功，此時(shí)故障情況為服務(wù)器網(wǎng)絡(luò)中斷或主機(jī)宕機(jī)，解決網(wǎng)絡(luò)中斷或服務(wù)器宕機(jī)問題即可。

卷資源顯示故障，則OS提示無法連接本地RAID，檢測RAID指示燈是否異常，RAID是否解散，RAID成員是否故障，連接服務(wù)器的RAID光纖鏈路狀態(tài)及操作系統(tǒng)是否正常。

應(yīng)用服務(wù)主題資源顯示故障，部分資源無法正常使用與運(yùn)行，在資源列表中查看無法與運(yùn)行的主體應(yīng)用服務(wù)。

心跳故障顯示為紅色或者黃色標(biāo)識，心跳無法正常通信在接管與遞交資源過程中是無法實(shí)現(xiàn)實(shí)時(shí)通信的，選擇某個(gè)心跳查看具體故障。

如果為Linux系統(tǒng)，則采取日志收集方式，在RoseHA的INFO文件中，默認(rèn)路徑為/opt/HA/info，如果是windows系統(tǒng)則路徑為c：＼Program Files＼HA＼info，執(zhí)行g(shù)atherinfo，運(yùn)行需要一段時(shí)間。在info目錄下生成host.rar的日志和配置壓縮包文件。分別在RoseHA集群的服務(wù)器上執(zhí)行相同操作，獲取這2臺服務(wù)器的配置和日志信息。

5 ?結(jié)語

通過高可用安全存儲集群的構(gòu)建實(shí)現(xiàn)各類高校及中小企業(yè)的集群服務(wù)，保障業(yè)務(wù)的連續(xù)性迫在眉睫，目前對高可用集群與安全存儲這類信息化建設(shè)較薄弱，原因在于意識不夠和構(gòu)建成本較高，因此需要把高可用及安全存儲列入常規(guī)運(yùn)維中，這樣不僅可以加強(qiáng)信息化的建設(shè)，而且對后期維護(hù)與安全性會(huì)起到重要的保護(hù)作用。

參考文獻(xiàn)

[1] 冷迪.基于集群架構(gòu)的物聯(lián)網(wǎng)動(dòng)態(tài)數(shù)據(jù)安全存儲方法[J].中國新通信，2020，22（6）：136.

[2] 吳俊鵬，劉曉東.一種基于集群的動(dòng)態(tài)負(fù)載均衡算法研究[J].電子設(shè)計(jì)工程，2021，29（16）：75-78.

[3] 鄭增乾，王錕，趙濤，等.帶寬和時(shí)延受限的流媒體服務(wù)器集群負(fù)載均衡機(jī)制[J].計(jì)算機(jī)科學(xué)，2021，48（6）：261-267.

[4] 吳天宇，馮蕊，楊翠.Oracle數(shù)據(jù)庫批量數(shù)據(jù)無損遷移技術(shù)[J].電子技術(shù)與軟件工程，2021（8）：204-205.

[5] 葛鈺，李洪赭，李賽飛.一種web服務(wù)器集群自適應(yīng)動(dòng)態(tài)負(fù)載均衡設(shè)計(jì)與實(shí)現(xiàn)[J].計(jì)算機(jī)與數(shù)字工程，2020，48（12）：3002-3007.

[6] 張鳳瓊.基于云計(jì)算技術(shù)的計(jì)算機(jī)網(wǎng)絡(luò)安全存儲技術(shù)[J].數(shù)字技術(shù)與應(yīng)用，2021，39（8）：176-178.

基金項(xiàng)目：吉林省教育廳“十三五”科學(xué)技術(shù)研究項(xiàng)目《高可用安全存儲集群構(gòu)建應(yīng)用研究》階段成果（項(xiàng)目編 ? ? ? ? ? ? ? ?號：JJKH20201232KJ）。

作者簡介：王亮（1986—），男，碩士，實(shí)驗(yàn)師，研究方向?yàn)楦呖捎眉?、網(wǎng)絡(luò)工程。