王琪+陸全華+史先娟+孫裔成
摘要:基于江蘇省農(nóng)產(chǎn)品質(zhì)量安全追溯管理平臺的云網(wǎng)絡(luò)服務(wù)由智能解析網(wǎng)絡(luò)和應(yīng)用云虛擬化服務(wù)兩部分構(gòu)成。智能解析網(wǎng)絡(luò)主要是用于方便內(nèi)外用戶就近訪問,云虛擬化服務(wù)主要是將傳統(tǒng)的前臺應(yīng)用與數(shù)據(jù)庫服務(wù)器的1+1模式調(diào)整為虛擬化N+N模式,動態(tài)調(diào)度計算資源為各種情況下的突發(fā)訪問提供額外支撐,提高平臺服務(wù)的可用性、健壯性和安全性。
關(guān)鍵詞:農(nóng)產(chǎn)品;質(zhì)量安全;追溯管理;云網(wǎng)絡(luò)服務(wù)
引言
隨著計算機技術(shù)的的發(fā)展和現(xiàn)代農(nóng)業(yè)生產(chǎn)服務(wù)方式的變革,農(nóng)產(chǎn)品的生產(chǎn)、運輸、監(jiān)管、追溯等多個領(lǐng)域已經(jīng)跨入了信息化、物聯(lián)網(wǎng)化管理時代,一些地區(qū)的農(nóng)業(yè)生產(chǎn)領(lǐng)域已經(jīng)納入了全程可視可追溯化的信息系統(tǒng)管理范圍。借助云網(wǎng)絡(luò)服務(wù)技術(shù)的應(yīng)用高潮,許多平臺的使用管理需求變得越來越要求更智能、健壯、簡單、便捷,這對傳統(tǒng)的IT運維模式提出了新的問題,給運維人員也帶來了越來越高的挑戰(zhàn)。
長期以來,各類系統(tǒng)提供服務(wù)的典型模式是一套系統(tǒng)配置一臺專用服務(wù)器與運營商網(wǎng)絡(luò)線路。在這種模式下,隨著網(wǎng)站、業(yè)務(wù)系統(tǒng)的用戶訪問量增加必須不斷購置增加新的服務(wù)器硬件與更高的網(wǎng)絡(luò)帶寬資源,服務(wù)器與帶寬資源投入的成本會隨著業(yè)務(wù)的規(guī)模擴張不斷攀升,同時設(shè)備數(shù)量激增伴隨而來的機房空間、電力供應(yīng)、人員管理、時間成本也隨之膨脹。單臺服務(wù)器硬件的處理性能瓶頸無法實現(xiàn)突破,用戶海量突發(fā)訪問情況下會造成系統(tǒng)無法處理導(dǎo)致癱瘓,空閑時的性能無法加以利用,空耗電力與管理成本造成巨大的資源浪費。如同高校中的教務(wù)選課系統(tǒng)、鐵路公司的網(wǎng)上購票系統(tǒng),每年僅在特定時間內(nèi)系統(tǒng)異常繁忙,無法滿足用戶訪問要求,其余時間系統(tǒng)閑置,以至于投入的網(wǎng)絡(luò)帶寬與服務(wù)器資源嚴(yán)重浪費。一方面用戶體驗得不到有效保障,另一方面費用投入過大造成業(yè)務(wù)系統(tǒng)可持續(xù)發(fā)展受到嚴(yán)重影響。
所以在系統(tǒng)部署的問題上必須要考慮到未來可預(yù)計的訪問量會呈數(shù)十倍的規(guī)模增加,如何避免類似業(yè)務(wù)系統(tǒng)的困境出現(xiàn),已經(jīng)成為研究如何支撐它持續(xù)成功推廣應(yīng)用的重要課題。本文針對業(yè)務(wù)系統(tǒng)訪問對象具有的變化性、分散性、不規(guī)律性等特點,提出了一種基于云網(wǎng)絡(luò)服務(wù)平臺的農(nóng)業(yè)智能業(yè)務(wù)管理系統(tǒng)。本系統(tǒng)的關(guān)鍵技術(shù)是通過策略解析實現(xiàn)用戶就近訪問,保障訪問速度;采用彈性資源計算分配算法,實時調(diào)整分配的計算能力,將繁忙時段的訪問負載分擔(dān)到不同硬件中,將空閑時段的計算資源收回用于其他業(yè)務(wù)系統(tǒng)和服務(wù)計算中。
1研究背景與建設(shè)目標(biāo)
作者所在單位負責(zé)了江蘇省農(nóng)產(chǎn)品質(zhì)量安全追溯平臺的開發(fā)與推廣應(yīng)用項目,在2013年本項目完成上線調(diào)試和培訓(xùn)推廣工作,平臺轉(zhuǎn)入正式運行狀態(tài)。系統(tǒng)主要為各生產(chǎn)基地在農(nóng)產(chǎn)品的種植養(yǎng)殖、采集收納、加工生產(chǎn)、運輸物流全部流程中提供數(shù)據(jù)采集記錄、代碼生成、各階段數(shù)據(jù)追溯功能,農(nóng)業(yè)監(jiān)管部門負責(zé)檢查數(shù)據(jù)錄入的真實性、完整性,非生產(chǎn)基地之外的農(nóng)產(chǎn)品將不被允許記錄在案,消費者在購買農(nóng)產(chǎn)品后掃描追溯碼可以追溯到其全部生產(chǎn)環(huán)節(jié)、具體日期、生產(chǎn)基地、每個環(huán)節(jié)負責(zé)人等所有信息,最終變“點監(jiān)管”為“鏈監(jiān)管”,形成“無法追溯來源不得上市,上市農(nóng)產(chǎn)品都可追溯”的市場準(zhǔn)入制度。
在系統(tǒng)規(guī)劃設(shè)計之初,系統(tǒng)僅限于鹽城部分地區(qū)試點使用,試點單位不超過30個,總使用人數(shù)100余個,使用并發(fā)數(shù)在30人左右,業(yè)務(wù)訪問量小、并發(fā)數(shù)低,對系統(tǒng)性能和響應(yīng)速度方面的壓力并不大,所以政府采購部署了兩臺機普通架式服務(wù)器(一臺前端web服務(wù)、一臺后端數(shù)據(jù)庫)在鹽城農(nóng)委機房,由于預(yù)算有限沒有申請專線,與鹽城農(nóng)委的20Mb辦公網(wǎng)絡(luò)共享帶寬使用。隨著業(yè)務(wù)擴展,試點地區(qū)擴大,使用基地變多,業(yè)務(wù)訪問量和并發(fā)數(shù)都變大,逐步出現(xiàn)一些線路利用率高、服務(wù)器資源耗盡、響應(yīng)速度慢、卡頓和短暫無法上傳數(shù)據(jù)問題,用戶抱怨連連。在追求極致、快速的互聯(lián)網(wǎng)+時代,這些投訴對于一個實時交互的業(yè)務(wù)系統(tǒng)比較致命的影響。在這種背景下,系統(tǒng)建設(shè)方要求在不影響業(yè)務(wù)使用的同時采取必要的技術(shù)手段改善用戶體驗,避免高延時和宕機服務(wù)停止的情況出現(xiàn)。本文就是以江蘇省農(nóng)產(chǎn)品質(zhì)量安全追溯平臺的遷移工作為實例,進行相關(guān)工作研究和應(yīng)用部署。
在接受平臺優(yōu)化需求后,服務(wù)團隊在通過一系列調(diào)研的基礎(chǔ)上,經(jīng)過商議討論,決定將將原有部署在鹽城的傳統(tǒng)業(yè)務(wù)服務(wù)器實行虛擬化,將服務(wù)資源遷移至單位所在的云服務(wù)平臺中。根據(jù)實際應(yīng)用現(xiàn)場,將服務(wù)器采用P-V模式虛擬化,納入到虛擬化計算池中,突破原有物理服務(wù)器內(nèi)存和CPU計算能力限制,將計算池中的資源實現(xiàn)動態(tài)按需分配,最大程度滿足峰值需求,在低峰期時計算資源收回。通過按照運營商IP地址段進行策略域名解析,充分利用云服務(wù)中心的多運營商線路確保用戶能就近訪問,在某一條線路出現(xiàn)意外中斷或堵塞時觸發(fā)更新解析,將用戶流量引導(dǎo)至空閑網(wǎng)絡(luò)線路中。提高業(yè)務(wù)可靠性,利用虛擬化平臺的監(jiān)控技術(shù)確保虛擬機所在物理硬件出現(xiàn)故障時候迅速漂移至其余可用物理服務(wù)器中。
本項目的云網(wǎng)絡(luò)服務(wù)優(yōu)化目標(biāo)就是在不投人額外經(jīng)費的前提下,充分利用現(xiàn)有資源實現(xiàn)平臺的整體遷移,確保農(nóng)產(chǎn)品質(zhì)量安全追溯平臺在高峰期能正常運行、處理數(shù)據(jù),按需分配節(jié)約計算性能,增強系統(tǒng)容災(zāi)能力、提升用戶體驗。
2農(nóng)產(chǎn)品質(zhì)量安全追溯平臺系統(tǒng)現(xiàn)狀分析
前期調(diào)研中我們前往系統(tǒng)部署所在地,一線觀察了生產(chǎn)基地數(shù)據(jù)上傳、采集、防偽碼追溯使用、后臺監(jiān)管的全過程;軟件系統(tǒng)的架構(gòu)、數(shù)據(jù)庫部署方式、服務(wù)器運行狀態(tài)、網(wǎng)絡(luò)的利用率情況。隨后與當(dāng)?shù)貐f(xié)助維護的工程師進行交流溝通,與該平臺的使用者質(zhì)監(jiān)站與生產(chǎn)基地了解使用中的各類問題和反饋意見。最終將主要問題癥狀羅列如下:
第一、用戶使用問題。當(dāng)前系統(tǒng)(www.is-apqt.com)使用效率較高,在線人數(shù)峰值達到200人。使用體驗不佳,其中速度慢、無響應(yīng)、軟件平臺宕機反饋的問題出現(xiàn)次數(shù)較多,另外與部分農(nóng)殘儀接口數(shù)據(jù)不匹配,導(dǎo)致部分節(jié)點數(shù)據(jù)無法上傳成功。
第二、業(yè)務(wù)系統(tǒng)托管機房環(huán)境問題。系統(tǒng)由于托管在鹽城市農(nóng)委的機房,該處機房屬于早期建設(shè),規(guī)劃空間小,預(yù)留機柜空間不足設(shè)備堆積嚴(yán)重,無精密空調(diào),服務(wù)器排氣量高溫度持續(xù)告警。綜合布線系統(tǒng)雜亂,沒有任何的標(biāo)識標(biāo)記,維護起來極度不便。
第三、網(wǎng)絡(luò)帶寬問題。在數(shù)據(jù)上傳交互時候平均帶寬占用每人50Kb,峰值時候需要帶寬30Mb。本業(yè)務(wù)平臺的出口網(wǎng)絡(luò)只有一條,由鹽城電信公司的20Mb帶寬維持,一般情況下足夠使用。但這條線路并未給予專線專用,還需要與當(dāng)?shù)剞r(nóng)委的辦公上網(wǎng)共享使用,極容易造成網(wǎng)絡(luò)堵塞,造成外部訪問速度慢延時高,電信出口一旦中斷,沒有冗余線路提供訪問,會造成全部中斷。
第四、業(yè)務(wù)系統(tǒng)所使用的服務(wù)器硬件資源問題。平臺業(yè)務(wù)系統(tǒng)是通過政府采購的兩臺HP機架式中檔服務(wù)器DL320,雙核CPU內(nèi)存為4GB,一臺作為前臺,一臺作為數(shù)據(jù)庫。前臺利用率較高,而后臺相對空閑,其中后臺的空閑資源并不能釋放出來給予前臺支持。在上午9-11點,下午3-5點使用高峰期時,前臺服務(wù)器內(nèi)存耗盡,響應(yīng)速度緩慢。
第五、業(yè)務(wù)系統(tǒng)軟件兼容性開發(fā)問題。由于使用的手持農(nóng)殘儀采購型號不一,每一款型號儀器都需要進行額外開發(fā)與平臺對接后才可以上傳數(shù)據(jù),與平臺對接的開發(fā)需要加快進度。
第六、業(yè)務(wù)系統(tǒng)安全性問題。在調(diào)研中發(fā)現(xiàn),為了方便技術(shù)人員遠程調(diào)試,開發(fā)時候預(yù)留了遠程桌面端口,密碼強度低,防火墻策略不嚴(yán)格。業(yè)務(wù)系統(tǒng)內(nèi)沒有安裝殺毒軟件,仍舊使用的32位的windows2003屬于已被淘汰的操作系統(tǒng),在簡單掃描后發(fā)現(xiàn)病毒數(shù)量不少,服務(wù)器上曾經(jīng)出現(xiàn)過木馬入侵痕跡和被利用作為跳板實施網(wǎng)絡(luò)攻擊等犯罪行為。
3云服務(wù)方案設(shè)計
3.1設(shè)計原則
通過調(diào)研發(fā)現(xiàn)的問題,團隊經(jīng)過與用戶商議達成共識,在現(xiàn)有條件無法得到顯著改善的情況下,最便捷的措施就是實現(xiàn)業(yè)務(wù)系統(tǒng)整體遷移“搬家”,將系統(tǒng)環(huán)境整體部署到單位所在的私有云網(wǎng)絡(luò)服務(wù)中,在不追加投資購置硬件和改善機房條件的情況下,此方法的成本最低,改善效果最佳。同時明確了云服務(wù)方案部署實施的幾個原則:
一、避免長時間中斷,一次性到位,使得用戶在遷移過程中無感知。
二、提升用戶體驗,業(yè)務(wù)承載能力顯著提升。
三、加固平臺安全,完善備案資料,避免造成非技術(shù)因素導(dǎo)致的中斷。
四、保證數(shù)據(jù)完整性,遷移前后數(shù)據(jù)一致。
3.2部署方案
在此原則基礎(chǔ)上,最終形成的云網(wǎng)絡(luò)服務(wù)部署設(shè)計方案如下:
一、基礎(chǔ)平臺準(zhǔn)備。在遷移前提前準(zhǔn)備好“新家”,把業(yè)務(wù)平臺所需的虛擬化服務(wù)器首先搭建完成。針對現(xiàn)有服務(wù)器硬件資源不足的問題,將網(wǎng)站搬家后將搭建在云平臺服務(wù)器集群中,服務(wù)器虛擬化技術(shù)可以提供彈性性能分配機制,在網(wǎng)站繁忙時候提供所有資源128G內(nèi)存64核CPU處理能力,在網(wǎng)站空閑時將資源回收設(shè)置為8G內(nèi)存3核CPU,如圖1所示。
二、多運營商線路與域名策略解析準(zhǔn)備。針對現(xiàn)有網(wǎng)絡(luò)帶寬不足的問題,將在網(wǎng)站搬家后得到解決,充分利用單位高帶寬網(wǎng)絡(luò)、多運營商冗余線路優(yōu)勢提供對外訪問。所有用戶將通過互聯(lián)網(wǎng)訪問云網(wǎng)絡(luò)服務(wù)平臺,不會感覺到服務(wù)差異。同時申請新公網(wǎng)IP地址,其中移動、聯(lián)通、電信各一個,利用域名平臺提供的DNS服務(wù)進行策略解析對外發(fā)布,根據(jù)用戶所在網(wǎng)絡(luò)情況來指定最佳網(wǎng)絡(luò)IP就近接人,如圖2所示。
三、業(yè)務(wù)系統(tǒng)安全加固準(zhǔn)備。部署前端網(wǎng)頁防火墻設(shè)備,采用反向代理技術(shù)進行多域名對公網(wǎng)IP地址,節(jié)約地址資源,如圖3所示。在搬家后關(guān)閉所有對外遠程端口、提升密碼強度、指定嚴(yán)格訪問IP及操作控制權(quán)限、運行64位windows2008操作系統(tǒng)版本。使用平臺自帶的趨勢防病毒底層殺毒軟件和服務(wù)漏洞補丁修復(fù)系統(tǒng),不需要安裝服務(wù)器中再安裝殺毒或補丁修復(fù)軟件等浪費性能資源。
四、備案信息變更準(zhǔn)備。由于前期備案在本省其他城市運營商注冊,在變更過程中涉及系統(tǒng)平臺主體更換、域名證書重新生成等具體事項。需要在搬家前將域名注冊賬戶進行過戶,變更域名證書所有權(quán),在云服務(wù)平臺所在地電信、移動、聯(lián)通公司進行備案成功后,隨后在鹽城市電信公司取消備案。該步驟將需要在正式遷移前完成,備案必須在工作日,且要考慮預(yù)留三天左右的時間待備案流程結(jié)束,否則會造成未備案或備案主體不正確被封閉80端口無法使用。
五、系統(tǒng)平臺及數(shù)據(jù)遷移準(zhǔn)備。遷移整體計劃采用“軟搬家”方式,將網(wǎng)站軟件、后臺數(shù)據(jù)、域名遷移到云服務(wù)網(wǎng)絡(luò)中。首先將前臺軟件部署到虛擬服務(wù)器中,最重要的是對后臺數(shù)據(jù)庫的數(shù)據(jù)進行遷移。因為涉及到后臺數(shù)據(jù)量約有200 GB,方案中是采用夜間暫停前臺數(shù)據(jù)讀寫操作,后臺一次性拷貝至新數(shù)據(jù)庫中。在數(shù)據(jù)備份完成后立即開啟云服務(wù)平臺中的前臺服務(wù),再進行正常的業(yè)務(wù)讀寫操作,正式遷移到云服務(wù)平臺中對外提供服務(wù)。
4結(jié)論
在農(nóng)產(chǎn)品質(zhì)量安全追溯平臺遷移后,團隊經(jīng)過多次測試,由于帶寬資源、計算資源充裕,用戶瀏覽、數(shù)據(jù)上傳國內(nèi)用戶基本能達到1.6-2.4Mb訪問速度,延遲從原先的50-100ms改善至10-40ms,在2015年期間至今沒有出現(xiàn)計劃外的服務(wù)中斷故障。并發(fā)數(shù)峰值用戶最高達到400人次操作上傳,在抗壓性測試中,并發(fā)1000用戶時候系統(tǒng)服務(wù)均正常運行。在大數(shù)量傳輸測試中,在外網(wǎng)不同地區(qū)分別5次上傳1GB文件時間約為20分鐘左右,上傳穩(wěn)定成功率高,穩(wěn)定運行至今。由于利用了單位現(xiàn)有的云服務(wù)中心現(xiàn)有的線路與虛擬服務(wù)資源,節(jié)約硬件投資45萬,節(jié)約線路帶寬投資每年6萬元。通過農(nóng)產(chǎn)品質(zhì)量安全追溯管理平臺的云網(wǎng)絡(luò)服務(wù)研究和應(yīng)用,使得我們通過這個案例對今后業(yè)務(wù)系統(tǒng)的建設(shè)推廣上有了更多的經(jīng)驗和借鑒意義。