劉穎+李欣+趙西林+徐敏+尚勇

摘要

本文在詳細(xì)分析了國(guó)家電網(wǎng)西北分部信息系統(tǒng)應(yīng)用性能管理的基礎(chǔ)上，采用理論分析與實(shí)踐結(jié)合的研究方法，建設(shè)了一種新的基于代碼分析的應(yīng)用性能管理平臺(tái)。通過(guò)可視化的業(yè)務(wù)系統(tǒng)代碼執(zhí)行過(guò)程的關(guān)鍵指標(biāo)，并結(jié)合現(xiàn)有網(wǎng)絡(luò)性能分析平臺(tái)，對(duì)影響業(yè)務(wù)性能問(wèn)題的代碼進(jìn)行主動(dòng)分析，快速識(shí)別潛在的風(fēng)險(xiǎn)點(diǎn)，為業(yè)務(wù)應(yīng)用性能提升提供有效、可靠、科學(xué)的數(shù)據(jù)支撐，不斷提高應(yīng)用系統(tǒng)性能和用戶體驗(yàn)滿意度，提升IT系統(tǒng)核心價(jià)值。

【關(guān)鍵詞】應(yīng)用性能管理 代碼分析 關(guān)鍵指標(biāo) 用戶體驗(yàn)

國(guó)家電網(wǎng)公司高度重視信息化工作，其基礎(chǔ)設(shè)施、硬件設(shè)備、應(yīng)用系統(tǒng)、平臺(tái)軟件等軟硬環(huán)境建設(shè)水平得到快速提高。因此，對(duì)提高信息通信運(yùn)行管理水平提出了更高的要求，要求各下屬單位豐富系統(tǒng)運(yùn)維監(jiān)控手段，提高運(yùn)維保障能力，提升系統(tǒng)運(yùn)行故障處理效率，保障系統(tǒng)安全穩(wěn)定運(yùn)行，實(shí)現(xiàn)對(duì)應(yīng)用系統(tǒng)性能全過(guò)程狀態(tài)監(jiān)控的功能，提升運(yùn)維人員在代碼監(jiān)控、內(nèi)存監(jiān)測(cè)、指標(biāo)數(shù)據(jù)關(guān)聯(lián)、監(jiān)控資源整合等方面的能力，從而提高信息通信運(yùn)行管理水平。

1國(guó)家電網(wǎng)公司西北分部現(xiàn)狀

國(guó)家電網(wǎng)公司西北分部（以下簡(jiǎn)稱西北分部）現(xiàn)有重要系統(tǒng)數(shù)十套，覆蓋了規(guī)劃、建設(shè)、檢修、運(yùn)行、人力資源、財(cái)務(wù)、物資等多個(gè)業(yè)務(wù)領(lǐng)域；目前采用通過(guò)流量分析的方式，實(shí)現(xiàn)了包括應(yīng)用性能監(jiān)測(cè)、應(yīng)用性能問(wèn)題定位、性能問(wèn)題報(bào)警及追溯、應(yīng)用流量自動(dòng)梳理在內(nèi)的多項(xiàng)功能，并與短信網(wǎng)關(guān)系統(tǒng)聯(lián)動(dòng)實(shí)現(xiàn)了應(yīng)用性能問(wèn)題快速報(bào)警的效果。但隨著業(yè)務(wù)系統(tǒng)的復(fù)雜度提升，在運(yùn)維工具、管理體系方面還存在提升的空間，這體現(xiàn)在：

1.1缺乏代碼級(jí)的性能監(jiān)控

目前缺失了針對(duì)應(yīng)用程序代碼級(jí)以及數(shù)據(jù)庫(kù)SQL執(zhí)行效率的監(jiān)測(cè)功能，這部分功能的缺失，帶來(lái)了運(yùn)維工作中的盲點(diǎn)，一些由代碼引起的問(wèn)題無(wú)法得到快速的分析和解決。

1.2應(yīng)用平臺(tái)運(yùn)行參數(shù)關(guān)聯(lián)分析能力仍需要提面

目前己經(jīng)完善了基于網(wǎng)絡(luò)數(shù)據(jù)的性能分析，但對(duì)于業(yè)務(wù)代碼執(zhí)行效率與平臺(tái)參數(shù)之間的關(guān)聯(lián)關(guān)系快速分析存在欠缺，無(wú)法幫助管理人員快速定位問(wèn)題根源，迅速發(fā)現(xiàn)和解決系統(tǒng)緩慢問(wèn)題。

1.3對(duì)應(yīng)用程序運(yùn)行時(shí)內(nèi)存消耗分析及監(jiān)控的缺失

內(nèi)存泄露問(wèn)題長(zhǎng)期影響程序的穩(wěn)定性，是部分應(yīng)用程序崩潰的根本原因。其具備難以監(jiān)控，潛伏期長(zhǎng)的特點(diǎn)，在運(yùn)維管理工作中難以定位和處理。

針對(duì)這些情況，西北分部從實(shí)際情況出發(fā)，以網(wǎng)絡(luò)流量數(shù)據(jù)分析平臺(tái)為基礎(chǔ)，通過(guò)建設(shè)基于代碼級(jí)別的性能分析平臺(tái)，面向業(yè)務(wù)，完成端到端的用戶體驗(yàn)監(jiān)控，實(shí)現(xiàn)代碼類(lèi)問(wèn)題的定位以及處理，使得這類(lèi)問(wèn)題得到有效解決，最終達(dá)到提升業(yè)務(wù)連續(xù)性管理水平，提升運(yùn)維管理水平的目的。

2可視化應(yīng)用性能的實(shí)踐

2.1建設(shè)目標(biāo)

（1）部署代碼級(jí)監(jiān)測(cè)軟件，提升軟件代碼層次問(wèn)題性能問(wèn)題處理能力，形成完整的性能管理工具體系；

（2）拓展應(yīng)用性能管理工具覆蓋面，從原有的巡檢工作拓展至巡檢工作以及建轉(zhuǎn)運(yùn)工作，使系統(tǒng)得到更深層次的應(yīng)用；

（3）通過(guò)信息系統(tǒng)代碼監(jiān)控、流量監(jiān)控、可用性監(jiān)控體系的完善和搭建，形成針對(duì)信息系統(tǒng)運(yùn)行指標(biāo)的完整監(jiān)控體系，有效保障信息系統(tǒng)整體運(yùn)行質(zhì)量。

2.2系統(tǒng)實(shí)現(xiàn)

根據(jù)西北分部網(wǎng)絡(luò)及應(yīng)用性能可視化的需求，結(jié)合西北分部現(xiàn)有環(huán)境，本系統(tǒng)采用嵌入式的數(shù)據(jù)采集引擎進(jìn)行代碼運(yùn)行指標(biāo)數(shù)據(jù)采集，之后將采集到的代碼執(zhí)行效率數(shù)據(jù)以及運(yùn)行相關(guān)信息存儲(chǔ)至數(shù)據(jù)庫(kù)內(nèi)，系統(tǒng)代碼性能分析引擎則對(duì)這些采集到的數(shù)據(jù)進(jìn)行處理，在代碼執(zhí)行效率分析、內(nèi)存分析、參數(shù)關(guān)聯(lián)分析、數(shù)據(jù)庫(kù)語(yǔ)句分析引擎的共同作用下，為用戶提供代碼實(shí)時(shí)監(jiān)測(cè)、關(guān)聯(lián)分析報(bào)告、數(shù)據(jù)庫(kù)深度監(jiān)測(cè)功能。系統(tǒng)架構(gòu)如圖1所示。

2.3實(shí)施方法

本次系統(tǒng)建設(shè)在進(jìn)行充分的需求調(diào)研基礎(chǔ)上，在實(shí)踐的過(guò)程中對(duì)原理和方法進(jìn)行研究分析與驗(yàn)證，在后期進(jìn)行綜合測(cè)試和優(yōu)化以確保業(yè)務(wù)監(jiān)控的準(zhǔn)確性和全面性。

2.3.1需求調(diào)研

對(duì)現(xiàn)有應(yīng)用運(yùn)行情況及信息系統(tǒng)性能管理工作具體需求進(jìn)行整體調(diào)研，確定管理范圍、業(yè)務(wù)架構(gòu)及系統(tǒng)功能架構(gòu)等內(nèi)容。

2.3.2業(yè)務(wù)梳理

制定包含業(yè)務(wù)系統(tǒng)相關(guān)的負(fù)載均衡、服務(wù)器、中間件、數(shù)據(jù)庫(kù)等組件的完整調(diào)研模板，與應(yīng)用管理部門(mén)進(jìn)行有效溝通，形成系統(tǒng)調(diào)研報(bào)告，為后期的部署驗(yàn)證工作提供數(shù)據(jù)支撐。2.3.3部署驗(yàn)證

根據(jù)需求調(diào)研報(bào)告及系統(tǒng)調(diào)研報(bào)告在監(jiān)控平臺(tái)內(nèi)進(jìn)行軟/硬件部署、業(yè)務(wù)監(jiān)控定義、視圖定義、報(bào)警定義以及報(bào)表的定制等部署工作并通過(guò)客戶確認(rèn)、架構(gòu)分析等手段驗(yàn)證部署的正確性及有效性。

2.3.4經(jīng)驗(yàn)總結(jié)

利用應(yīng)用性能管理系統(tǒng)，進(jìn)行持續(xù)的日常性能監(jiān)控、問(wèn)題發(fā)現(xiàn)定位、問(wèn)題處理工作，形成以業(yè)務(wù)系統(tǒng)特性為基礎(chǔ)的經(jīng)驗(yàn)分類(lèi)總結(jié)庫(kù)，根據(jù)各類(lèi)型應(yīng)用的獨(dú)立特點(diǎn)形成性能管理經(jīng)驗(yàn)及監(jiān)控模型，以便在后期類(lèi)似業(yè)務(wù)上線時(shí)采用類(lèi)似模型進(jìn)行監(jiān)控，利用歷史運(yùn)維經(jīng)驗(yàn)提升問(wèn)題定位及處理速度。

3系統(tǒng)實(shí)施效果

3.1實(shí)施環(huán)境

本次基于代碼的系統(tǒng)建設(shè)主要部署信息系統(tǒng)響應(yīng)采集組件、業(yè)務(wù)邏輯分析組件、業(yè)務(wù)性能分析組件以及系統(tǒng)展示平臺(tái)，實(shí)施環(huán)境如表1所示。

3.2系統(tǒng)部署

系統(tǒng)采用業(yè)界成熟的技術(shù)體系進(jìn)行設(shè)計(jì)，數(shù)據(jù)采集引擎部分采用.NET以及JAVA平臺(tái)提供的標(biāo)準(zhǔn)性能數(shù)據(jù)獲取接口進(jìn)行數(shù)據(jù)獲取，對(duì)系統(tǒng)影響小，獲取數(shù)據(jù)穩(wěn)定性高；在數(shù)據(jù)存儲(chǔ)部分，系統(tǒng)采用內(nèi)存數(shù)據(jù)庫(kù)進(jìn)行設(shè)計(jì)，保證系統(tǒng)性能數(shù)據(jù)查詢快捷、使用方便；在展示層部分，系統(tǒng)使用J2EE架構(gòu)進(jìn)行展示設(shè)計(jì)，實(shí)現(xiàn)了與原有系統(tǒng)的集成。

3.3系統(tǒng)功能

目前系統(tǒng)已經(jīng)完成的功能包括：集中監(jiān)控，實(shí)時(shí)資源監(jiān)控，代碼分析功能，系統(tǒng)統(tǒng)計(jì)報(bào)表、系統(tǒng)告警五大核心功能。

3.3.1集中監(jiān)控功能endprint

通過(guò)全局吞吐量，監(jiān)控當(dāng)前域中全部應(yīng)用的訪問(wèn)吞吐；通過(guò)雷達(dá)圖展現(xiàn)業(yè)務(wù)系統(tǒng)各時(shí)間段響應(yīng)時(shí)間事務(wù)的占比；通過(guò)對(duì)比曲線顯示當(dāng)前時(shí)間段中各業(yè)務(wù)系統(tǒng)每臺(tái)服務(wù)器的活動(dòng)服務(wù)數(shù)值的趨勢(shì)圖；通過(guò)事務(wù)響應(yīng)分布圖，每個(gè)點(diǎn)表示一個(gè)事務(wù)，顯示實(shí)時(shí)事務(wù)分布。利用集中監(jiān)控功能，能夠讓管理員快速掌握業(yè)務(wù)系統(tǒng)當(dāng)前的性能分布情況，可以根據(jù)用戶的事務(wù)響應(yīng)時(shí)間值，快速介入性能不理想的業(yè)務(wù)響應(yīng)，提高用戶的應(yīng)用使用體驗(yàn)度。

3.3.2實(shí)時(shí)資源監(jiān)控功能

實(shí)時(shí)資源監(jiān)控功能包括所有服務(wù)器的實(shí)時(shí)監(jiān)控參數(shù)信息，通過(guò)選擇服務(wù)器可以對(duì)指定服務(wù)器監(jiān)控信息的顯示與隱藏，其中包含被監(jiān)控服務(wù)器的實(shí)時(shí)活動(dòng)服務(wù)、實(shí)時(shí)服務(wù)處理率、實(shí)時(shí)請(qǐng)求平均響應(yīng)時(shí)間、實(shí)時(shí)服務(wù)器并發(fā)用戶數(shù)、實(shí)時(shí)服務(wù)器系統(tǒng)CPU使用率百分比、實(shí)時(shí)服務(wù)器內(nèi)存使用堆棧百分比，以及實(shí)時(shí)服務(wù)器數(shù)據(jù)庫(kù)連接數(shù)。

3.3.3代碼分析功能

系統(tǒng)能夠監(jiān)控業(yè)務(wù)系統(tǒng)每筆交易時(shí)，義務(wù)系統(tǒng)內(nèi)部的代碼執(zhí)行過(guò)程、SQL語(yǔ)句效率以及系統(tǒng)異常情況，包括交易響應(yīng)時(shí)間、交易最小響應(yīng)時(shí)間、交易最大響應(yīng)時(shí)間、SQL語(yǔ)句、SQL調(diào)用次數(shù)、SQL響應(yīng)時(shí)間、SQL最小響應(yīng)時(shí)間、SQL最大響應(yīng)時(shí)間、異常發(fā)生次數(shù)、異常名稱等詳細(xì)內(nèi)容，讓管理員明確了解業(yè)務(wù)內(nèi)部執(zhí)行的過(guò)程以及性能瓶頸所在，快速定位問(wèn)題。

3.3.4系統(tǒng)統(tǒng)計(jì)報(bào)表功能

系統(tǒng)能夠提供多種統(tǒng)計(jì)分析報(bào)表功能，包括告警統(tǒng)計(jì)、應(yīng)用統(tǒng)計(jì)、SQL響應(yīng)時(shí)間、應(yīng)用響應(yīng)時(shí)間等內(nèi)容，方便管理員對(duì)業(yè)務(wù)系統(tǒng)的運(yùn)行狀態(tài)進(jìn)行宏觀分析，提升業(yè)務(wù)系統(tǒng)的穩(wěn)定運(yùn)行。

3.3.5系統(tǒng)告警功能

系統(tǒng)能夠根據(jù)所有監(jiān)控指標(biāo)進(jìn)行閾值設(shè)定并根據(jù)運(yùn)行值進(jìn)行告警，并能夠根據(jù)告警產(chǎn)生時(shí)間和應(yīng)用URL查看該告警的交易事務(wù)、代碼執(zhí)行過(guò)程及其詳細(xì)的交易事務(wù)性能數(shù)據(jù)，快速定位問(wèn)題。

3.4應(yīng)用效果

經(jīng)過(guò)5個(gè)多月的系統(tǒng)建設(shè)和不斷地分析驗(yàn)證，在西北分部構(gòu)建了完整的、基于代碼分析的應(yīng)用性能可視化監(jiān)控平臺(tái)，并完善的業(yè)務(wù)性能管理規(guī)范，故障處理效率得到顯著提高，系統(tǒng)運(yùn)維處理水平也得到一定程度的提高。目前己經(jīng)完成監(jiān)控的業(yè)務(wù)系統(tǒng)包括財(cái)務(wù)管控、數(shù)據(jù)交換、短信平臺(tái)、16000、呼叫中心、內(nèi)網(wǎng)網(wǎng)站、企業(yè)門(mén)戶、統(tǒng)一數(shù)據(jù)交換平臺(tái)、TMS、統(tǒng)一數(shù)據(jù)監(jiān)控與保護(hù)平臺(tái)等多套業(yè)務(wù)系統(tǒng)。通過(guò)該平臺(tái)，先后發(fā)現(xiàn)了TMS系統(tǒng)數(shù)據(jù)庫(kù)執(zhí)行異常導(dǎo)致服務(wù)響應(yīng)超時(shí)、財(cái)務(wù)管控系統(tǒng)數(shù)據(jù)庫(kù)語(yǔ)句一次獲取太多行數(shù)、呼叫中心系統(tǒng)數(shù)據(jù)未執(zhí)行關(guān)閉、企業(yè)門(mén)戶系統(tǒng)數(shù)據(jù)庫(kù)結(jié)果資源未釋放等問(wèn)題，經(jīng)過(guò)分析解決后，大幅提高了業(yè)務(wù)系統(tǒng)的性能。

3.4.1最終用戶體驗(yàn)監(jiān)測(cè)

實(shí)現(xiàn)了端到端的最終用戶訪問(wèn)應(yīng)用的性能監(jiān)控，包括應(yīng)用響應(yīng)時(shí)間，響應(yīng)的成功率和質(zhì)量等。并進(jìn)一步通過(guò)主動(dòng)式的模擬最終用戶監(jiān)測(cè)來(lái)進(jìn)行應(yīng)用可用性的評(píng)估，通過(guò)對(duì)用戶體驗(yàn)、網(wǎng)絡(luò)、應(yīng)用以及服務(wù)的監(jiān)控來(lái)保證應(yīng)用的高可用和體驗(yàn)效果。

3.4.2應(yīng)用拓?fù)溥壿嫲l(fā)現(xiàn)和可視化

通過(guò)系統(tǒng)平臺(tái)能夠自動(dòng)識(shí)別應(yīng)用在執(zhí)行的過(guò)程中涉及的軟硬件架構(gòu)和組件，并且可以描繪出應(yīng)用交付鏈中相互通訊的各種組件的訪問(wèn)路徑，將應(yīng)用的調(diào)用鏈通過(guò)拓?fù)鋱D，調(diào)用圖等圖表可視化，直觀地展示應(yīng)用的拓?fù)溥壿?，提供了全鏈路的?yīng)用拓?fù)鋱D。

3.4.3用戶定義的事務(wù)剖析

通過(guò)系統(tǒng)平臺(tái)能對(duì)特定的用戶訪問(wèn)特定的事務(wù)請(qǐng)求進(jìn)行完整的追蹤，包括在整個(gè)請(qǐng)求過(guò)程中涉及到的服務(wù)和組件。

3.4.4應(yīng)用組件深度鉆取

利用性能分析平臺(tái)實(shí)現(xiàn)運(yùn)維數(shù)據(jù)分析，通過(guò)對(duì)復(fù)雜事件處理，統(tǒng)計(jì)模式發(fā)現(xiàn)與識(shí)別，非結(jié)構(gòu)化數(shù)據(jù)索引、查詢和推斷，拓?fù)溥壿嫹治?，多維數(shù)據(jù)庫(kù)檢索和分析等技術(shù)，實(shí)現(xiàn)對(duì)大量的各維度性能數(shù)據(jù)進(jìn)行實(shí)時(shí)的運(yùn)算和處理，從而對(duì)應(yīng)用的運(yùn)維和優(yōu)化起到輔助決策和驅(qū)動(dòng)作用。

4結(jié)束語(yǔ)

面對(duì)復(fù)雜的業(yè)務(wù)架構(gòu)，西北分部結(jié)合了網(wǎng)絡(luò)性能分析工具和基于代碼分析的應(yīng)用性能分析工具，建立了統(tǒng)一的業(yè)務(wù)系統(tǒng)性能分析平臺(tái)，利用業(yè)務(wù)架構(gòu)，結(jié)合數(shù)據(jù)流關(guān)系，通過(guò)時(shí)間相關(guān)性等算法，發(fā)掘有業(yè)務(wù)價(jià)值的告警，并直接分析給出告警的問(wèn)題根源。同時(shí)，在該平臺(tái)及工具的體系上建立了可行的、有效的應(yīng)用性能監(jiān)控體系方案，致力于發(fā)現(xiàn)、診斷并定位復(fù)雜應(yīng)用的性能瓶頸和故障，以保證應(yīng)用達(dá)到預(yù)期的服務(wù)水平和用戶體驗(yàn)，提升系統(tǒng)運(yùn)維水平。

參考文獻(xiàn)

[1]2016年應(yīng)用性能管理APM行業(yè)分析報(bào)告.

[2]應(yīng)用性能管理（APM）的價(jià)值分析.

[3]臧冬松等.一種大規(guī)模分布式應(yīng)用性能分析系統(tǒng)[J].計(jì)算機(jī)工程，2012（24）.endprint