于 澎，李 琪，李天翼，楊佳愉

（1.中國鐵道科學(xué)研究院集團(tuán)有限公司 電子計算技術(shù)研究所，北京 100081；2.北京經(jīng)緯信息技術(shù)有限公司，北京 100081）

信息系統(tǒng)軟件作為交付給用戶使用的產(chǎn)品，其質(zhì)量的好壞直接關(guān)系到用戶對產(chǎn)品的體驗度。測試是保證軟件高質(zhì)量的必要手段，其中，軟件性能測試是整個測試過程中不可缺少的一部分。對于鐵路12306互聯(lián)網(wǎng)售票系統(tǒng)，其邏輯結(jié)構(gòu)復(fù)雜，系統(tǒng)層次劃分較多，應(yīng)用服務(wù)、中間件和數(shù)據(jù)庫大多分布在Unix或Linux服務(wù)器上，或以集群的方式提供服務(wù)，其性能的好壞直接影響到交易量[1]。因此執(zhí)行性能測試的主要目的是通過監(jiān)測服務(wù)器的性能指標(biāo)，發(fā)現(xiàn)網(wǎng)站的性能瓶頸，并通過調(diào)整服務(wù)器參數(shù)使系統(tǒng)運(yùn)行達(dá)到最優(yōu)。

本文旨在從信息系統(tǒng)的服務(wù)器瓶頸分析出發(fā)，基于性能測試過程中系統(tǒng)每秒處理事務(wù)數(shù)（TPS，Transaction Per Second）、響應(yīng)時間和吞吐量等指標(biāo)，建立一套對系統(tǒng)性能監(jiān)測與調(diào)優(yōu)的方法，為系統(tǒng)平穩(wěn)運(yùn)行提供保障。

1 系統(tǒng)性能測試研究

1.1 性能測試指標(biāo)分析

性能測試通過使用多種測試工具來模擬大量用戶發(fā)起某個業(yè)務(wù)請求的情景，從而對系統(tǒng)運(yùn)行產(chǎn)生壓力。在此過程中，系統(tǒng)監(jiān)測是檢查系統(tǒng)運(yùn)行指標(biāo)和發(fā)現(xiàn)系統(tǒng)瓶頸的過程；系統(tǒng)調(diào)優(yōu)則是消滅系統(tǒng)瓶頸的過程。系統(tǒng)的吞吐量是指在給定的時間段內(nèi)系統(tǒng)所完成的交易數(shù)，其中，互聯(lián)網(wǎng)系統(tǒng)的吞吐量與用戶發(fā)送的請求對服務(wù)器CPU、內(nèi)存、外部接口、I/O資源等的消耗緊密關(guān)聯(lián)[2]。單個用戶請求對CPU消耗越高，外部系統(tǒng)接口和I/O響應(yīng)速度越慢，系統(tǒng)吞吐能力越低，反之吞吐能力越高。并發(fā)數(shù)、TPS和響應(yīng)時間是衡量系統(tǒng)吞吐量的主要參數(shù)，并發(fā)數(shù)為系統(tǒng)同時處理的事務(wù)數(shù)，TPS為每秒鐘系統(tǒng)處理的事務(wù)數(shù)，響應(yīng)時間為系統(tǒng)處理完成事務(wù)的平均時間，對于互聯(lián)網(wǎng)系統(tǒng)的事務(wù)，響應(yīng)時間是指系統(tǒng)接到請求、進(jìn)行處理并返回回應(yīng)的整個過程的時間。三者之間的關(guān)系為：TPS=并發(fā)數(shù)/響應(yīng)時間，三者關(guān)系如圖1所示。系統(tǒng)的吞吐量主要由TPS和并發(fā)數(shù)兩個因素決定，每個系統(tǒng)的TPS和并發(fā)數(shù)都有極限值，在模擬大量用戶請求壓力下，若其中某一項達(dá)到系統(tǒng)最高值，系統(tǒng)的吞吐量就無法繼續(xù)升高，如果壓力持續(xù)增大，系統(tǒng)的吞吐量反而會下降。其主要原因是系統(tǒng)已超負(fù)荷工作，服務(wù)器的CPU、內(nèi)存和接口資源等的消耗導(dǎo)致系統(tǒng)的性能下降[3]。

圖1 并發(fā)數(shù)、TPS和響應(yīng)時間關(guān)系圖

1.2 服務(wù)器瓶頸分析

信息系統(tǒng)一般由多臺服務(wù)器或集群搭建而成。一臺服務(wù)器的性能瓶頸主要發(fā)生在CPU、內(nèi)存、I/O和網(wǎng)絡(luò)4個部分。系統(tǒng)調(diào)優(yōu)是通過配置參數(shù)來平衡這4部分的運(yùn)行狀態(tài)，解決服務(wù)器瓶頸，使系統(tǒng)整體達(dá)到最優(yōu)。這4個部分并非孤立運(yùn)行，而是相互關(guān)聯(lián)的，某個部分過高的利用率會導(dǎo)致其他部分出現(xiàn)問題，使整個系統(tǒng)無法達(dá)到最優(yōu)。例如，I/O系統(tǒng)中大量的整頁讀取會導(dǎo)致數(shù)據(jù)占滿內(nèi)存隊列，網(wǎng)絡(luò)流量過大會導(dǎo)致網(wǎng)絡(luò)控制器消耗CPU資源，從內(nèi)存中向存儲空間進(jìn)行大批量的寫操作會導(dǎo)致消耗CPU和IO通道資源等等。系統(tǒng)調(diào)優(yōu)是一個診斷與解決瓶頸的過程，其難點在于看似是某個部分的問題表象，但真正產(chǎn)生問題的原因是其他部分過載所引起的[4]。

2 系統(tǒng)性能監(jiān)測與調(diào)優(yōu)

進(jìn)行信息系統(tǒng)性能檢測和調(diào)優(yōu)需先通過業(yè)務(wù)分析來確定該系統(tǒng)各服務(wù)器的類型。通常電子商務(wù)類網(wǎng)站的后臺服務(wù)器可以分為兩類：重I/O型和重CPU型。重I/O型的服務(wù)器會消耗大量的內(nèi)存和存儲資源，原因是應(yīng)用程序會使用大量的數(shù)據(jù)，而數(shù)據(jù)信息會在內(nèi)存和存儲系統(tǒng)之間傳輸。這種應(yīng)用一般不需要大量的CPU資源，系統(tǒng)執(zhí)行完I/O請求，CPU即轉(zhuǎn)為睡眠狀態(tài)，利用率較低，存儲系統(tǒng)與服務(wù)器之間大多都配有高速專有網(wǎng)絡(luò)，因此網(wǎng)絡(luò)消耗也較低。通常數(shù)據(jù)庫服務(wù)器屬于重I/O型。重CPU型又可以稱為重計算型，應(yīng)用程序會使用服務(wù)器中大量的CPU資源進(jìn)行批量處理和數(shù)值計算，通常應(yīng)用服務(wù)器和中間件服務(wù)器屬于重CPU型[5]。

2.1 系統(tǒng)性能檢測工具

大多數(shù)Unix和Linux操作系統(tǒng)都裝有一系列的監(jiān)測工具，不同版本的操作系統(tǒng)中工具用法會稍有不同。部分版本的Linux甚至將監(jiān)測工具作為系統(tǒng)安裝的一部分，或者作為安裝附件，管理員可以自行安裝使用。系統(tǒng)性能監(jiān)測的主要工具如表1所示。

表1 系統(tǒng)性能監(jiān)測主要工具

2.2 CPU監(jiān)測與調(diào)優(yōu)

2.2.1 CPU利用率

CPU的利用率主要是由它所訪問的資源決定的，CPU調(diào)度器負(fù)責(zé)調(diào)度內(nèi)核線程、用戶線程和中斷請求，并給資源分配不同的預(yù)先權(quán)。其中，優(yōu)先權(quán)由高到低，分別是中斷請求、內(nèi)核線程和用戶線程，與其相對應(yīng)的指標(biāo)是上下文切換量、運(yùn)行隊列長度和CPU使用率。

現(xiàn)代多核架構(gòu)的CPU對于操作系統(tǒng)來說，每個內(nèi)核都是獨立的，每個線程都會被分配到固定的時間片在處理器內(nèi)核上運(yùn)行。如果線程在指定的時間片內(nèi)沒有完成或是具有更高優(yōu)先級的中斷需要處理，內(nèi)核則會通過上下文切換將線程調(diào)度到隊列中排隊等候運(yùn)行。每個CPU都有一個線程的運(yùn)行隊列，保存著正在運(yùn)行的和等待運(yùn)行的線程。CPU的利用率是直觀查看使用情況的指標(biāo)，可分為以下3個部分：（1）用戶利用率，CPU執(zhí)行用戶線程的時間比例；（2）系統(tǒng)利用率，CPU執(zhí)行系統(tǒng)內(nèi)核線程和中斷的時間比例；（3）I/O等待占用率，CPU由于等待I/O請求所消耗的時間比例[6]。

2.2.2 CPU性能監(jiān)測

測試人員可以使用vmstat工具監(jiān)測CPU運(yùn)行情況。vmstat工具提供了整個操作系統(tǒng)全局的運(yùn)行信息，并且自身運(yùn)行對操作系統(tǒng)的影響較小，運(yùn)行狀況界面如圖2所示，相關(guān)指標(biāo)含義如表2所示。

圖2 vmstat工具運(yùn)行狀況界面

表2 vmstat工具監(jiān)測CPU的主要指標(biāo)

測試人員也可以使用top工具監(jiān)測CPU運(yùn)行情況。top工具主要用來統(tǒng)計并顯示CPU負(fù)載，活躍進(jìn)程使用CPU情況等動態(tài)信息，其中，系統(tǒng)負(fù)載可以分1 min、5 min和15 min進(jìn)行統(tǒng)計顯示[7]，其運(yùn)行狀況界面如圖3所示。

圖3 top工具運(yùn)行狀況界面

2.2.3 CPU性能調(diào)優(yōu)

（1）測試經(jīng)驗表明，為控制系統(tǒng)不超負(fù)荷運(yùn)行，CPU監(jiān)測過程中需進(jìn)行運(yùn)行隊列檢查，并確保每個處理器的隊列不超過3個線程在排隊，CPU的用戶利用率和系統(tǒng)利用率的比例接近7:3。

（2）若CPU消耗大量時間在系統(tǒng)時間上，則很有可能是過載導(dǎo)致CPU重新調(diào)度線程的優(yōu)先權(quán)。對于重CPU計算的進(jìn)程和對I/O請求大的進(jìn)程，兩者盡可能分不同服務(wù)器處理，以免在同一服務(wù)器中產(chǎn)生競爭。

（3）針對目前流行的多核CPU均采用非統(tǒng)一內(nèi)存訪問（NUMA，Non Uniform Memory Access Architecture）技術(shù)，多個處理器不用共享一個集中的存儲器和I/O總線，而是將處理器劃分成多個節(jié)點，每個節(jié)點有相對應(yīng)的本地存儲空間，在Linux中對NUMA調(diào)優(yōu)命令是numactl，命令代碼如下。

numactl --menbind 1 --cpunodebind 1 --localalloc jboss

2.3 內(nèi)存監(jiān)測與調(diào)優(yōu)

2.3.1 虛擬內(nèi)存與系統(tǒng)瓶頸

目前服務(wù)器一般都配置較大的內(nèi)存以滿足應(yīng)用程序的需求，一旦內(nèi)存占滿，系統(tǒng)會使用磁盤的部分空間充當(dāng)虛擬內(nèi)存使用，將目前不使用的數(shù)據(jù)寫入到虛擬內(nèi)存中，再次使用到虛擬內(nèi)存中的數(shù)據(jù)時，則將數(shù)據(jù)讀入到內(nèi)存中。虛擬內(nèi)存會被分成頁進(jìn)行管理，在x86架構(gòu)服務(wù)器上虛擬內(nèi)存頁是4KB大小。系統(tǒng)以頁為最小單元在內(nèi)存和磁盤之間進(jìn)行讀寫，磁盤上被劃分出來做虛擬內(nèi)存的部分通常被稱做交換空間[8]。

虛擬內(nèi)存的引入對于應(yīng)用程序來說，擴(kuò)大了內(nèi)存容量。程序并不關(guān)心數(shù)據(jù)是在內(nèi)存中，還是虛擬內(nèi)存中。但由于系統(tǒng)讀寫虛擬內(nèi)存的速度要遠(yuǎn)慢于內(nèi)存，所以程序訪問虛擬內(nèi)存會使運(yùn)行速度變慢。

2.3.2 內(nèi)存性能監(jiān)測

vmstat工具不僅可以監(jiān)測CPU的運(yùn)行情況，還可以統(tǒng)計內(nèi)存狀況，圖2中和內(nèi)存相關(guān)的指標(biāo)如表3所示。

2.3.3 內(nèi)存性能調(diào)優(yōu)

服務(wù)器內(nèi)存調(diào)優(yōu)常調(diào)用malloc/realloc函數(shù)進(jìn)行動態(tài)內(nèi)存分配，但這樣較為耗時，內(nèi)存也容易出現(xiàn)碎片。因此程序應(yīng)少進(jìn)行動態(tài)內(nèi)存分配，而采用內(nèi)存池技術(shù)進(jìn)行調(diào)優(yōu)，目的是減少鏈接建立和線程創(chuàng)建的開銷，從而提高性能，對于HTTP服務(wù)這樣的短業(yè)務(wù)較為有效。

表3 vmstat監(jiān)測內(nèi)存主要指標(biāo)

2.4 I/O監(jiān)測與調(diào)優(yōu)

2.4.1 I/O性能瓶頸

數(shù)據(jù)讀寫是整個服務(wù)器中最慢的部分，因其到CPU的物理距離較遠(yuǎn)，并且磁盤需要有物理轉(zhuǎn)動和磁頭移動的時間以完成數(shù)據(jù)的讀寫操作。系統(tǒng)訪問磁盤的時間和訪問內(nèi)存的時間好比分鐘級別和秒級別的差距，因此應(yīng)盡可能減少由訪問磁盤上的數(shù)據(jù)而產(chǎn)生的I/O次數(shù)。

系統(tǒng)中某些特定情況的發(fā)生會引起I/O瓶頸，可以使用系統(tǒng)提供的工具進(jìn)行原因的辨別，主要工具有iotop、vmstat、iostat和sar等。每個工具會對I/O的某個方面提供特定的信息。IOPS（Input/Output Operations Per Second）是評價I/O調(diào)度狀況的主要指標(biāo)，其與多方面因素有關(guān)，如磁盤轉(zhuǎn)速、磁頭移動速度和讀取數(shù)據(jù)速度等因素，而每次I/O讀寫數(shù)據(jù)的大小與系統(tǒng)的工作方式有關(guān)，主要分為2種工作模式：順序模式和隨機(jī)模式。其中，順序模式需要一次讀寫大量的數(shù)據(jù)信息，其性能與單次最大讀取數(shù)據(jù)量相關(guān)。例如，數(shù)據(jù)庫系統(tǒng)執(zhí)行大量數(shù)據(jù)的查詢操作，或是流媒體服務(wù)讀取大量的數(shù)據(jù)。隨機(jī)模式的I/O請求數(shù)據(jù)量一般都比較小，因此效率不由數(shù)據(jù)大小決定，而主要由磁盤能支持的IOPS決定[9]。如果系統(tǒng)沒有足夠的內(nèi)存空間，程序啟動運(yùn)行需要內(nèi)存時將使用交換空間，對交換空間的讀寫操作都會消耗時間。由于交換空間是磁盤設(shè)備的一部分，一旦系統(tǒng)對與交換空間相同的文件系統(tǒng)進(jìn)行訪問，產(chǎn)生讀寫磁盤相同盤面的競爭，繼而數(shù)據(jù)會堵塞I/O通道，導(dǎo)致系統(tǒng)運(yùn)行速度變得更慢。

2.4.2 I/O性能監(jiān)測

測試人員可以使用iostat工具監(jiān)測文件系統(tǒng)每個分區(qū)的詳細(xì)運(yùn)行信息，運(yùn)行狀況界面如圖4所示。

圖4 iostat工具運(yùn)行狀況界面

使用iotop工具可以顯示進(jìn)程使用I/O資源的狀況，輸出信息與top工具類似，與iostat工具結(jié)合使用可以監(jiān)測系統(tǒng)的I/O瓶頸，運(yùn)行狀況界面如圖5所示。

圖5 iotop工具運(yùn)行狀況界面

2.4.3 I/O性能調(diào)優(yōu)

I/O監(jiān)測顯示，當(dāng)磁盤過載時，CPU需等待I/O請求完成，導(dǎo)致系統(tǒng)變慢。I/O性能調(diào)優(yōu)的方式主要有以下3種。

（1）通過分析應(yīng)用進(jìn)程類型，來決定系統(tǒng)訪問磁盤的方式，對于讀寫慢的磁盤需要分析和對比訪問的等待時間和服務(wù)時間，以確定I/O瓶頸的具體位置。

（2）通過監(jiān)測系統(tǒng)交換空間和文件系統(tǒng)，確保系統(tǒng)虛擬內(nèi)存與文件系統(tǒng)I/O不會產(chǎn)生競爭。

（3）把內(nèi)核和外設(shè)的I/O次數(shù)盡可能減少，對于讀來說，讀內(nèi)存cache里的數(shù)據(jù)比外設(shè)快很多；對于寫來說，cache寫的速度也很快，但數(shù)據(jù)的實時性就會降低。因此應(yīng)盡可能實現(xiàn)寫的次數(shù)與實效性之間的平衡。

2.5 網(wǎng)絡(luò)監(jiān)測與調(diào)優(yōu)

在服務(wù)器瓶頸的4個部分中，網(wǎng)絡(luò)是最難監(jiān)測的，因為網(wǎng)絡(luò)是相對抽象的實體。對網(wǎng)絡(luò)的監(jiān)測和調(diào)優(yōu)已經(jīng)超越了系統(tǒng)的內(nèi)部因素，其主要的原因有網(wǎng)絡(luò)線路上的延遲、沖突、擁塞和包錯誤[10]。

2.5.1.3 網(wǎng)絡(luò)數(shù)據(jù)包監(jiān)測

與提供統(tǒng)計信息的網(wǎng)絡(luò)工具不同，tcpdump工具主要用于網(wǎng)絡(luò)抓包，可監(jiān)視指定網(wǎng)口的網(wǎng)絡(luò)數(shù)據(jù)包的傳遞方向，并輸出數(shù)據(jù)包的報文頭信息，為網(wǎng)絡(luò)中的數(shù)據(jù)包分析提供強(qiáng)大的支持，與網(wǎng)絡(luò)封包分析軟件配合使用可以對網(wǎng)絡(luò)數(shù)據(jù)包進(jìn)行篩選和分析，tcpdump工具網(wǎng)絡(luò)抓包界面如圖11所示。

2.5.1 網(wǎng)絡(luò)性能監(jiān)測

2.5.1.1 網(wǎng)口速度和工作模式監(jiān)測

因為在網(wǎng)絡(luò)上存在多種不同速度和工作模式的網(wǎng)絡(luò)設(shè)備，服務(wù)器上的以太網(wǎng)接口大多自動探測網(wǎng)絡(luò)速度并設(shè)置其工作模式。使用ethtool工具可以顯示并設(shè)定網(wǎng)口的速度和工作模式，運(yùn)行狀況界面如圖6所示。

圖6 ethtool工具顯示網(wǎng)卡的狀況界面

2.5.1.2 網(wǎng)絡(luò)流量監(jiān)測

由于網(wǎng)絡(luò)上用戶和服務(wù)器之間的數(shù)據(jù)會經(jīng)過交換機(jī)、路由器和網(wǎng)絡(luò)連線等設(shè)備，所以網(wǎng)絡(luò)存在帶寬問題。因此監(jiān)測網(wǎng)絡(luò)流量最好的方法是在網(wǎng)絡(luò)中發(fā)送和接收數(shù)據(jù)，同時收集和分析網(wǎng)絡(luò)速度和延時。

通過iptraf工具可以監(jiān)測系統(tǒng)網(wǎng)卡上的流量，但其提供的可分析信息較少。netperf工具可以分析網(wǎng)絡(luò)上點到點之間的流量，對于客戶端到服務(wù)器之間網(wǎng)絡(luò)流量分析有很大幫助。該工具有客戶端和服務(wù)器2種運(yùn)行模式。在服務(wù)器上以服務(wù)器模式運(yùn)行netperf，在想要測試的網(wǎng)絡(luò)上以客戶端模式運(yùn)行netperf，兩者之間會通過網(wǎng)絡(luò)發(fā)送和接收TCP協(xié)議包，運(yùn)行結(jié)束后，netperf會統(tǒng)計發(fā)送和接收的數(shù)據(jù)包，并計算出網(wǎng)絡(luò)帶寬。netperf不僅對有線局域網(wǎng)可用，而且對無線網(wǎng)絡(luò)監(jiān)測也有效。netperf服務(wù)器模式運(yùn)行界面如圖7所示，運(yùn)行及結(jié)果顯示界面如圖8所示。

圖7 netperf工具服務(wù)器模式運(yùn)行界面

圖8 netperf工具運(yùn)行及結(jié)果顯示界面

與netperf工具類似，iperf工具可以監(jiān)測網(wǎng)絡(luò)上任意兩結(jié)點之間流量的動態(tài)信息，提供TCP和UDP協(xié)議包的窗口大小和服務(wù)質(zhì)量信息，對于TCP/IP配置調(diào)整具有指導(dǎo)作用。iperf工具可以在服務(wù)器和客戶端模式下運(yùn)行，其中，服務(wù)器端默認(rèn)開啟5001端口，在客戶端運(yùn)行可實時監(jiān)測到服務(wù)器網(wǎng)絡(luò)帶寬，服務(wù)器模式運(yùn)行界面如圖9所示，運(yùn)行及實時輸出結(jié)果如圖10所示。

圖9 iperf工具服務(wù)器模式運(yùn)行界面

圖10 iperf工具運(yùn)行及實時輸出結(jié)果界面

圖11 tcpdump工具網(wǎng)絡(luò)抓包界面

2.5.2 網(wǎng)絡(luò)性能調(diào)優(yōu)

對系統(tǒng)網(wǎng)絡(luò)的調(diào)優(yōu)主要針對以下幾點。

（1）檢查以太網(wǎng)接口是否運(yùn)行在合適的速度和工作模式上，通過對網(wǎng)卡輸入和輸出流量的監(jiān)測和統(tǒng)計確保系統(tǒng)運(yùn)行在合適的網(wǎng)速上。

（2）通過對網(wǎng)絡(luò)數(shù)據(jù)包的分析確定網(wǎng)絡(luò)數(shù)據(jù)類型，設(shè)定系統(tǒng)對相應(yīng)數(shù)據(jù)處理的優(yōu)先級，以達(dá)到系統(tǒng)網(wǎng)絡(luò)運(yùn)行最優(yōu)模式。

（3）針對基于HTTP協(xié)議應(yīng)用的網(wǎng)絡(luò)調(diào)優(yōu)主要關(guān)注TCP鏈接開銷，服務(wù)器可以支持的TCP鏈接數(shù)量是有限的，TCP鏈接配置中，KeepAlive參數(shù)定義了發(fā)送包后沒有收到回應(yīng)自動斷開鏈接并回收資源的等待時長，對于HTTP短鏈接，一般設(shè)置KeepAlive的值為1～2 min。

3 結(jié)束語

性能測試過程中對系統(tǒng)的監(jiān)測和調(diào)優(yōu)是一個復(fù)雜的過程，這個過程一般是由表及里、由外到內(nèi)的，是發(fā)現(xiàn)問題、定位原因、調(diào)整參數(shù)、反復(fù)執(zhí)行的過程?；诒疚乃龅南到y(tǒng)性能監(jiān)測與調(diào)優(yōu)方法，對鐵路12306互聯(lián)網(wǎng)售票系統(tǒng)進(jìn)行多輪次、多場景的性能測試，通過監(jiān)控服務(wù)器運(yùn)行狀態(tài)和分析系統(tǒng)性能指標(biāo)，消除系統(tǒng)瓶頸，最終提升了用戶體驗。本文對系統(tǒng)普遍適用的工具和方法做了研究和總結(jié)，通過對系統(tǒng)各類性能瓶頸的監(jiān)測和運(yùn)行參數(shù)的調(diào)優(yōu)，使系統(tǒng)運(yùn)行在最佳狀態(tài)，用戶體驗滿意度得到提升。