（武漢大學(xué)計(jì)算機(jī)學(xué)院，武漢 430072）

0 引言

數(shù)據(jù)庫參數(shù)調(diào)優(yōu)是一項(xiàng)維持或提升數(shù)據(jù)庫性能的重要工作。由于數(shù)據(jù)庫的性能受到多個(gè)參數(shù)共同影響，再加上可調(diào)參數(shù)數(shù)量、數(shù)據(jù)庫體量和業(yè)務(wù)量的劇增，導(dǎo)致傳統(tǒng)基于人力的參數(shù)調(diào)優(yōu)越來越困難。隨著自治數(shù)據(jù)庫［1］技術(shù)的發(fā)展，數(shù)據(jù)庫自動(dòng)參數(shù)調(diào)優(yōu)技術(shù)成為了解決這一難題的主要選擇之一。

得益于機(jī)器學(xué)習(xí)技術(shù)的發(fā)展，現(xiàn)在已經(jīng)出現(xiàn)了一些數(shù)據(jù)庫自動(dòng)參數(shù)調(diào)優(yōu)方法［2-3］和系統(tǒng)［4-5］，例如OtterTune［2］。在這些方法中，對調(diào)優(yōu)目標(biāo)系統(tǒng)的工作負(fù)載的了解是進(jìn)行調(diào)優(yōu)的基礎(chǔ)。只有準(zhǔn)確地描述負(fù)載，才能找到與目標(biāo)負(fù)載最相似的歷史負(fù)載，從其對應(yīng)的參數(shù)配置尋找目標(biāo)負(fù)載的最優(yōu)配置方案。

對負(fù)載的了解依賴于負(fù)載的描述、匹配以及預(yù)測方法。數(shù)據(jù)庫負(fù)載的描述主要有兩種方式：1）用負(fù)載所含的操作描述，例如SQL（Structured Query Language）語句的到達(dá)率［6-9］、SQL 到達(dá)率與數(shù)據(jù)庫信息的結(jié)合體［10］、每秒事務(wù)總數(shù)與事務(wù)類型的混合率［11］；2）使用運(yùn)行時(shí)數(shù)據(jù)庫中各項(xiàng)資源利用率或性能指標(biāo)描述，例如系統(tǒng)資源（內(nèi)存、中央處理器（Central Processing Unit，CPU）和磁盤等）的利用率、數(shù)據(jù)庫資源（緩沖區(qū)、鎖等）的利用率［12-15］、并發(fā)用戶數(shù)和響應(yīng)速度［16］。

雖然這些描述方式各有優(yōu)勢，但都是以點(diǎn)概面地以負(fù)載在某個(gè)時(shí)間點(diǎn)的表現(xiàn)來概括其整體特征，而忽視了負(fù)載會(huì)隨時(shí)間變化的動(dòng)態(tài)特性。這種以偏概全的描述方式實(shí)際上制約了調(diào)優(yōu)方法的有效性和準(zhǔn)確性。

針對現(xiàn)有自動(dòng)調(diào)優(yōu)工具中采用的負(fù)載描述和匹配方法無法捕捉負(fù)載動(dòng)態(tài)特性的問題，本文提出了一種動(dòng)態(tài)負(fù)載描述方法以及相應(yīng)的匹配算法，并將其應(yīng)用于OtterTune 上，并通過實(shí)驗(yàn)驗(yàn)證了其有效性。本文的主要工作總結(jié)如下：

1）提出了一種可捕捉負(fù)載動(dòng)態(tài)特征的描述方法來更準(zhǔn)確地刻畫負(fù)載；

2）提出了一種基于動(dòng)態(tài)時(shí)間規(guī)整（Dynamic Time Warping，DTW）［17-18］的動(dòng)態(tài)負(fù)載對齊方法，并以其為基礎(chǔ)提出了基于數(shù)據(jù)對齊的動(dòng)態(tài)負(fù)載匹配算法；

3）將上述方法應(yīng)用于OtterTune 中擴(kuò)展形成了基于動(dòng)態(tài)負(fù)載的自動(dòng)參數(shù)調(diào)優(yōu)工具D-OtterTune（Dynamic workload based OtterTune），并利用實(shí)驗(yàn)驗(yàn)證了本文方法的有效性。

1 動(dòng)態(tài)負(fù)載描述和匹配

自動(dòng)參數(shù)調(diào)優(yōu)第一步需要得到目標(biāo)數(shù)據(jù)庫當(dāng)前的負(fù)載特征。數(shù)據(jù)庫的負(fù)載變化形態(tài)各異，無論是聯(lián)機(jī)事務(wù)處理（OnLine Transaction Processing，OLTP）還是聯(lián)機(jī)分析處（OnLine Analytical Processing，OLAP）型業(yè)務(wù)，負(fù)載變化是非常頻繁的。圖1 給出了兩種以數(shù)據(jù)庫內(nèi)部性能指標(biāo)描述的負(fù)載，從中可以看到，如果以t=6 min 采集的數(shù)據(jù)來表示負(fù)載，則workload1 和workload2 會(huì)被視為相同。事實(shí)上，workload1表示的負(fù)載比較穩(wěn)定，而workload2 表示的負(fù)載波動(dòng)較大，采用靜態(tài)負(fù)載描述無法真正區(qū)分不同的負(fù)載。

圖1 兩類不同特征的負(fù)載Fig.1 Two workloads with different characteristics

為了更準(zhǔn)確地描述負(fù)載，本文針對負(fù)載的動(dòng)態(tài)變化特性，基于多次采樣思想，在觀察期內(nèi)進(jìn)行多次性能數(shù)據(jù)采集，用這些連續(xù)的性能切片來刻畫負(fù)載的動(dòng)態(tài)變化。

首先引入Dialogue的概念來表述觀察期，Dialogue是一次觀察期間多個(gè)采樣點(diǎn)的集合，可表示為式（1）：

其中Result為采樣點(diǎn)，Result表示為二元組其中Knobs為配置參數(shù)值向量，Metrics是目標(biāo)數(shù)據(jù)庫的內(nèi)部性能指標(biāo)向量，同一觀察期中采樣點(diǎn)的Knobs向量相同。觀察期中的Metrics序列則反映了目標(biāo)數(shù)據(jù)庫上負(fù)載的變化，其時(shí)序特性使得上述動(dòng)態(tài)負(fù)載描述方式能夠更準(zhǔn)確地描述負(fù)載的動(dòng)態(tài)特征和波動(dòng)情況。

在實(shí)際應(yīng)用中，由于同一Dialogue中的采樣點(diǎn)具有相同的Knobs部分，且Metrics部分中的一些分量值也可能相同，因此可以在動(dòng)態(tài)負(fù)載描述數(shù)據(jù)的傳輸、存儲過程中采用適當(dāng)?shù)膲嚎s技巧和算法來減小數(shù)據(jù)量。如果將Dialogue中的Knobs部分進(jìn)行壓縮，理論上可以達(dá)到將近50%的壓縮率，可以有效緩解由于多點(diǎn)采樣帶來的通信量和存儲的膨脹。

2 動(dòng)態(tài)負(fù)載匹配算法

在自動(dòng)參數(shù)調(diào)優(yōu)方法中，取得當(dāng)前負(fù)載的動(dòng)態(tài)描述之后，需要進(jìn)行負(fù)載匹配，從而得到合適的配置參數(shù)作為參數(shù)優(yōu)化探索的基礎(chǔ)。負(fù)載匹配的準(zhǔn)確度密切影響著性能預(yù)測、配置推薦等后續(xù)操作的精確度。對于帶有時(shí)序特征的動(dòng)態(tài)負(fù)載數(shù)據(jù)匹配，直接基于歐氏距離的向量相似度計(jì)算方法不再適用。為解決這一問題，本文提出了一種基于DTW 的動(dòng)態(tài)負(fù)載數(shù)據(jù)匹配方法。

2.1 動(dòng)態(tài)時(shí)間規(guī)整算法

在基于單點(diǎn)采樣的負(fù)載匹配中，只用單個(gè)點(diǎn)的負(fù)載數(shù)據(jù)與歷史負(fù)載數(shù)據(jù)進(jìn)行相似度的比較，所以兩點(diǎn)之間計(jì)算歐氏距離時(shí)，并不存在波形的相位偏移問題。在采用了動(dòng)態(tài)負(fù)載描述后，則是由多個(gè)形式的采樣點(diǎn)來表示負(fù)載形態(tài)，這些具有時(shí)序特征的連續(xù)采樣點(diǎn)可視為負(fù)載變化的過程。盡管采集的數(shù)據(jù)是離散點(diǎn)，但這些采樣點(diǎn)序列仍具有波形的部分特征，如周期、峰值和頻率。

對動(dòng)態(tài)負(fù)載描述進(jìn)行相似性匹配，需要比較兩個(gè)時(shí)間序列之間的相似性。簡單地把歐氏距離用于采樣點(diǎn)序列匹配存在以下局限性：1）兩個(gè)序列的長度必須長度相等。由于需要計(jì)算兩個(gè)序列中每對對應(yīng)點(diǎn)之間的差值平方和來比較相似性，因此必須保證兩個(gè)序列上的點(diǎn)之間一一對應(yīng)。2）兩個(gè)序列在形狀的變化上具有位置一致性，即兩個(gè)波形不能存在相位差和峰值的偏移，否則相似性的計(jì)算結(jié)果會(huì)有較大偏差。如圖2 所示，兩個(gè)峰值點(diǎn)a、b本應(yīng)是對應(yīng)的，但由于峰值偏移導(dǎo)致峰值點(diǎn)a與b'對應(yīng)，顯然在這種情況下使用歐氏距離計(jì)算會(huì)使序列匹配的精度下降。

圖2 兩個(gè)不同時(shí)序長度的峰值點(diǎn)之間的偏移誤差Fig.2 Offset error between peak points of two different time-series lengths

動(dòng)態(tài)時(shí)間規(guī)整（DTW）算法基于動(dòng)態(tài)規(guī)劃的思想，解決了傳統(tǒng)歐氏距離匹配上的限制問題。DTW 算法能通過動(dòng)態(tài)規(guī)劃，找到在兩個(gè)匹配序列中和位置最相匹配的點(diǎn)。

如圖3 所示的峰值偏移，目標(biāo)序列中的峰值點(diǎn)通過使用DTW 算法能夠找到匹配序列中對應(yīng)峰值的位置，并將兩個(gè)點(diǎn)作為距離計(jì)算的對齊點(diǎn)。這樣便解決了相位、峰值偏移的問題；但單純使用DTW 算法無法過濾噪聲，需要配合使用波形變換來預(yù)處理降噪。

圖3 歐氏距離計(jì)算和動(dòng)態(tài)時(shí)間規(guī)整算法Fig.3 Euclidean distance calculation and DTW algorithm

2.2 基于DTW的動(dòng)態(tài)負(fù)載數(shù)據(jù)對齊

相位和峰值偏移會(huì)導(dǎo)致動(dòng)態(tài)負(fù)載數(shù)據(jù)的匹配準(zhǔn)確率低下。在進(jìn)行匹配之前，首先需要對歷史收集的動(dòng)態(tài)負(fù)載數(shù)據(jù)進(jìn)行對齊，才能保證訓(xùn)練集的準(zhǔn)確性和模型的精確度，從而保證后續(xù)匹配操作的準(zhǔn)確性。

本文采用了一種基于DTW 思想的動(dòng)態(tài)負(fù)載數(shù)據(jù)對齊方法來處理歷史動(dòng)態(tài)負(fù)載數(shù)據(jù)，其過程如算法1 所示。算法輸入是歷史負(fù)載數(shù)據(jù)集C，輸出是Metrics序列對齊后的數(shù)據(jù)集SC。算法中先選取一條長序列作為對齊標(biāo)準(zhǔn)，之后主要分為2 個(gè)步驟：1）首先基于DTW 算法進(jìn)行Metrics序列相似度對齊，使用最大前綴匹配策略（循環(huán)補(bǔ)齊左平移）；2）然后將對齊后的數(shù)據(jù)集中長度不一的序列進(jìn)行長度規(guī)整。對于長度不夠的序列，可以拷貝其他標(biāo)準(zhǔn)長度序列的尾部來進(jìn)行長度補(bǔ)齊，這樣可以盡可能保留負(fù)載描述的細(xì)節(jié)。

算法1 基于DTW的動(dòng)態(tài)負(fù)載數(shù)據(jù)對齊。

數(shù)據(jù)對齊開銷較大，對于數(shù)據(jù)集中的每個(gè)Metrics序列都要進(jìn)行平移和計(jì)算。從算法1中可以看到，假定數(shù)據(jù)集中有k次觀察的Dialogue數(shù)據(jù)，最長的序列采樣n次，那么算法時(shí)間復(fù)雜度如式（2）所示：

其中：n對應(yīng)于每個(gè)序列進(jìn)行平移的次數(shù)，n2為每次平移之后進(jìn)行DTW 算法匹配的時(shí)間復(fù)雜度，最后乘以數(shù)據(jù)集中序列的個(gè)數(shù)k。理論上，k是遠(yuǎn)遠(yuǎn)大于n的，所以其復(fù)雜度是O(k*n3)。不過，數(shù)據(jù)對齊是對歷史數(shù)據(jù)集定期進(jìn)行的預(yù)處理，并不需要太高的實(shí)時(shí)性，因此這種復(fù)雜度仍處于可接受的范圍。

2.3 基于數(shù)據(jù)對齊的動(dòng)態(tài)負(fù)載匹配

在進(jìn)行當(dāng)前負(fù)載與歷史負(fù)載的匹配工作時(shí)，可以直接使用DTW 算法來計(jì)算負(fù)載中Metrics序列的相似度。雖然DTW能夠解決一定的相位、峰值的偏移問題，但是會(huì)導(dǎo)致部分?jǐn)?shù)據(jù)無法匹配的問題。

如圖4 所示，X和Y序列之間存在一定的相位和峰值偏移，DTW 是基于時(shí)序序列的匹配，強(qiáng)調(diào)從前到后的序列化匹配過程。從圖4來看，X序列的前幾個(gè)點(diǎn)會(huì)直接開始匹配Y序列中間部分點(diǎn)，Y序列完結(jié)后會(huì)導(dǎo)致X之后的序列都只能在Y序列的最后一點(diǎn)上進(jìn)行復(fù)制匹配，而無法匹配Y序列中的前幾個(gè)點(diǎn)。

圖4 DTW算法的部分?jǐn)?shù)據(jù)對齊Fig.4 Partial data alignment of DTW algorithm

DTW 方法雖然能夠探索兩個(gè)序列之間的相似度，但是需要兩個(gè)序列的開始和結(jié)束的統(tǒng)一性。因此，方法DTW 算法可以用于不規(guī)則序列匹配，但是會(huì)因?yàn)闀r(shí)序交叉損失部分序列的匹配精度。

本文針對動(dòng)態(tài)負(fù)載，提出了一種基于數(shù)據(jù)對齊的匹配算法，如算法2所示。

算法2 基于數(shù)據(jù)對齊的動(dòng)態(tài)負(fù)載匹配。

算法2 中使用序列循環(huán)補(bǔ)齊左平移來減少序列之間的相位差值。如圖5所示，Y曲線尾部虛線位置為左側(cè)序列的循環(huán)補(bǔ)齊，序列循環(huán)補(bǔ)齊之后，時(shí)序交差的大部分頭尾部分能夠得到最大限度的匹配。由于采樣粒度的問題，并不能保證兩段序列采樣的開始點(diǎn)和結(jié)束點(diǎn)都完美一致，但是這已經(jīng)盡最大限度擴(kuò)大了序列中部分匹配的長度，減小了因序列交錯(cuò)導(dǎo)致不匹配而產(chǎn)生的誤差。

圖5 循環(huán)補(bǔ)齊平移后的數(shù)據(jù)對齊Fig.5 Data alignment after cyclic complementary translation

3 實(shí)驗(yàn)分析

為了測試基于DTW 的動(dòng)態(tài)負(fù)載匹配方法對數(shù)據(jù)庫自動(dòng)參數(shù)調(diào)優(yōu)問題中的效果，本文以O(shè)tterTune 為基礎(chǔ)，將其負(fù)載描述和匹配方法替換為本文提出的動(dòng)態(tài)負(fù)載描述和匹配方法，形成了一個(gè)衍生系統(tǒng)D-OtterTune。OtterTune 和DOtterTune 架構(gòu)模型相同，使用單獨(dú)的外部調(diào)優(yōu)系統(tǒng)，調(diào)優(yōu)系統(tǒng)和目標(biāo)數(shù)據(jù)庫系統(tǒng)分離。外部調(diào)優(yōu)系統(tǒng)優(yōu)點(diǎn)就是在繁重的分析處理中不會(huì)干擾到數(shù)據(jù)庫本身的業(yè)務(wù)負(fù)載。然后部署一個(gè)GreenPlum 作為目標(biāo)數(shù)據(jù)庫系統(tǒng)，利用OtterTune 和DOtterTune 對其進(jìn)行參數(shù)調(diào)優(yōu)，對比最后的調(diào)優(yōu)性能以及調(diào)優(yōu)過程中負(fù)載匹配的準(zhǔn)確度。

實(shí)驗(yàn)中采用3 臺服務(wù)器構(gòu)建測試集群，1 臺作為Master 節(jié)點(diǎn)，其他2 臺作為Segment 節(jié)點(diǎn)，服務(wù)器配置均為Intel Xeon E5 2603，16 GB 內(nèi)存，1 TB 固態(tài)硬盤。各節(jié)點(diǎn)操作系統(tǒng)采用Ubuntu 16.04，GreenPlum版本為6.0。

3.1 實(shí)驗(yàn)方案

實(shí)驗(yàn)中采用TCP-H測試基準(zhǔn)產(chǎn)生對測試集群的負(fù)載。設(shè)置測試數(shù)據(jù)量為30 SF（Scale Factor）。TCP-H 共有22 條壓力查詢語句，隨機(jī)使用這些查詢語句對測試數(shù)據(jù)庫進(jìn)行并發(fā)訪問，其中隨機(jī)選取時(shí)間段增加/減少并發(fā)度以形成負(fù)載測度上的波動(dòng)。

在實(shí)驗(yàn)中進(jìn)行了兩個(gè)方面的對比：

1）在D-OtterTune 中將本文匹配方法與傳統(tǒng)基于歐氏距離的匹配方法進(jìn)行比較。進(jìn)行兩次完整的配置推薦過程，一次是采用傳統(tǒng)的非數(shù)據(jù)對齊、基于歐氏距離匹配算法來推薦配置；另一次是將數(shù)據(jù)集數(shù)據(jù)對齊之后，采用DTW 的動(dòng)態(tài)序列匹配算法進(jìn)行匹配后推薦的配置。通過推薦的效果來展示本文提出的動(dòng)態(tài)負(fù)載匹配方法的效果。

2）分別用OtterTune 和D-OtterTune 對同一個(gè)負(fù)載進(jìn)行調(diào)優(yōu)，比較兩者推薦的參數(shù)配置產(chǎn)生的性能。在這個(gè)實(shí)驗(yàn)中，還增加了一個(gè)對照系統(tǒng)N-OtterTune，該系統(tǒng)在OtterTune 中采用動(dòng)態(tài)負(fù)載，但不做數(shù)據(jù)對齊且采用傳統(tǒng)的歐氏距離匹配方法。

3.2 數(shù)據(jù)對齊的效果測試

在對數(shù)據(jù)對齊效果的測試中一共采集26 個(gè)Dialogue對話，每次采樣的時(shí)序深度為20 次，觀察期長度為20 min，即1 min一次性能采樣，一共得到了16組長度為20的時(shí)序序列。由于每個(gè)時(shí)序點(diǎn)是一個(gè)Metrics向量，為了觀察數(shù)據(jù)對齊的效果，使用Metrics中變化明顯的blkshit和blksread元素組成的命中率來表示數(shù)據(jù)對齊的效果：

圖6 展示了測試中采集到的3 個(gè)比較有代表性的命中率折線圖，其中橫坐標(biāo)為時(shí)序點(diǎn)，縱坐標(biāo)為命中率。由于采樣點(diǎn)的粒度和開始采樣時(shí)間的不同，圖6 中命中率變化折線存在明顯的相位和峰值偏移。進(jìn)行數(shù)據(jù)對齊之后，這3 個(gè)序列的情況如圖7所示。

圖6 數(shù)據(jù)對齊前3條代表性的命中率曲線Fig.6 Three representative hit ratio curves before data alignment

圖7 數(shù)據(jù)對齊后的3條代表性命中率曲線Fig.7 Three representative hit ratio curves after data alignment

3.3 總體效果測試

為了對比采用動(dòng)態(tài)負(fù)載前后自動(dòng)參數(shù)優(yōu)化方法的推薦結(jié)果，實(shí)驗(yàn)中采用3.2 節(jié)中采集到的數(shù)據(jù)集，利用OtterTune 和D-OtterTune 完成了3 次完整的配置推薦過程：第1 次采用OtterTune 推薦（origin metrics），第2 次采用N-OtterTune 推薦（normal metrics），第3 次采用D-OtterTune 推薦（align-data metrics）。

在得到推薦配置之后，分別將3 種推薦配置應(yīng)用于同一個(gè)目標(biāo)集群，并進(jìn)行TCP-H 壓力測試采集性能表征數(shù)據(jù)。為了可視化對比結(jié)果，同樣采用hit_ratio 來代表推薦配置的性能指標(biāo)，如圖8所示。

圖8 總體性能比較Fig.8 Comparison of overall performance

從圖8 可以發(fā)現(xiàn)，與OtterTune（origin metrics 折線）相比，N-OtterTune（normal metrics 折線）在性能上并沒有明顯提升。而進(jìn)行了數(shù)據(jù)集對齊且采用了本文提出的動(dòng)態(tài)負(fù)載匹配方法之后，D-OtterTune（align-data metrics 折線）對負(fù)載的擬合精度得以提升，以hit_ratio 為代表的性能指標(biāo)在整個(gè)觀察期間幅度都有穩(wěn)定提升。提升率達(dá)到3%，在數(shù)據(jù)密集型應(yīng)用中，對整體業(yè)務(wù)性能可以產(chǎn)生明顯影響。這也進(jìn)一步證明了本文提出方法的有效性。

4 結(jié)語

針對數(shù)據(jù)庫的自動(dòng)參數(shù)調(diào)優(yōu)問題，本文分析了工作負(fù)載的靜態(tài)描述所存在的問題，提出了一種動(dòng)態(tài)負(fù)載的描述方式，能更準(zhǔn)確描述工作負(fù)載變化情況。針對動(dòng)態(tài)工作負(fù)載序列匹配存在的序列不規(guī)則的問題，本文基于DTW 算法提出了一種使用數(shù)據(jù)對齊思想的數(shù)據(jù)聚合方式。然后提出了一種基于數(shù)據(jù)對齊的動(dòng)態(tài)負(fù)載匹配算法，并將其引入自動(dòng)參數(shù)調(diào)優(yōu)系統(tǒng)OtterTune 中形成了D-OtterTune。最后通過實(shí)驗(yàn)驗(yàn)證了以上方法的有效性。

對于穩(wěn)定和周期性變化的負(fù)載，可以很好地利用歷史數(shù)據(jù)集進(jìn)行學(xué)習(xí)并推薦配置。但當(dāng)在遞增型負(fù)載的模型下，當(dāng)前性能的采集并不能代表將來的負(fù)載形態(tài)，所以不能直接使用歷史庫中數(shù)據(jù)的配置來進(jìn)行推薦。本文未來的工作將探索一種能夠利用當(dāng)下采集的負(fù)載變化趨勢，來對將來的負(fù)載進(jìn)行預(yù)測的學(xué)習(xí)模型，然后根據(jù)預(yù)測的負(fù)載形態(tài)來進(jìn)行配置推薦。