張 琳，汪廷華，周慧穎

贛南師范大學(xué) 數(shù)學(xué)與計(jì)算機(jī)科學(xué)學(xué)院，江西 贛州341000

支持向量機(jī)（Support Vector Machine，SVM）是Vapnik等人[1]于20世紀(jì)90年代中期提出的一種有監(jiān)督的機(jī)器學(xué)習(xí)方法，它是以統(tǒng)計(jì)學(xué)習(xí)理論[2]為基礎(chǔ)發(fā)展而來(lái)的。支持向量回歸機(jī)（Support Vector Regression，SVR）作為標(biāo)準(zhǔn)SVM模型的一種拓展，主要用來(lái)解決函數(shù)擬合和回歸估計(jì)問(wèn)題[3-4]。該模型的核心在于通過(guò)核函數(shù)將樣本數(shù)據(jù)從輸入空間映射到高維特征空間，進(jìn)而在高維特征空間尋找到一個(gè)能準(zhǔn)確反映樣本數(shù)據(jù)分布的決策函數(shù)，使得樣本數(shù)據(jù)盡量都在超平面上。通過(guò)最小化結(jié)構(gòu)風(fēng)險(xiǎn)，SVR能夠有效避免過(guò)學(xué)習(xí)、維數(shù)災(zāi)難的問(wèn)題，在處理小樣本、非線性、高維度等問(wèn)題中展現(xiàn)出優(yōu)越的性能，因此被廣泛應(yīng)用在金融預(yù)測(cè)[5]、數(shù)據(jù)挖掘[6]、生物醫(yī)學(xué)[7]等各個(gè)領(lǐng)域。

雖然SVR算法在理論和應(yīng)用上都有一定的優(yōu)勢(shì)，但合適的參數(shù)是實(shí)現(xiàn)SVR算法優(yōu)勢(shì)的前提。參數(shù)選擇對(duì)SVR模型的學(xué)習(xí)效果和泛化性能有直接的影響，因此如何選取到合適的參數(shù)一直是SVR算法的一個(gè)研究熱點(diǎn)和難點(diǎn)。傳統(tǒng)的SVR參數(shù)優(yōu)化方法主要有交叉驗(yàn)證技術(shù)[8]、梯度下降法[9]、網(wǎng)格搜索法[10]等。交叉驗(yàn)證技術(shù)是通過(guò)保持某參數(shù)值不變的條件下測(cè)試非訓(xùn)練樣本的預(yù)測(cè)誤差，不斷地修正參數(shù)值，從而使測(cè)試誤差最小[8]。該方法存在極大的計(jì)算量且難于實(shí)現(xiàn)兩個(gè)以上的參數(shù)選取。梯度下降法的基本原理是對(duì)一般錯(cuò)誤的分解上界最小化來(lái)實(shí)現(xiàn)SVR參數(shù)的尋優(yōu)求解，該方法在計(jì)算時(shí)間方面有優(yōu)勢(shì)，收斂速度較快，但是對(duì)初始值敏感，并且要求目標(biāo)函數(shù)對(duì)參數(shù)可微[9]。網(wǎng)格搜索法的基本原理是驗(yàn)證網(wǎng)格范圍內(nèi)的所有點(diǎn)，最終選擇誤差最小的網(wǎng)格點(diǎn)為SVR的參數(shù)。但當(dāng)參數(shù)較多或參數(shù)取值范圍較大時(shí)，該方法存在極大的計(jì)算量，非常耗時(shí)[10]。因此，設(shè)計(jì)高效的非線性參數(shù)尋優(yōu)方法是現(xiàn)階段的研究重點(diǎn)。

群智能算法源于對(duì)生物種群行為規(guī)律的模仿研究，主要是模仿生物種群個(gè)體的覓食過(guò)程：種群個(gè)體按照某種合作方式尋找食物，不斷地進(jìn)行信息交流，以便更快地找到更多食物[11]。鑒于生物種群的覓食過(guò)程，抽象出來(lái)成為某種群智能算法。自遺傳算法（Genetic Algorithm，GA）和蟻群算法（Ant Colony Optimization，ACO）提出以后，國(guó)內(nèi)外研究者先后提出粒子群算法（Particle Swarm Optimization，PSO）、人工魚群算法（Artificial Fish Swarm Algorithm，AFSA）、螢火蟲算法（Firefly Algorithm，F(xiàn)A）等群智能算法[12]。因具有實(shí)現(xiàn)簡(jiǎn)單，可擴(kuò)充性、通用性、魯棒性強(qiáng)等特點(diǎn)，群智能算法被廣泛應(yīng)用于圖像處理、電容器分配、數(shù)據(jù)挖掘、模式識(shí)別等領(lǐng)域。

群智能算法自提出以來(lái)備受青睞，作為一類新型的隨機(jī)搜索算法，在非線性參數(shù)優(yōu)化問(wèn)題中表現(xiàn)出良好的性能。使用群智能算法優(yōu)化支持向量回歸機(jī)參數(shù)是現(xiàn)階段的研究熱點(diǎn)。

1 支持向量回歸機(jī)

SVR的基本原理是在特征空間計(jì)算出給定的訓(xùn)練樣本集的決策函數(shù)，然后通過(guò)決策函數(shù)進(jìn)行回歸預(yù)測(cè)。對(duì)于線性不可分的問(wèn)題，通過(guò)核函數(shù)將樣本數(shù)據(jù)映射至高維特征空間，進(jìn)而在高維特征空間找到線性決策函數(shù)。假定訓(xùn)練樣本集T為：

其中，xi是樣本實(shí)例，yi是xi相對(duì)應(yīng)的輸出。設(shè)樣本集在高維特征空間中的決策函數(shù)為：

其中，w為超平面的權(quán)向量，b為閾值。通過(guò)最小化結(jié)構(gòu)風(fēng)險(xiǎn)原則和具備稀疏性的ε不敏感損失函數(shù)，ε-SVR模型在高維空間的目標(biāo)函數(shù)可表示為如下的最優(yōu)化問(wèn)題：

其中，ξi、ξ?i是松弛變量，C是懲罰系數(shù)，保持決策平面和誤差之間的平衡。為了解決上述最優(yōu)化問(wèn)題，引入拉格朗日函數(shù)，并通過(guò)拉格朗日對(duì)偶可轉(zhuǎn)化為對(duì)偶優(yōu)化問(wèn)題：

其中，αi,α?i≥0是拉格朗日乘子。通過(guò)求解對(duì)偶優(yōu)化問(wèn)題，得到相應(yīng)的決策函數(shù)：

式（5）中k(xi,xj)=φ(xi)Tφ(xj)為核函數(shù)。

常用的核函數(shù)主要有：

（1）多項(xiàng)式核函數(shù)

（2）高斯核函數(shù)

（3）Sigmoid核函數(shù)

SVR是一種有監(jiān)督的機(jī)器學(xué)習(xí)方法，具有完備的理論基礎(chǔ)，但其參數(shù)選取的不同對(duì)模型的預(yù)測(cè)精度和泛化能力有直接的影響。ε-SVR模型的參數(shù)包括不敏感損失系數(shù)ε、懲罰參數(shù)C以及核函數(shù)參數(shù)：不敏感損失系數(shù)ε與支持向量的數(shù)目相關(guān)；懲罰參數(shù)C影響模型的復(fù)雜度和穩(wěn)定性；核函數(shù)參數(shù)反映樣本在特征空間分布情況。三者之間相互影響，共同決定SVR模型的復(fù)雜度和泛化性能。因此，精準(zhǔn)、高效地選取到SVR參數(shù)，使得SVR模型具備更好的預(yù)測(cè)精度和泛化性能是SVR研究的一個(gè)重要課題。

2 群智能算法優(yōu)化支持向量回歸機(jī)參數(shù)

群智能算法是迭代尋優(yōu)搜索算法，具有靈活性、全局尋優(yōu)、自組織性及并行處理能力較強(qiáng)等特點(diǎn)，因此成為最具代表性的支持向量回歸參數(shù)優(yōu)化方法，并且在許多領(lǐng)域上得到成功的應(yīng)用。下面論述了幾種經(jīng)典的群智能算法在SVR參數(shù)優(yōu)化領(lǐng)域的研究成果。

2.1 粒子群算法

粒子群算法源于自然界鳥類群體協(xié)作的覓食行為，Eberhart和Kennedy通過(guò)對(duì)這種社會(huì)行為的研究于1995年首先提出粒子群算法[13]。該算法的主要原理是模仿鳥類種群在合作覓食中不斷地交流共享信息，進(jìn)而讓整個(gè)覓食行動(dòng)從無(wú)序變有序的過(guò)程，從而更快地獲得更好食物的位置，即問(wèn)題的最優(yōu)解。

在粒子群算法中，為了確定全局最優(yōu)解，每個(gè)粒子都以適當(dāng)?shù)乃俣仍谒阉骺臻g飛行，且粒子速度受到粒子自身飛行經(jīng)驗(yàn)和整個(gè)種群最佳飛行經(jīng)驗(yàn)的共同影響，粒子速度和位置更新如下所示：

粒子群算法是一種全局并行搜索的啟發(fā)式算法，具有簡(jiǎn)單易實(shí)現(xiàn)、快速收斂、尋優(yōu)精度高、參數(shù)較少等優(yōu)點(diǎn)。自提出至今，粒子群算法已經(jīng)在物流管理[14]、求解旅行商問(wèn)題[15]、圖像處理[16]、選址問(wèn)題[17]等領(lǐng)域得到廣泛的應(yīng)用。作為經(jīng)典的迭代尋優(yōu)算法，粒子群算法蘊(yùn)藏巨大潛力，在參數(shù)優(yōu)化領(lǐng)域中展現(xiàn)出優(yōu)越的性能，其在SVR參數(shù)優(yōu)化領(lǐng)域的研究應(yīng)用大致可分為兩類，概述如下：

（1）采用標(biāo)準(zhǔn)粒子群算法對(duì)SVR模型參數(shù)進(jìn)行優(yōu)化選取。文獻(xiàn)[18]將標(biāo)準(zhǔn)粒子群算法優(yōu)化的SVR模型應(yīng)用到預(yù)測(cè)人群密度變化中，實(shí)驗(yàn)結(jié)果表明該模型的預(yù)測(cè)精度和泛化性能都有所提升。Li等人[19]采用粒子群算法優(yōu)化SVR模型參數(shù)，創(chuàng)建了水質(zhì)參數(shù)的預(yù)測(cè)模型。數(shù)值表明，相比于SVR模型，粒子群算法優(yōu)化SVR模型在懸浮物和葉綠素濃度實(shí)驗(yàn)中取得較好的效果。李紫蕊等人[20]先用主成分分析法提取的特征構(gòu)建定性分析混合氣體的隨機(jī)森林模型，再通過(guò)粒子群算法和SVR建模實(shí)現(xiàn)對(duì)各類氣體濃度定量分析，實(shí)驗(yàn)結(jié)果驗(yàn)證了該算法的有效性。文獻(xiàn)[21]提出先基于遞歸特征消除法剔除與回歸無(wú)關(guān)的噪聲和冗余特征，然后采用粒子群算法對(duì)SVR模型參數(shù)進(jìn)行優(yōu)化選擇并應(yīng)用于電量需求的預(yù)測(cè)中，實(shí)驗(yàn)結(jié)果表明了該算法的有效性。標(biāo)準(zhǔn)粒子群算法緩解了SVR參數(shù)選取困難的問(wèn)題，在一定程度上提升了模型的性能，然而因其不完備的數(shù)學(xué)理論支撐，導(dǎo)致在參數(shù)尋優(yōu)過(guò)程中存在易陷入局部最優(yōu)值、后期收斂速度緩慢、后期粒子趨同性嚴(yán)重等局限性。

（2）利用粒子群算法的改進(jìn)算法實(shí)現(xiàn)對(duì)SVR參數(shù)尋優(yōu)求解。針對(duì)標(biāo)準(zhǔn)粒子群算法存在的缺陷，目前粒子群算法的改進(jìn)算法主要有以下四種：

①改進(jìn)參數(shù)的粒子群算法

粒子群算法的參數(shù)控制著算法的搜索能力和收斂速度，改進(jìn)參數(shù)來(lái)提升算法的尋參效率。文獻(xiàn)[22]為提高粒子群算法的搜索能力，將當(dāng)前最優(yōu)適應(yīng)度值與全局最佳適應(yīng)度相對(duì)偏差引入線性遞減函數(shù)中動(dòng)態(tài)調(diào)整慣性權(quán)重值，實(shí)驗(yàn)證明該模型可以提供更好的預(yù)測(cè)性能。為使算法具有更好的性能，文獻(xiàn)[23]提出迭代后粒子適應(yīng)度變化決定慣性權(quán)重，同時(shí)引入線性遞減函數(shù)動(dòng)態(tài)調(diào)整慣性權(quán)重來(lái)控制算法的全局和局部搜索能力，并構(gòu)建預(yù)測(cè)礦壩位移數(shù)據(jù)，實(shí)驗(yàn)結(jié)果表明改進(jìn)后的模型在預(yù)測(cè)精度上有明顯的提升。夏爾冬等人[24]對(duì)慣性權(quán)重利用非線性函數(shù)進(jìn)行動(dòng)態(tài)調(diào)整，同時(shí)采用線性函數(shù)修正學(xué)習(xí)因子，以達(dá)到兼顧算法的全局尋優(yōu)和局部搜索能力的目的。實(shí)驗(yàn)結(jié)果證實(shí)了改進(jìn)后的算法是一種有效的參數(shù)尋優(yōu)方法，使得SVR模型具有良好的預(yù)測(cè)精度和泛化能力，同時(shí)具備魯棒性強(qiáng)、可行性高的特點(diǎn)。改進(jìn)算法的參數(shù)可以提高算法后期的收斂速度，提升算法的尋參性能，但是增加了算法的訓(xùn)練時(shí)間及計(jì)算成本。

②改進(jìn)搜索機(jī)制的粒子群算法

粒子群算法存在一種有效的機(jī)制對(duì)算法的全局和局部搜索能力進(jìn)行折衷，降低算法陷入局部最優(yōu)值的可能性。文獻(xiàn)[25]提出設(shè)定最佳適應(yīng)度變化率閾值，當(dāng)其大于當(dāng)前全局最佳適應(yīng)度變化率時(shí)，以一定的變異概率對(duì)除全局最優(yōu)粒子外的所有粒子重新初始化，從而增加粒子的多樣性，避免粒子過(guò)早收斂。文獻(xiàn)[26]提出引入反向預(yù)測(cè)因子，對(duì)粒子的多樣化和集中化進(jìn)行折衷，降低早熟收斂的可能性；引入斥力因子動(dòng)態(tài)更新粒子位置，使得搜索空間中的粒子分布均勻化，避免因粒子群過(guò)分聚集而造成的搜索空間受限；同時(shí)利用非線性函數(shù)對(duì)慣性權(quán)重系數(shù)進(jìn)行更新，以期達(dá)到統(tǒng)籌全局尋優(yōu)和局部精細(xì)搜索性能，提高收斂速度的目的。實(shí)驗(yàn)結(jié)果表明所提出的策略具有更高的預(yù)測(cè)率和泛化性能。改進(jìn)算法提高了算法尋參效率，提升了模型的性能，但不可避免帶來(lái)了算法運(yùn)行時(shí)間成本增加且普適性不高的問(wèn)題。

③設(shè)計(jì)多種群機(jī)制的粒子群算法

多種群機(jī)制是利用種群之間相互交流信息機(jī)制和大規(guī)模的特點(diǎn)，設(shè)計(jì)高效的種群之間的信息交流機(jī)制和合適的子群數(shù)量來(lái)提升算法的效率和精度。Duan等人[27]提出把粒子群劃分成三個(gè)獨(dú)立子群的多種群粒子群算法以改進(jìn)算法跳出局部最優(yōu)值的能力，提高算法的尋優(yōu)精度和魯棒性。此種改進(jìn)算法提升了算法跳出局部最優(yōu)值的能力，提高了算法的尋參精度，然而也帶來(lái)了算法時(shí)間復(fù)雜度更高的問(wèn)題。

④設(shè)計(jì)混合粒子群算法

混合粒子群算法是針對(duì)粒子群算法的局限性，融合其他算法的優(yōu)點(diǎn)來(lái)彌補(bǔ)缺陷，使得混合粒子群算法具備多種算法的優(yōu)點(diǎn)，可以提高混合粒子群算法的尋參效率和收斂速度。Xie等人[28]提出了融合粒子群算法和分散搜索的混合算法，對(duì)SVR參數(shù)進(jìn)行優(yōu)化。通過(guò)分散搜索的多樣化生成方法來(lái)初始化粒子種群，避免粒子種群過(guò)分聚攏導(dǎo)致搜索空間受限；同時(shí)添加多樣性信息來(lái)改進(jìn)粒子的速度更新公式，減少粒子陷入局部最優(yōu)的可能性。實(shí)驗(yàn)結(jié)果表明該方法提高了SVR模型的效率及性能。文獻(xiàn)[29]提出了融合模擬退火算法和粒子群算法的混合算法優(yōu)化SVR模型參數(shù)，并應(yīng)用于對(duì)柳江徑流的預(yù)測(cè)估計(jì)。文獻(xiàn)[30]提出先用帝國(guó)競(jìng)爭(zhēng)算法選擇不同的特征因素，用粒子群算法對(duì)SVR模型參數(shù)優(yōu)化求解，評(píng)估杏產(chǎn)量及影響其產(chǎn)量的因素。結(jié)果表明該混合算法具有較高的預(yù)測(cè)精度和效率。Lu等人[31]提出了一種遺傳算法用于全局搜索和粒子群算法用于更精確的局部搜索的混合算法來(lái)對(duì)SVR參數(shù)進(jìn)行優(yōu)化，并將模型應(yīng)用到電動(dòng)汽車充電站負(fù)荷預(yù)測(cè)中。結(jié)果顯示這種融合算法是有效的，具有可信性高。文獻(xiàn)[32]提出螢火蟲算法和粒子算法結(jié)合的混合算法優(yōu)化SVR參數(shù)，構(gòu)建制糖工業(yè)澄清劑的預(yù)測(cè)模型。文獻(xiàn)[33]提出一種融合入侵雜草算法的混合粒子群算法優(yōu)化SVR參數(shù)，應(yīng)用于實(shí)現(xiàn)檢測(cè)甲烷氣體濃度。實(shí)驗(yàn)證明該模型具有預(yù)測(cè)精度高、穩(wěn)定性好的特點(diǎn)?；旌狭Ｗ尤核惴ň邆涠喾N算法的優(yōu)點(diǎn)，在SVR參數(shù)尋優(yōu)方面取得顯著的效果，提高模型的泛化性能和精度，與此同時(shí)無(wú)法避免地增加了算法參數(shù)個(gè)數(shù)，從而帶來(lái)了算法復(fù)雜度變高、系統(tǒng)開銷增大、算法不具備普適性等問(wèn)題。

粒子群算法是一種迭代尋優(yōu)驗(yàn)證的算法，雖然在組合優(yōu)化中仍然存在各種問(wèn)題，但通過(guò)不斷地探索與完善，仍是一種有效的非線性參數(shù)尋優(yōu)求解方法。

2.2 蝙蝠算法

蝙蝠算法（Bat Algorithm，BA）源于蝙蝠利用聲吶搜索獵物和躲避天敵的行為，Yang受蝙蝠行為規(guī)律的啟發(fā)于2010年提出了蝙蝠算法[34]。該算法主要是模仿蝙蝠利用回聲定位來(lái)測(cè)量物體的距離和大小，從而避免障礙物和探測(cè)獵物的行為。

在搜索空間中，蝙蝠發(fā)出聲波探索食物，經(jīng)過(guò)對(duì)比后，確定最優(yōu)蝙蝠個(gè)體，進(jìn)而得到全局最優(yōu)解。蝙蝠算法中蝙蝠的發(fā)射脈沖頻率、速度及位置的公式為：

其中，fi為蝙蝠i發(fā)出的脈沖頻率，fmax、fmin為蝙蝠發(fā)出脈沖頻率的上限和下限分別表示蝙蝠i在第t次迭代過(guò)程中的位置和速度，x?為當(dāng)前迭代過(guò)程中蝙蝠群體中最優(yōu)個(gè)體的位置，β為[0，1]之間的隨機(jī)數(shù)。

在蝙蝠種群中隨意選擇一只蝙蝠隨機(jī)游走對(duì)周圍區(qū)域進(jìn)行探索，其搜索位置的更新如下所示：

其中，xnew、xold分別為蝙蝠的新位置和當(dāng)前所處的位置，At表示第t代所有蝙蝠的平均響度，ε是[-1,1]范圍內(nèi)的隨機(jī)數(shù)。

在搜索獵物過(guò)程中，蝙蝠會(huì)根據(jù)與獵物的距離不斷地調(diào)整聲波響度和頻率來(lái)提高捕食的效率，其發(fā)出的聲波響度和頻率更新公式如下所示：

其中，a是[0，1]上的聲波衰減系數(shù)為蝙蝠i的初始脈沖頻率，γ是脈沖頻率增加系數(shù)。

蝙蝠算法是一種全局隨機(jī)搜索的啟發(fā)式算法，具有結(jié)構(gòu)簡(jiǎn)單、搜索能力強(qiáng)、可調(diào)參數(shù)較少等特點(diǎn)，在數(shù)據(jù)挖掘[35]、工程優(yōu)化問(wèn)題[36]、電力系統(tǒng)[37]以及圖像分割[38]等領(lǐng)域展現(xiàn)出良好的性能。當(dāng)然作為新型的群智能算法，蝙蝠算法在參數(shù)優(yōu)化方面也取得了不錯(cuò)的研究成果，其在優(yōu)化SVR模型參數(shù)的應(yīng)用大致可分為兩類，概述如下：

（1）采用標(biāo)準(zhǔn)蝙蝠算法對(duì)SVR模型參數(shù)進(jìn)行優(yōu)化選取。文獻(xiàn)[39]用標(biāo)準(zhǔn)蝙蝠算法優(yōu)化SVR懲罰參數(shù)和核函數(shù)參數(shù)，并用于對(duì)太陽(yáng)輻照進(jìn)行預(yù)測(cè)。與粒子群算法進(jìn)行對(duì)比，實(shí)驗(yàn)結(jié)果表明該模型找到的參數(shù)組合更好，有效地降低不合理參數(shù)對(duì)預(yù)測(cè)結(jié)果的影響。Xu等人[40]引入蝙蝠算法優(yōu)化SVR模型的三個(gè)參數(shù)，可以提高SVR的預(yù)測(cè)精度和泛化能力。唐曉斌等人[41]通過(guò)蝙蝠算法對(duì)SVR參數(shù)進(jìn)行優(yōu)化，構(gòu)建對(duì)二手房同比價(jià)格指數(shù)的預(yù)測(cè)模型。文獻(xiàn)[42]利用蝙蝠算法優(yōu)化SVR模型參數(shù)，用于對(duì)鄉(xiāng)村景點(diǎn)短期客流量進(jìn)行預(yù)測(cè)。實(shí)驗(yàn)結(jié)果證實(shí)蝙蝠算法具有更好的全局搜索能力及較少的計(jì)算時(shí)間。文獻(xiàn)[43]將蝙蝠算法和SVR模型結(jié)合構(gòu)建對(duì)印刷電路板的銷量預(yù)測(cè)，結(jié)果顯示該模型具有更高的預(yù)測(cè)精度和穩(wěn)定性。標(biāo)準(zhǔn)蝙蝠算法緩解了SVR參數(shù)選取困難的問(wèn)題，在一定程度上提升了模型的性能，然而在參數(shù)尋優(yōu)過(guò)程中存在易陷入局部最優(yōu)、搜索精度較低及易早熟收斂等問(wèn)題。

（2）利用蝙蝠算法的改進(jìn)算法實(shí)現(xiàn)對(duì)SVR參數(shù)尋優(yōu)求解。為了克服這些缺陷，諸多學(xué)者提出改進(jìn)方案來(lái)提升算法尋參精度進(jìn)而提升SVR模型性能。目前的改進(jìn)方案主要有：

①改進(jìn)參數(shù)的蝙蝠算法

蝙蝠算法的參數(shù)影響著蝙蝠在搜索過(guò)程中的飛行方向和飛行速度，改進(jìn)參數(shù)可以降低算法陷入局部最優(yōu)值的可能性。文獻(xiàn)[44]為降低蝙蝠算法發(fā)生早熟收斂的可能性，提出五個(gè)修改策略：為提高算法跳出局部最優(yōu)的能力，提出迭代局部搜索；利用線性函數(shù)和正態(tài)分布的隨機(jī)數(shù)修正慣性權(quán)重；引入線性函數(shù)調(diào)整蝙蝠的脈沖頻率和響度以便控制局部和全局搜索；以隨機(jī)選取的蝙蝠適應(yīng)度值和當(dāng)前蝙蝠的適應(yīng)度值大小為依據(jù)修改蝙蝠的速度更新，進(jìn)而增強(qiáng)算法的開發(fā)和探索能力；引入線性遞減的隨機(jī)游走權(quán)重以提高算法的穩(wěn)定性。在標(biāo)準(zhǔn)蝙蝠算法上的改進(jìn)算法進(jìn)一步提高模型的尋優(yōu)速度和收斂能力，降低陷入局部最優(yōu)的可能性，卻使得算法運(yùn)行成本增加且算法不具備普適性。

②結(jié)合多種機(jī)制的蝙蝠算法

為避免發(fā)生早熟收斂現(xiàn)象，引進(jìn)多種機(jī)制來(lái)提升算法尋參效率和精度。文獻(xiàn)[45]為降低算法發(fā)生早熟收斂的可能性，引入萊維飛行策略；同時(shí)引入柯西變異策略和可變步長(zhǎng)搜索機(jī)制來(lái)緩解算法難以跳出局部最優(yōu)值、搜索精度低的問(wèn)題。建立對(duì)生產(chǎn)裝置歷史數(shù)據(jù)的預(yù)測(cè)模型，仿真結(jié)果表明該模型穩(wěn)定性好，提高了煅燒帶溫度的預(yù)測(cè)精度，能夠?qū)剞D(zhuǎn)窯煅燒過(guò)程的安全生產(chǎn)和優(yōu)化運(yùn)行起到實(shí)時(shí)指導(dǎo)作用。成貴學(xué)等人[46]引入隨機(jī)策略決定蝙蝠的覓食棲息地并且增加對(duì)回波中多普勒效應(yīng)的自適應(yīng)補(bǔ)償，以期提高模型的日最大負(fù)荷預(yù)測(cè)精度。實(shí)驗(yàn)結(jié)果顯示該算法找到的SVR最優(yōu)參數(shù)有效提高了模型的預(yù)測(cè)性能。在標(biāo)準(zhǔn)蝙蝠算法上的改進(jìn)算法進(jìn)一步提高模型的尋優(yōu)速度和收斂能力，改善種群的多樣性，避免發(fā)生早熟收斂的現(xiàn)象，但不可避免地增加了算法的參數(shù)個(gè)數(shù)，從而造成算法的運(yùn)行時(shí)間變長(zhǎng)，復(fù)雜度更高。

③設(shè)計(jì)混合蝙蝠算法

混合蝙蝠算法是針對(duì)蝙蝠算法的局限性，融合其他算法的優(yōu)點(diǎn)來(lái)彌補(bǔ)短板，使得混合蝙蝠算法具備多種算法的優(yōu)點(diǎn)，提高混合蝙蝠算法的尋參效率和收斂速度。文獻(xiàn)[47]為提高算法的抗干擾能力和跳出局部最優(yōu)值能力，提出基于混沌映射函數(shù)執(zhí)行全局混沌擾動(dòng)策略的量子蝙蝠算法，用于優(yōu)化SVR模型參數(shù)并對(duì)電力負(fù)荷進(jìn)行預(yù)測(cè)。數(shù)值結(jié)果表明該模型在預(yù)測(cè)精度方面優(yōu)于其他替代模型。文獻(xiàn)[48]提出全局混沌遍歷擾動(dòng)策略改進(jìn)蝙蝠算法后期趨同性嚴(yán)重的問(wèn)題；利用局部利基加速算法來(lái)提高局部搜索能力和搜索速度；引入種群平均聚集密度和最大聚集密度，得到種群聚集密度變化率來(lái)計(jì)算慣性權(quán)重更新蝙蝠的速度，旨在修正全局和局部搜索的轉(zhuǎn)換。改進(jìn)后的蝙蝠算法優(yōu)化浮動(dòng)平臺(tái)運(yùn)動(dòng)數(shù)據(jù)的SVR預(yù)測(cè)模型，實(shí)驗(yàn)評(píng)估該模型的可靠性和有效性?；旌向鹚惴ㄟM(jìn)一步提升了模型的預(yù)測(cè)精度和泛化性能，但不可避免地帶來(lái)了一些其他問(wèn)題，如算法的參數(shù)增多，算法復(fù)雜度更高，系統(tǒng)開銷增多等。

蝙蝠算法在參數(shù)優(yōu)化領(lǐng)域中的應(yīng)用廣泛，但在組合優(yōu)化中仍然存在一定的問(wèn)題。眾多學(xué)者提出多種改進(jìn)策略，并應(yīng)用到SVR參數(shù)尋優(yōu)求解中提高模型的性能。

2.3 果蠅優(yōu)化算法

2011年P(guān)an受到果蠅利用自身嗅覺和視覺覓食行為的啟發(fā)，提出了果蠅優(yōu)化算法（Fruit Fly Optimization Algorithm，F(xiàn)OA）[49]。該算法包括果蠅個(gè)體利用敏銳的嗅覺感知食物氣味濃度尋找食物的嗅覺搜索階段，及利用靈敏的視覺找到食物與果蠅同伴匯聚地點(diǎn)的視覺定位階段，來(lái)達(dá)到優(yōu)化搜索的目的。

在嗅覺搜索階段中，果蠅通過(guò)自身敏銳的嗅覺感知食物味道濃度來(lái)尋找食物，其他果蠅個(gè)體無(wú)法得知同伴的位置，因此先估算果蠅個(gè)體與原點(diǎn)的距離，而食物味道濃度判定值由距離可得，計(jì)算公式如式（15）所示：

式中，Xi、Yi為果蠅i的橫縱坐標(biāo)。

根據(jù)果蠅的食物味道濃度判定值按式（16）計(jì)算出味道濃度：

式中，F(xiàn)itness為食物味道濃度適應(yīng)度函數(shù)，Smelli為果蠅i的味道濃度值。

在視覺定位階段中，選取所有果蠅個(gè)體中的味道濃度值最佳的果蠅個(gè)體，保留其對(duì)應(yīng)的食物濃度值和位置信息，其他果蠅個(gè)體利用視覺向此處飛去，即：

其中，bestsmell、bestindex分別為果蠅最佳味道濃度值及其相對(duì)應(yīng)的位置信息。

果蠅優(yōu)化算法是一種迭代尋優(yōu)的啟發(fā)式算法，因具有結(jié)構(gòu)清晰、可調(diào)參數(shù)少、靈活性等特點(diǎn)，被廣泛應(yīng)用于圖像處理[50]、函數(shù)優(yōu)化[51]、工作調(diào)度[52]等相關(guān)領(lǐng)域。作為新型的啟發(fā)式搜索算法，果蠅優(yōu)化算法蘊(yùn)涵著巨大的潛能，在參數(shù)優(yōu)化領(lǐng)域中也取得不錯(cuò)的研究成果，其在優(yōu)化SVR參數(shù)方面的應(yīng)用大致可分為兩大類別，概述如下：

（1）采用標(biāo)準(zhǔn)果蠅優(yōu)化算法對(duì)SVR模型參數(shù)進(jìn)行優(yōu)化選取。文獻(xiàn)[53]利用果蠅優(yōu)化算法優(yōu)化SVR模型參數(shù)，并建立對(duì)工業(yè)過(guò)程中紡絲伸長(zhǎng)率的預(yù)測(cè)模型，實(shí)驗(yàn)結(jié)果表明該模型有著良好的泛化性能。Cao等人[54]采用果蠅優(yōu)化算法優(yōu)化SVR模型的參數(shù)，對(duì)季節(jié)性電量消費(fèi)進(jìn)行預(yù)測(cè)。文獻(xiàn)[55]將果蠅優(yōu)化算法優(yōu)化的SVR模型用于預(yù)測(cè)空置停車位的數(shù)量，實(shí)驗(yàn)結(jié)果驗(yàn)證了果蠅優(yōu)化算法的有效性。文獻(xiàn)[56]利用果蠅優(yōu)化算法SVR模型參數(shù)，構(gòu)建對(duì)底板突水量的預(yù)測(cè)模型，實(shí)驗(yàn)結(jié)果顯示該模型比SVR模型具有更高的預(yù)測(cè)精度。標(biāo)準(zhǔn)果蠅優(yōu)化算法緩解了SVR參數(shù)選取困難的問(wèn)題，在一定程度上提升了模型的性能，然而因不完善的數(shù)學(xué)理論支撐導(dǎo)致在參數(shù)過(guò)程中存在尋優(yōu)精度不高、后期趨同性較高以及易發(fā)生早熟收斂現(xiàn)象等問(wèn)題。

（2）利用果蠅優(yōu)化算法的改進(jìn)算法實(shí)現(xiàn)對(duì)SVR參數(shù)尋優(yōu)求解。針對(duì)果蠅優(yōu)化算法存在的局限性，諸多學(xué)者對(duì)此進(jìn)行深入探索研究，提出眾多改進(jìn)策略來(lái)提高算法的尋參效率和精度，主要有以下三種改進(jìn)策略：

①改進(jìn)搜索步長(zhǎng)的果蠅優(yōu)化算法

搜索步長(zhǎng)控制算法的全局和局部的搜索能力，主要受搜索半徑的影響。改進(jìn)搜索步長(zhǎng)可以增強(qiáng)算法的全局搜索能力，降低發(fā)生局部最優(yōu)的概率。文獻(xiàn)[57]為改善算法的效率和搜索精度，采用指數(shù)函數(shù)更新步長(zhǎng)的自適應(yīng)果蠅優(yōu)化算法對(duì)SVR模型參數(shù)進(jìn)行優(yōu)化，并應(yīng)用到對(duì)磁流變彈性體基礎(chǔ)隔離器進(jìn)行預(yù)測(cè)。Yi等人[58]為使算法降低陷入局部最優(yōu)的概率，提出在以距離倒數(shù)作為適應(yīng)度函數(shù)中增加一個(gè)常數(shù)的改進(jìn)算法，并在水稻葉片數(shù)據(jù)中進(jìn)行驗(yàn)證。實(shí)驗(yàn)結(jié)果表明該模型具有更高的效率和預(yù)測(cè)精度。張璽[59]為在搜索階段實(shí)現(xiàn)全局搜索和局部搜索的動(dòng)態(tài)平衡，引入降低隔代搜索步長(zhǎng)策略，同時(shí)在味道濃度判定值中引入動(dòng)態(tài)調(diào)整權(quán)重和前一代最優(yōu)果蠅個(gè)體的味道濃度判定值來(lái)避免算法發(fā)生早熟收斂的現(xiàn)象。文獻(xiàn)[60]為改進(jìn)果蠅優(yōu)化算法的尋優(yōu)能力，提出利用線性遞減的慣性權(quán)重因子修正最佳果蠅位置，構(gòu)建對(duì)固溶體的活性產(chǎn)物的預(yù)測(cè)模型。模擬實(shí)驗(yàn)表明改進(jìn)后的果蠅優(yōu)化算法具有更小的回歸誤差，泛化結(jié)果更精準(zhǔn)。此類改進(jìn)算法通過(guò)改進(jìn)搜索步長(zhǎng)以控制全局搜索和局部搜索的平衡，在一定程度上提高了模型的預(yù)測(cè)精度和泛化性能，然而使得算法訓(xùn)練時(shí)間變長(zhǎng)，系統(tǒng)運(yùn)行成本增多。

②改進(jìn)潛在解空間范圍的果蠅優(yōu)化算法

標(biāo)準(zhǔn)果蠅優(yōu)化算法的潛在解不能為負(fù)數(shù)，通過(guò)擴(kuò)大算法潛在解的空間范圍，使其在解空間均勻分布，有利于尋找到更好的解。文獻(xiàn)[61]為提高算法的搜索效率和尋優(yōu)能力，在味道濃度判定中增加逃逸因子并將果蠅搜索范圍擴(kuò)大至三維，并應(yīng)用于預(yù)測(cè)軸承的剩余壽命。仿真實(shí)驗(yàn)表明該模型取得了良好的預(yù)測(cè)效果，對(duì)實(shí)際應(yīng)用有一定的指導(dǎo)作用。Hu等人[62]提出使用正態(tài)分布函數(shù)來(lái)改進(jìn)果蠅優(yōu)化算法的搜索模式，可以提高算法的搜索精度，擴(kuò)大搜索范圍，并構(gòu)建對(duì)長(zhǎng)途產(chǎn)品流水線的預(yù)測(cè)模型。實(shí)驗(yàn)結(jié)果表明該模型的優(yōu)化速度和預(yù)測(cè)精度明顯提升。此類改進(jìn)算法通過(guò)改進(jìn)潛在解的空間范圍，在一定程度上提高了模型的預(yù)測(cè)精度和泛化性能，卻讓算法的復(fù)雜度變高，運(yùn)行時(shí)間變長(zhǎng)。

③設(shè)計(jì)混合果蠅優(yōu)化算法

混合果蠅優(yōu)化算法是針對(duì)果蠅優(yōu)化算法的局限性，融合其他算法的優(yōu)點(diǎn)來(lái)彌補(bǔ)缺陷，使得混合果蠅優(yōu)化算法具備多種算法的優(yōu)點(diǎn)，以提高混合果蠅優(yōu)化算法的尋參效率和收斂速度。文獻(xiàn)[63]提出對(duì)果蠅群體的位置引入混沌序列化，同時(shí)在尋優(yōu)過(guò)程中加入混沌擾動(dòng)的混合算法，構(gòu)建對(duì)汽車零部件銷售的預(yù)測(cè)模型。文獻(xiàn)[64]為提高算法的穩(wěn)定性和搜索精度，采用自適應(yīng)調(diào)整系數(shù)更新果蠅位置，設(shè)計(jì)基于cat mapping的全局混沌擾動(dòng)機(jī)制改善種群的多樣性，并對(duì)船舶運(yùn)行時(shí)間進(jìn)行預(yù)測(cè)。數(shù)值結(jié)果表明該模型具有更高的預(yù)測(cè)精度和效率。文獻(xiàn)[65]為加速搜索過(guò)程，利用線性遞減函數(shù)調(diào)整果蠅優(yōu)化算法的步長(zhǎng)，再將果蠅優(yōu)化算法和模擬退火算法進(jìn)行結(jié)合優(yōu)化選取SVR模型最優(yōu)參數(shù)，并對(duì)股價(jià)進(jìn)行預(yù)測(cè)。實(shí)驗(yàn)結(jié)果表明算法的預(yù)測(cè)率更準(zhǔn)確。文獻(xiàn)[66]引入免疫思想抗體變異和疫苗接種因子，降低陷入局部最優(yōu)的可能性，同時(shí)引入指數(shù)型函數(shù)調(diào)整迭代步長(zhǎng)值，以便獲得全局搜索和局部尋優(yōu)的兼顧。采用混合算法優(yōu)化SVR模型參數(shù)，實(shí)現(xiàn)對(duì)風(fēng)電機(jī)組的性能評(píng)估。混合果蠅優(yōu)化算法進(jìn)一步緩解了SVR參數(shù)尋優(yōu)困難的問(wèn)題，與此同時(shí)帶來(lái)了因算法的參數(shù)增多導(dǎo)致算法復(fù)雜度變高、系統(tǒng)開銷成本增加的問(wèn)題。

在參數(shù)優(yōu)化中，果蠅優(yōu)化算法存在各種問(wèn)題有待探索。通過(guò)不斷地改進(jìn)完善，改進(jìn)后的果蠅優(yōu)化算法能夠有效選取到SVR模型參數(shù)。

2.4 灰狼算法

灰狼算法（Grey Wolf Optimizer，GWO）靈感來(lái)自對(duì)灰狼種群嚴(yán)格的社會(huì)等級(jí)和捕獵行為的研究。Mirjalili等人受這種社會(huì)行為的啟發(fā)，于2014年提出了灰狼算法[67]。該算法主要是模仿灰狼搜尋獵物、圍捕獵物、攻擊獵物等過(guò)程來(lái)實(shí)現(xiàn)優(yōu)化搜索的目的。在灰狼算法中，先隨機(jī)初始化狼群并按照適應(yīng)度值劃分出α、β、δ狼和其余的狼，接著α、β、δ搜尋獵物并進(jìn)行定位，狼群其余的狼受到α、β、δ引導(dǎo)對(duì)目標(biāo)獵物進(jìn)行圍捕追蹤，最后捕殺獵物，即獲得問(wèn)題的最優(yōu)解。

在狩獵過(guò)程中，灰狼將獵物包圍起來(lái)，其模型如下所示：

其中，t代表當(dāng)前迭代次數(shù)，D為狼群個(gè)體與獵物之間的距離，Xp(t)、X(t)分別表示第t次迭代過(guò)程中獵物和灰狼的位置，A、C是系數(shù)，a是收斂因子，r1、r2是[0，1]范圍內(nèi)的隨機(jī)數(shù)，Tmax是最大迭代次數(shù)。

當(dāng)獵物被包圍后，由α、β、δ帶領(lǐng)狼群進(jìn)行狩獵。每次迭代根據(jù)灰狼和獵物之間的距離選擇α、β、δ狼的位置，狼群中其余的狼根據(jù)最好的三只灰狼位置對(duì)自己位置進(jìn)行更新，其位置更新如下所示：

其中，Xα、Xβ、Xδ分別是狼目前所處的位置，Dα、Dβ、Dδ表示α、β、δ狼與其余狼之間的距離，X1、X2、X3表示其余狼向α、β、δ狼方向的更新步長(zhǎng)，X(t+1)表示灰狼群體其余狼所處位置。

最后，灰狼群體通過(guò)A的值來(lái)判斷是否實(shí)現(xiàn)攻擊行為來(lái)捕殺獵物。當(dāng)A≤1時(shí)，灰狼群體向獵物發(fā)起攻擊行為；當(dāng)A>1時(shí)，灰狼群體進(jìn)行分散搜索尋找更好的獵物。

灰狼算法是一種全局并行處理的迭代尋優(yōu)算法，在兼顧有效性和準(zhǔn)確性的同時(shí)具有結(jié)構(gòu)簡(jiǎn)單、控制參數(shù)少、容易實(shí)現(xiàn)及魯棒性強(qiáng)等特點(diǎn)，目前在圖像分割[68]、優(yōu)化問(wèn)題[69]、車間調(diào)度[70]、電力負(fù)荷[71]等相關(guān)領(lǐng)域得到了廣泛的應(yīng)用。作為新型的啟發(fā)式算法，灰狼算法蘊(yùn)藏著巨大的潛力，在參數(shù)優(yōu)化方面也展現(xiàn)出卓越的性能，其在優(yōu)化SVR模型參數(shù)領(lǐng)域的應(yīng)用大致可分為兩大類別，概述如下：

（1）采用標(biāo)準(zhǔn)灰狼算法對(duì)SVR模型參數(shù)進(jìn)行優(yōu)化選取。文獻(xiàn)[72]采用灰狼算法對(duì)SVR的參數(shù)進(jìn)行優(yōu)化求解，并將模型應(yīng)用于對(duì)水稻霉菌菌落的無(wú)損檢測(cè)。實(shí)驗(yàn)結(jié)果表明該模型具有較好的預(yù)測(cè)精度和更高的穩(wěn)定性。Sun等人[73]為提高模型的預(yù)測(cè)精度和泛化性能，采用灰狼優(yōu)化算法對(duì)SVR參數(shù)進(jìn)行優(yōu)化，構(gòu)建對(duì)綠茶水分的檢測(cè)模型。文獻(xiàn)[74]構(gòu)建灰狼算法優(yōu)化參數(shù)的SVR模型，對(duì)電力負(fù)荷值進(jìn)行預(yù)測(cè)。文獻(xiàn)[75]采用灰狼算法優(yōu)化SVR模型參數(shù)，用于預(yù)測(cè)爆炸引起的巖石運(yùn)動(dòng)的分布規(guī)律。統(tǒng)計(jì)分析表明該模型比人工神經(jīng)網(wǎng)絡(luò)、隨機(jī)森林模型更準(zhǔn)確，運(yùn)行時(shí)間更少。文獻(xiàn)[76]采用灰狼算法優(yōu)化SVR模型參數(shù)，用于對(duì)阿爾利亞測(cè)量站每月流量數(shù)據(jù)進(jìn)行測(cè)試。實(shí)驗(yàn)表明該模型在預(yù)測(cè)凈賺性和收斂性方面均優(yōu)于其他算法。標(biāo)準(zhǔn)灰狼算法緩解了SVR參數(shù)選取困難的問(wèn)題，在一定程度上提升了模型的性能，然而標(biāo)準(zhǔn)灰狼算法在參數(shù)尋優(yōu)過(guò)程中存在易陷入局部最優(yōu)、局部搜索能力差、尋優(yōu)精度不高等缺陷。

（2）利用灰狼算法的改進(jìn)算法實(shí)現(xiàn)對(duì)SVR參數(shù)尋優(yōu)求解。針對(duì)灰狼算法在參數(shù)優(yōu)化領(lǐng)域存在的缺陷，目前灰狼算法的改進(jìn)策略主要有：

①改進(jìn)灰狼算法的參數(shù)

灰狼算法的參數(shù)對(duì)算法的收斂效率和尋優(yōu)精度有直接的影響，改進(jìn)參數(shù)控制狼群的步長(zhǎng)，從而平衡算法的勘探和開發(fā)能力。文獻(xiàn)[77]為有效提高算法的搜索能力，提出采用指數(shù)型函數(shù)修正收斂因子，同時(shí)按照狼適應(yīng)度值比例更新權(quán)重因子，達(dá)到提高局部搜索和全局搜索能力的目的，并創(chuàng)建對(duì)短期電力負(fù)載的預(yù)測(cè)模型。實(shí)驗(yàn)表明該方法對(duì)于預(yù)測(cè)是可行且有效的，與反向傳播人工神經(jīng)網(wǎng)絡(luò)相比，其準(zhǔn)確性和魯棒性更好。查艷芳[78]為避免算法陷入早熟收斂，引入指數(shù)型函數(shù)控制收斂因子和按照動(dòng)態(tài)比例更新權(quán)重的改進(jìn)灰狼算法，對(duì)SVR參數(shù)進(jìn)行優(yōu)化并預(yù)測(cè)武漢市PM2.5濃度值。與標(biāo)準(zhǔn)灰狼算法進(jìn)行比較，改進(jìn)后的灰狼算法實(shí)驗(yàn)結(jié)果具有預(yù)測(cè)精度高、穩(wěn)定性好、收斂速度快的特點(diǎn)。改進(jìn)灰狼算法的參數(shù)在一定程度上提升了算法的收斂速度和穩(wěn)定性，但也增加了算法的運(yùn)行時(shí)間成本。

②改進(jìn)搜索機(jī)制的灰狼算法

灰狼算法中的參數(shù)有效地制約著探勘和開發(fā)能力，改進(jìn)算法的搜索機(jī)制能減少算法陷入局部最優(yōu)的可能性，有助于找到更好的解。文獻(xiàn)[79]提出在每次迭代過(guò)程中將灰狼個(gè)體搜索范圍擴(kuò)大至整個(gè)解空間而非限制在某個(gè)局部的搜索空間內(nèi)，使算法可以跳出局部最優(yōu)解得到全局最優(yōu)解。王穎等人[80]提出云模型的正態(tài)函數(shù)改進(jìn)收斂因子，以便控制算法勘探和開發(fā)的平衡；對(duì)灰狼頭狼更新采用二次插值算法以提升局部搜索能力，避免頭狼的適應(yīng)度值趨于一致，對(duì)其他個(gè)體采用綜合適應(yīng)度和步長(zhǎng)距離來(lái)調(diào)整權(quán)重；為了避免算法發(fā)生早熟收斂，采用混沌映射擴(kuò)大算法的搜索范圍，構(gòu)建對(duì)采油速度的預(yù)測(cè)模型。實(shí)驗(yàn)結(jié)果表明改進(jìn)后的算法能有效選取模型的參數(shù)，從而提高模型的預(yù)測(cè)準(zhǔn)確率和穩(wěn)定性。改進(jìn)灰狼算法的復(fù)雜度變高，系統(tǒng)運(yùn)行成本增多，訓(xùn)練時(shí)間變長(zhǎng)。

③設(shè)計(jì)混合灰狼算法

混合灰狼算法是針對(duì)灰狼算法的局限性，融合其他算法的優(yōu)點(diǎn)來(lái)彌補(bǔ)缺陷，使得混合灰狼算法具備多種算法的優(yōu)點(diǎn)，以達(dá)到提高混合灰狼算法尋參性能的目的。文獻(xiàn)[81-82]基于灰狼算法和差分進(jìn)化算法各自搜索機(jī)理的不足，提出一種差分進(jìn)化和灰狼算法結(jié)合的混合算法。在迭代過(guò)程中引入差分進(jìn)化算法中的變異因子和交叉概率因子，以期達(dá)到加強(qiáng)全局搜索能力的同時(shí)避免發(fā)生早熟收斂現(xiàn)象的目的；利用灰狼算法全局最優(yōu)的搜索能力來(lái)確?；旌纤惴ǖ氖諗啃裕瑥亩鴮?shí)現(xiàn)對(duì)SVR模型參數(shù)的優(yōu)化求解。文獻(xiàn)[83]通過(guò)差分進(jìn)化的變異選擇操作來(lái)豐富灰狼初始種群的多樣性，避免搜索空間過(guò)于密集；為增加后期種群的多樣性和避免算法發(fā)生早熟收斂現(xiàn)象，在迭代過(guò)程中對(duì)灰狼種群進(jìn)行交叉選擇操作。而文獻(xiàn)[84]選擇β、δ狼作為父代計(jì)算向量差，對(duì)其縮放后與α狼進(jìn)行差分進(jìn)化算法的變異操作，從而使算法具有更高的搜索精度和效率。文獻(xiàn)[85]在融合差分進(jìn)化算法的基礎(chǔ)上，將系數(shù)C隨迭代次數(shù)不斷地修正，從而控制局部和全局搜索平衡，改善灰狼算法的搜索能力和收斂性。文獻(xiàn)[86]采用混沌Tent映射策略初始化種群及在搜索機(jī)制中融合差分進(jìn)化來(lái)改進(jìn)種群多樣性和避免算法誤收斂的現(xiàn)象。文獻(xiàn)[87]基于灰狼算法和禿鷲搜索算法的特點(diǎn)，提出將二者的優(yōu)點(diǎn)結(jié)合的混合算法來(lái)對(duì)SVR模型參數(shù)進(jìn)行尋優(yōu)求解，進(jìn)而應(yīng)用于對(duì)交通流量進(jìn)行預(yù)測(cè)。實(shí)驗(yàn)結(jié)果顯示SVR模型的預(yù)測(cè)精度有所提升且具有較高的可信性?；旌匣依撬惴ㄍ瑫r(shí)具備多種算法的優(yōu)點(diǎn)，進(jìn)一步克服灰狼算法在優(yōu)化SVR參數(shù)中存在的缺陷，與此同時(shí)也使得算法的復(fù)雜度變高，運(yùn)行時(shí)間變長(zhǎng)。

灰狼算法是一種等級(jí)制度嚴(yán)格的隨機(jī)搜索算法，其在組合優(yōu)化領(lǐng)域中仍然存在一定的問(wèn)題，通過(guò)不斷地研究完善，現(xiàn)已成為一種可行的SVR參數(shù)優(yōu)化方法。

2.5 鯨魚算法

鯨魚算法（Whale Optimization Algorithm，WOA）是一種根據(jù)自然界座頭鯨獨(dú)特的氣泡網(wǎng)捕食行為推演出來(lái)的全局搜索算法，最早由Mirjalili等人于2016年提出[88]。該算法通過(guò)模擬鯨魚收縮包圍、螺旋更新狩獵、搜索獵物來(lái)實(shí)現(xiàn)優(yōu)化搜索的目的。鯨魚先在空間中搜索獵物并獲得相關(guān)信息，再不斷地包圍和螺旋靠近獵物，直到找到獵物為止。

在鯨魚算法中，鯨魚察覺到獵物時(shí)會(huì)向著最優(yōu)鯨魚個(gè)體的方向游去，并且識(shí)別獵物的位置將其包圍，其包圍獵物的數(shù)學(xué)模型如下所示：

其中，t是當(dāng)前迭代次數(shù)，X?(t)、X(t)分別為第t次迭代中獵物和鯨魚的位置，A、C是系數(shù)向量，計(jì)算公式如下所示：

其中，a是控制參數(shù)，r1、r2是[0，1]范圍內(nèi)的隨機(jī)數(shù)，Tmax是最大迭代次數(shù)。

當(dāng)鯨魚獲得獵物的位置信息后，以獵物位置為中心不斷地螺旋逼近獵物。為實(shí)現(xiàn)包圍和螺旋逼近獵物的目的，以概率p為標(biāo)準(zhǔn)評(píng)判的鯨魚是收縮包圍還是螺旋更新位置。當(dāng)p<0.5時(shí)執(zhí)行包圍收縮方式；當(dāng)p≥0.5時(shí)執(zhí)行螺旋更新方式，其數(shù)學(xué)模型如式（25）所示：

其中，Dp=X?(t)-X(t)，b為常數(shù)，l是[-1,1]范圍內(nèi)的隨機(jī)數(shù)。

鯨魚算法以A的大小為依據(jù)來(lái)判斷是否執(zhí)行隨機(jī)搜索獵物。當(dāng)A<1時(shí)，執(zhí)行包圍獵物的方式；當(dāng)A≥1時(shí)，鯨魚無(wú)法獲得有效線索，為獲得獵物有效信息，采用的是隨機(jī)搜索獵物：

其中，Xrand為隨機(jī)選擇的鯨魚個(gè)體位置。

鯨魚算法是一種全局尋優(yōu)搜索的啟發(fā)式算法，在優(yōu)化參數(shù)過(guò)程中具有操作簡(jiǎn)潔、結(jié)構(gòu)簡(jiǎn)單易實(shí)現(xiàn)、可調(diào)參數(shù)少等特點(diǎn)，目前已成功應(yīng)用于物流配送選址[89]、圖像分割[90]、故障診斷[91]、路徑規(guī)劃[92]等相關(guān)領(lǐng)域。鯨魚算法雖然是一種新興的群智能算法，但是在參數(shù)優(yōu)化領(lǐng)域也取得了不錯(cuò)的研究成果，其在優(yōu)化SVR參數(shù)方面的研究應(yīng)用大致可分為兩大類別，概述如下：

（1）利用標(biāo)準(zhǔn)鯨魚算法實(shí)現(xiàn)SVR模型參數(shù)優(yōu)化選取。文獻(xiàn)[93]提出鯨魚算法優(yōu)化SVR的參數(shù)，同時(shí)引入移動(dòng)窗口技術(shù)進(jìn)行預(yù)測(cè)。實(shí)驗(yàn)表明模型縮短了計(jì)算時(shí)間，預(yù)測(cè)精度也明顯提高。Osama等人[94]提出鯨魚算法優(yōu)化SVR模型參數(shù)，并應(yīng)用于對(duì)氣象監(jiān)測(cè)中心日平均風(fēng)速數(shù)據(jù)進(jìn)行預(yù)測(cè)。實(shí)驗(yàn)結(jié)果表明鯨魚算法能夠找到SVR參數(shù)的最優(yōu)值，提升模型的泛化性能。文獻(xiàn)[95]采用鯨魚算法優(yōu)化SVR參數(shù)，用于對(duì)港口集裝箱吞吐量月度數(shù)據(jù)進(jìn)行預(yù)測(cè)。結(jié)果表明混合模型的預(yù)測(cè)精度和泛化性能明顯提高。文獻(xiàn)[96]采用鯨魚優(yōu)化算法對(duì)SVR模型參數(shù)進(jìn)行優(yōu)化，并應(yīng)用到客戶關(guān)系管理評(píng)價(jià)中，對(duì)比遺傳算法、差分進(jìn)化算法和粒子群算法。研究表明模型的預(yù)測(cè)精度更好，可信性更高。文獻(xiàn)[97]采用鯨魚算法優(yōu)化SVR模型，用于對(duì)短期電力負(fù)荷進(jìn)行預(yù)測(cè)。實(shí)驗(yàn)表明該模型可以有效地分解負(fù)載。標(biāo)準(zhǔn)鯨魚算法在一定程度上提升了SVR模型的預(yù)測(cè)精度和泛化性能，但是鯨魚算法在參數(shù)優(yōu)化過(guò)程中存在易早熟收斂、搜索精度低、收斂速度慢、易陷入局部最優(yōu)值的問(wèn)題。

（2）利用鯨魚算法的改進(jìn)算法實(shí)現(xiàn)對(duì)SVR參數(shù)尋優(yōu)求解。針對(duì)鯨魚算法存在的局限性，諸多學(xué)者對(duì)此進(jìn)行探索研究，提出眾多改進(jìn)策略來(lái)提高算法的尋參效率和精度，改進(jìn)策略主要有：

①改進(jìn)鯨魚算法的參數(shù)

鯨魚算法的搜索機(jī)制主要是由參數(shù)進(jìn)行控制的，通過(guò)改進(jìn)參數(shù)來(lái)平衡算法的勘探和開發(fā)搜索能力。文獻(xiàn)[98]引入余弦變化的非線性因子以及利用對(duì)數(shù)形式更新權(quán)重因子與隨機(jī)差分變異策略，從而達(dá)到增強(qiáng)算法的全局搜索與局部開發(fā)協(xié)調(diào)性能，避免算法發(fā)生早熟收斂現(xiàn)象的目的。實(shí)驗(yàn)表明模型的預(yù)測(cè)精度和泛化性能明顯提升。改進(jìn)鯨魚算法的搜索機(jī)制在一定程度上提升了模型的性能，卻也讓算法的計(jì)算成本變高，訓(xùn)練時(shí)間變長(zhǎng)。

②設(shè)計(jì)混合鯨魚算法

混合鯨魚算法是將鯨魚算法與其他算法進(jìn)行結(jié)合，取長(zhǎng)補(bǔ)短，使得混合鯨魚算法具備多種算法的優(yōu)點(diǎn)，以期達(dá)到提高算法的尋參效率和收斂速度的目的。黃元春等人[99]提出基于改進(jìn)的鯨魚算法：為達(dá)到均勻分布種群，避免初始種群過(guò)于聚集的目的，引入偽反向?qū)W習(xí)策略；為改善算法跳出局部最優(yōu)的能力，引入高斯-柯西變異策略；對(duì)收斂因子利用非線性函數(shù)進(jìn)行調(diào)整和自適應(yīng)權(quán)重變化，平衡算法的全局探索性能和局部開發(fā)性能。對(duì)工業(yè)中低壓斷路器的預(yù)測(cè)實(shí)驗(yàn)表明，改進(jìn)算法優(yōu)化的SVR模型不僅有更高的預(yù)測(cè)精度，還具備較強(qiáng)的魯棒性。Wang等人[100]采用對(duì)立學(xué)習(xí)策略來(lái)混合原始種群及其對(duì)立個(gè)體，選擇最佳種群作為新種群，降低初始種群對(duì)算法性能的影響；采用余弦定律變化的自適應(yīng)權(quán)重和收斂因子來(lái)控制算法的全局探索和局部開發(fā)的平衡，提高收斂精度。構(gòu)建對(duì)照明校正的預(yù)測(cè)模型，該模型在顯著性分析方面優(yōu)于其他模型?；旌霄L魚算法進(jìn)一步克服了鯨魚算法在優(yōu)化SVR參數(shù)中存在的缺陷，與此同時(shí)也帶來(lái)了算法復(fù)雜度變高、時(shí)間復(fù)雜度更高、運(yùn)行成本增加等問(wèn)題。

作為一種新興的群智能算法，鯨魚算法的理論還不夠成熟，有待研究改進(jìn)。鯨魚算法及其改進(jìn)算法在SVR參數(shù)優(yōu)化領(lǐng)域中的應(yīng)用還比較少，但相較于傳統(tǒng)方法其優(yōu)化效果有一定的改善。

3 支持向量回歸機(jī)參數(shù)方法性能特點(diǎn)比較

除以上列舉的群智能算法，國(guó)內(nèi)外學(xué)者還提出很多群智能算法用于優(yōu)化求解SVR模型的參數(shù)。每種算法都存在自身的優(yōu)缺點(diǎn)，傳統(tǒng)SVR參數(shù)優(yōu)化方法及上述所提出的五種群智能算法在參數(shù)優(yōu)化方面性能總結(jié)如表1所示。

表1 SVR參數(shù)方法性能比較Table 1 Performance comparison of parameter methods for SVR

傳統(tǒng)SVR參數(shù)優(yōu)化方法主要有交叉驗(yàn)證法、網(wǎng)格搜索法和梯度下降法。交叉驗(yàn)證法在優(yōu)化SVR參數(shù)中具有較穩(wěn)定的優(yōu)勢(shì)，卻存在計(jì)算量巨大、難以實(shí)現(xiàn)三個(gè)以上參數(shù)尋優(yōu)的缺陷，通常與其他算法進(jìn)行結(jié)合來(lái)優(yōu)化SVR參數(shù)。梯度下降法是從理論角度構(gòu)造優(yōu)化函數(shù)來(lái)實(shí)現(xiàn)SVR參數(shù)尋優(yōu)，收斂速度較快，但依賴初始值且要求目標(biāo)函數(shù)對(duì)參數(shù)可微。網(wǎng)格搜索法根據(jù)測(cè)試誤差值來(lái)修正參數(shù)，具有較強(qiáng)的并行搜索能力，倘若參數(shù)個(gè)數(shù)較多或參數(shù)的取值范圍較大，則該算法的計(jì)算成本較高，計(jì)算時(shí)間較長(zhǎng)。

群智能算法是在參數(shù)空間中使用不同的搜索方法以測(cè)試誤差值為依據(jù)調(diào)整搜索空間實(shí)現(xiàn)尋優(yōu)求解，它雖緩解了SVR參數(shù)選擇的困難，提升了模型的性能，但在優(yōu)化SVR參數(shù)領(lǐng)域中普遍存在的缺陷就是易發(fā)生早熟收斂現(xiàn)象和陷入局部最優(yōu)。此外各個(gè)算法還存在基于算法本身的不足之處，例如：粒子群算法的尋優(yōu)精度較高卻在后期的收斂速度緩慢；蝙蝠算法的搜索速度快但尋優(yōu)精度不高；果蠅優(yōu)化算法結(jié)構(gòu)簡(jiǎn)單易實(shí)現(xiàn)卻不能解決最優(yōu)值為負(fù)數(shù)的問(wèn)題，且對(duì)極值點(diǎn)不在零點(diǎn)的優(yōu)化問(wèn)題表現(xiàn)不夠好。各種算法的改進(jìn)算法都是針對(duì)算法本身存在的局限性，雖提升了算法的優(yōu)化效率，但不可避免地帶來(lái)其他問(wèn)題。例如改進(jìn)搜索機(jī)制的灰狼算法的運(yùn)行時(shí)間變長(zhǎng)，時(shí)間復(fù)雜度更高；混合鯨魚算法因參數(shù)個(gè)數(shù)增多導(dǎo)致系統(tǒng)開銷增加，時(shí)間復(fù)雜度更高。

4 結(jié)論與展望

本文主要敘述了幾種群智能算法優(yōu)化SVR模型參數(shù)的研究成果。SVR模型雖具備完善的理論基礎(chǔ)，但是卻存在參數(shù)選擇困難的問(wèn)題?，F(xiàn)階段，并沒(méi)有一套完善的理論指導(dǎo)體系實(shí)現(xiàn)SVR模型參數(shù)的尋優(yōu)求解。群智能算法因具有靈活性、簡(jiǎn)單易實(shí)現(xiàn)、魯棒性的特點(diǎn)，被成功地應(yīng)用到SVR模型參數(shù)優(yōu)化領(lǐng)域，以期達(dá)到提升SVR模型泛化性能的目的。然而在大數(shù)據(jù)時(shí)代，數(shù)據(jù)具有紛繁多樣、規(guī)模龐大的特點(diǎn)，利用群智能算法優(yōu)化支持向量回歸機(jī)模型對(duì)于這類樣本數(shù)據(jù)的處理結(jié)果并不理想。近些年，許多學(xué)者提出SVR的衍生算法[101-103]來(lái)提升SVR的性能，降低系統(tǒng)開銷，但其性能與參數(shù)選取有很大關(guān)聯(lián)。目前看來(lái)，在大數(shù)據(jù)時(shí)代基于群智能算法優(yōu)化SVR參數(shù)來(lái)實(shí)現(xiàn)提升模型的性能還存在一些有待解決的問(wèn)題，結(jié)合群智能算法和SVR的研究現(xiàn)狀，可以從以下三方面進(jìn)行改進(jìn)：

（1）通過(guò)加強(qiáng)群智能算法的數(shù)學(xué)理論來(lái)提升模型的性能。群智能算法是量化生物群體行為規(guī)律而形成的數(shù)學(xué)模型，因此沒(méi)有完善的數(shù)學(xué)理論基礎(chǔ)進(jìn)行支撐。這導(dǎo)致群智能算法沒(méi)有統(tǒng)一確切的理論依據(jù)設(shè)置參數(shù)，在處理實(shí)際問(wèn)題中依據(jù)經(jīng)驗(yàn)來(lái)確定，可能存在人為因素的誤差，同時(shí)導(dǎo)致其不具備絕對(duì)的可信性問(wèn)題。因此未來(lái)需加強(qiáng)算法的數(shù)學(xué)分析，對(duì)算法的數(shù)學(xué)模型加強(qiáng)相關(guān)的數(shù)學(xué)推導(dǎo)和證明，使得算法的機(jī)制更成熟，以期達(dá)到提升算法的性能和效率的目的。

（2）通過(guò)多核學(xué)習(xí)[104-106]來(lái)提升其性能。當(dāng)樣本數(shù)據(jù)含有異構(gòu)信息、數(shù)據(jù)規(guī)模龐大、數(shù)據(jù)分布不規(guī)則等特點(diǎn)時(shí)，單核支持向量回歸機(jī)容易造成樣本數(shù)據(jù)信息保留不完整，故其預(yù)測(cè)性能也不理想。因此采用多個(gè)基核函數(shù)的最優(yōu)線性凸組合形式的多核學(xué)習(xí)模型應(yīng)時(shí)而生。這不可避免地帶來(lái)了多核學(xué)習(xí)模型參數(shù)優(yōu)化難題，且目前沒(méi)有明確的理論依據(jù)來(lái)指導(dǎo)多核學(xué)習(xí)模型參數(shù)的優(yōu)化問(wèn)題。在未來(lái)的研究中，需要深入研究出一種高效且穩(wěn)定的算法來(lái)解決多核學(xué)習(xí)模型的優(yōu)化難題，從而提升模型的性能。

（3）通過(guò)改進(jìn)的群智能算法來(lái)提升模型的性能。群智能算法是一種有效的非線性參數(shù)優(yōu)化方法，然而在參數(shù)優(yōu)化過(guò)程中容易陷入局部最優(yōu)值和發(fā)生早熟收斂現(xiàn)象，其收斂性和穩(wěn)定性也有待改善，且目前仍無(wú)明確的依據(jù)來(lái)判斷算法是否跳出局部最優(yōu)值。群智能算法的改進(jìn)策略很多，但均未很好地解決這些問(wèn)題。大多改進(jìn)策略未同時(shí)考慮算法的尋參精度與收斂性。針對(duì)群智能算法的研究現(xiàn)狀，可以從以下三方面來(lái)緩解這些問(wèn)題：一是根據(jù)現(xiàn)有算法的局限性進(jìn)行改進(jìn)，比如參數(shù)的設(shè)置、種群多樣性、算法的搜索機(jī)制等，來(lái)提高算法的尋參效率和性能。例如改進(jìn)麻雀算法[107]的種群多樣性來(lái)提高算法的收斂速度和尋參精度。二是設(shè)計(jì)混合算法，考慮算法的特性，充分取長(zhǎng)補(bǔ)短，將群智能算法與多種算法進(jìn)行融合。比如將群智能算法與人體自身免疫機(jī)制、種群自適應(yīng)、和聲搜索算法等進(jìn)行混合。此外要注重算法的系統(tǒng)運(yùn)行成本，讓算法具備普適性。運(yùn)行成本是衡量算法優(yōu)劣的重要指標(biāo)，目前解決混合算法運(yùn)行成本過(guò)高的手段主要有并行搜索、嵌入式融合等[108-109]。并行搜索是通過(guò)提升算法的搜索效率達(dá)到降低算法運(yùn)行成本的目的；嵌入式融合提升算法的收斂速度以便更快找到最優(yōu)解，從而降低運(yùn)行成本。三是設(shè)計(jì)高效的新算法?，F(xiàn)階段的群智能算法主要是觀察研究低等生物個(gè)體通過(guò)某種生物特定的方式協(xié)作完成復(fù)雜的群體行為而獲得靈感提出的，因此在未來(lái)的研究中可以探索深究高等生物群體社會(huì)性的行為規(guī)律，從中獲得新的啟發(fā)。