摘 要：蛋白質(zhì)復(fù)合物的檢測(cè)有助于從分子水平上理解生命的活動(dòng)過(guò)程。針對(duì)群智能算法檢測(cè)蛋白質(zhì)復(fù)合物時(shí)假陽(yáng)/陰性率高、準(zhǔn)確率低、種群多樣性下降等問(wèn)題，提出了基于強(qiáng)化學(xué)習(xí)的離散層級(jí)螢火蟲(chóng)算法檢測(cè)蛋白質(zhì)復(fù)合物（reinforcement learning-based discrete level firefly algorithm for detecting protein complexes，RLDLFA-DPC）。引入強(qiáng)化學(xué)習(xí)思想提出一種自適應(yīng)層級(jí)劃分策略，動(dòng)態(tài)調(diào)整層級(jí)結(jié)構(gòu)，能有效解決迭代后期種群多樣性下降的問(wèn)題。在層級(jí)學(xué)習(xí)策略中個(gè)體向兩個(gè)優(yōu)秀層級(jí)學(xué)習(xí)，避免算法陷入局部最優(yōu)。為了提高蛋白質(zhì)復(fù)合物檢測(cè)的精度，結(jié)合個(gè)體環(huán)境信息提出自適應(yīng)搜索半徑的局部搜索策略。最后，在酵母蛋白質(zhì)的4個(gè)數(shù)據(jù)集上，與8種經(jīng)典的蛋白質(zhì)復(fù)合物檢測(cè)方法進(jìn)行對(duì)比，驗(yàn)證了該方法的有效性。

關(guān)鍵詞：蛋白質(zhì)復(fù)合物； 螢火蟲(chóng)算法； 強(qiáng)化學(xué)習(xí)； 層級(jí)學(xué)習(xí)策略； 局部搜索策略

中圖分類(lèi)號(hào)：TP301 文獻(xiàn)標(biāo)志碼：A 文章編號(hào)：1001-3695（2024）07-008-1977-06

doi：10.19734/j.issn.1001-3695.2023.11.0549

Reinforcement learning-based discrete level firefly algorithm fordetecting protein complexes

Abstract：Protein complexes play a crucial role in understanding life’s molecular activity process. Aiming at the problems of high false-positive/negative rate， low accuracy， and decrease in population diversity when detecting protein complexes by swarm intelligence algorithms， this paper proposed the RLDLFA-DPC. It introduced the idea of reinforcement learning to offer an adaptive level partition strategy that dynamically adjusted the level structure， solving the issue of declining population diversity in the late iteration. The algorithm also incorporated a level learning strategy where individuals learn from two excellent levels to avoid falling into a local optimum. Additionally， it utilized a local search strategy with an adaptive search radius in combination with individual and environmental information to improve the accuracy of protein complex detection. Finally， the effectiveness of the algorithm was verified by comparing it with eight classical protein complex detection methods on four datasets of saccharomyces cerevisiae proteins.

Key words：protein complex; firefly algorithm; reinforcement learning; level learning strategy; local search strategy

0 引言

蛋白質(zhì)復(fù)合物是由多個(gè)蛋白質(zhì)相互作用形成的大分子結(jié)構(gòu)，參與了細(xì)胞的各種生物學(xué)過(guò)程，如信號(hào)傳導(dǎo)、代謝調(diào)控和基因表達(dá)等，在細(xì)胞內(nèi)發(fā)揮著重要作用［1］。因此，準(zhǔn)確地檢測(cè)蛋白質(zhì)復(fù)合物對(duì)理解細(xì)胞內(nèi)的生物學(xué)過(guò)程以及相關(guān)疾病的研究至關(guān)重要［2］。在過(guò)去的幾十年里，研究者們提出了各種各樣的計(jì)算方法檢測(cè)蛋白質(zhì)復(fù)合物［3～5］，然而，受蛋白質(zhì)相互作用數(shù)據(jù)復(fù)雜性和噪聲的影響，它們?cè)趶?fù)雜生物系統(tǒng)中的應(yīng)用受到了限制。

為了克服這些挑戰(zhàn)，研究人員利用群智能優(yōu)化算法的高度自適應(yīng)性和良好的優(yōu)化能力，解決蛋白質(zhì)復(fù)合物檢測(cè)問(wèn)題。2019年，Lei等人［6］提出基于飛蛾撲火優(yōu)化算法的蛋白質(zhì)復(fù)合物檢測(cè)，利用逐層思想找到蛋白質(zhì)復(fù)合物的核心作為火焰，讓飛蛾在火焰周?chē)菪w行，形成復(fù)合物。同年，基于花授粉機(jī)制的蛋白質(zhì)復(fù)合物檢測(cè)算法［7］被提出，通過(guò)模擬尋找最佳授粉植物花粉的過(guò)程，利用改進(jìn)花授粉算法將外圍蛋白質(zhì)附著在相應(yīng)的核心上，生成蛋白質(zhì)復(fù)合物。2022年，Wang等人［8］提出了通過(guò)自適應(yīng)和聲搜索算法檢測(cè)具有多重屬性的蛋白質(zhì)復(fù)合物檢測(cè)方法，利用馬爾可夫聚類(lèi)算法挖掘蛋白質(zhì)復(fù)合物的核心，設(shè)計(jì)蛋白質(zhì)復(fù)合物形成策略來(lái)檢測(cè)附件蛋白質(zhì)，并開(kāi)發(fā)了一種自適應(yīng)和聲搜索算法來(lái)優(yōu)化算法的參數(shù)。

在眾多的群智能優(yōu)化算法中，螢火蟲(chóng)算法結(jié)構(gòu)簡(jiǎn)單、易于實(shí)現(xiàn)，自提出以來(lái)得到國(guó)內(nèi)外學(xué)者的廣泛關(guān)注［9］。2016年，Lei等人［10］提出了一種新的基于螢火蟲(chóng)算法的馬爾可夫聚類(lèi)方法，用于從蛋白質(zhì)相互作用網(wǎng)絡(luò)中檢測(cè)蛋白質(zhì)復(fù)合物。2018年，Jenghara等人［11］將動(dòng)態(tài)蛋白質(zhì)相互作用網(wǎng)絡(luò)構(gòu)造問(wèn)題轉(zhuǎn)換為優(yōu)化問(wèn)題，通過(guò)標(biāo)準(zhǔn)復(fù)合物和基因共表達(dá)的組合定義螢火蟲(chóng)算法中的吸引力函數(shù)，從而實(shí)現(xiàn)了蛋白質(zhì)相互作用網(wǎng)絡(luò)的構(gòu)造。同年，Zhang等人［12］提出了一種基于螢火蟲(chóng)算法的蛋白質(zhì)復(fù)合物挖掘新方法，定義了一種新的目標(biāo)函數(shù)來(lái)尋找高內(nèi)聚、低耦合的簇，最后對(duì)比了不同的蛋白質(zhì)聚類(lèi)方法。

雖然螢火蟲(chóng)算法在蛋白質(zhì)復(fù)合物的檢測(cè)過(guò)程中已經(jīng)取得了重大進(jìn)展，但是在這些檢測(cè)方法中，算法自身仍然存在缺陷，在檢測(cè)精度方面還有一定的提升空間。因此，提出了一種基于強(qiáng)化學(xué)習(xí)的離散層級(jí)螢火蟲(chóng)算法，旨在解決螢火蟲(chóng)算法多樣性不足，易陷入局部最優(yōu)、收斂性能不高，蛋白質(zhì)復(fù)合物檢測(cè)準(zhǔn)確性低的問(wèn)題。本文從以下三個(gè)方面進(jìn)行改進(jìn)：a）強(qiáng)化學(xué)習(xí)思想控制層級(jí)數(shù)，允許將種群劃分為多個(gè)層級(jí)，強(qiáng)化學(xué)習(xí)算法能夠根據(jù)問(wèn)題的復(fù)雜性和種群的性能動(dòng)態(tài)地選擇最佳的層級(jí)數(shù)，通過(guò)獎(jiǎng)勵(lì)和懲罰機(jī)制引導(dǎo)個(gè)體的行為，以便更好地探索搜索空間；b）層級(jí)學(xué)習(xí)策略通過(guò)向兩個(gè)更優(yōu)秀的層級(jí)移動(dòng)，實(shí)現(xiàn)了跨層級(jí)的交流，增加了搜索空間的多樣性，避免算法過(guò)早陷入局部最優(yōu)解；c）在層級(jí)內(nèi)引入局部搜索策略，以便個(gè)體在同一層級(jí)內(nèi)能夠更好地合作和學(xué)習(xí)，有助于改善算法的性能、加速收斂速度、提高算法的魯棒性。

1 基礎(chǔ)知識(shí)介紹

1.1 螢火蟲(chóng)算法

螢火蟲(chóng)算法（firefly algorithm，F(xiàn)A）是一種模擬自然界中螢火蟲(chóng)發(fā)光機(jī)制的隨機(jī)優(yōu)化算法［13］。為了構(gòu)建FA的數(shù)學(xué)模型，使用了以下三個(gè)理想化準(zhǔn)則：a）算法中的所有螢火蟲(chóng)不區(qū)分性別；b）螢火蟲(chóng)之間的吸引力和亮度成正比；c）螢火蟲(chóng)的亮度與目標(biāo)函數(shù)成正比。

定義1 吸引力。螢火蟲(chóng)j對(duì)i的吸引力定義為

其中：β0為最大吸引力，即在光源處（r=0）螢火蟲(chóng)的吸引力；γ為光吸收系數(shù)；rij為螢火蟲(chóng)i到j(luò)的笛卡爾距離：

定義2 位置更新。由于螢火蟲(chóng)i被j吸引，螢火蟲(chóng)i向其移動(dòng)并更新自己的位置，更新公式為

其中：t是算法的迭代次數(shù)；為隨機(jī)項(xiàng)系數(shù)；εi是由高斯分布、均勻分布得到的隨機(jī)數(shù)。

1.2 強(qiáng)化學(xué)習(xí)

強(qiáng)化學(xué)習(xí)（reinforcement learning，RL）是一種強(qiáng)大的機(jī)器學(xué)習(xí)方法［14，15］，其核心思想在于智能體（agent）通過(guò)與環(huán)境（environment）的互動(dòng)，逐漸學(xué)會(huì)在各種情境下作出決策，以最大化累積的獎(jiǎng)勵(lì)達(dá)成特定目標(biāo)。不同于傳統(tǒng)的監(jiān)督學(xué)習(xí)，強(qiáng)化學(xué)習(xí)無(wú)須依賴(lài)事先標(biāo)記好的訓(xùn)練數(shù)據(jù)，而是通過(guò)實(shí)驗(yàn)不同的行為路徑來(lái)探索并學(xué)習(xí)最優(yōu)策略。這使得強(qiáng)化學(xué)習(xí)在許多實(shí)際問(wèn)題中具有很高的適用性，尤其是在涉及復(fù)雜決策和不確定性的問(wèn)題。由于強(qiáng)化學(xué)習(xí)可以通過(guò)學(xué)習(xí)策略實(shí)現(xiàn)自適應(yīng)調(diào)整，研究者們將強(qiáng)化學(xué)習(xí)與進(jìn)化算法（evolutionary algorithm，EA）結(jié)合起來(lái)，使用RL處理棘手的策略選擇或參數(shù)設(shè)置問(wèn)題［16～18］。盡管EA與RL的結(jié)合在優(yōu)化問(wèn)題中已經(jīng)取得了顯著的成果，但在FA的應(yīng)用中仍然有待深入研究。螢火蟲(chóng)算法通常用于解決復(fù)雜的連續(xù)優(yōu)化問(wèn)題，目標(biāo)是尋找參數(shù)或變量的最優(yōu)組合。強(qiáng)化學(xué)習(xí)的一個(gè)優(yōu)勢(shì)是可以處理離散決策問(wèn)題，這些問(wèn)題通常涉及到更復(fù)雜的狀態(tài)空間和動(dòng)作空間。將強(qiáng)化學(xué)習(xí)與螢火蟲(chóng)算法結(jié)合，可以擴(kuò)展其適用范圍，使其更適合解決不同類(lèi)型的問(wèn)題。

2 基于強(qiáng)化學(xué)習(xí)的離散層級(jí)螢火蟲(chóng)算法

蛋白質(zhì)復(fù)合物檢測(cè)是生物信息學(xué)領(lǐng)域的一個(gè)重要問(wèn)題，旨在檢測(cè)生物系統(tǒng)中相互作用的蛋白質(zhì)復(fù)合物。通常情況下，每個(gè)蛋白質(zhì)由多個(gè)特征（如結(jié)構(gòu)特征、功能特征等）表示，這樣會(huì)導(dǎo)致計(jì)算復(fù)雜度大大增加，容易出現(xiàn)維數(shù)災(zāi)難問(wèn)題。隨著維度的增加，搜索空間的大小以指數(shù)方式擴(kuò)展和復(fù)雜化，巨大的搜索空間要求較高的搜索效率，使得標(biāo)準(zhǔn)螢火蟲(chóng)算法很難在合理的時(shí)間內(nèi)找到最優(yōu)解。因此，為了更有效地檢測(cè)蛋白質(zhì)復(fù)合物，提出了基于強(qiáng)化的離散層級(jí)螢火蟲(chóng)算法。

2.1 編碼方式

蛋白質(zhì)復(fù)合物是由n個(gè)蛋白質(zhì)構(gòu)成的集合，每個(gè)蛋白質(zhì)都有唯一的索引，編碼方式使用n維的二進(jìn)制向量來(lái)表示每個(gè)螢火蟲(chóng)的位置。對(duì)于每個(gè)螢火蟲(chóng)，向量的第i個(gè)元素為1，則表示第i個(gè)蛋白質(zhì)是該復(fù)合物的一部分；否則，該元素為0。假設(shè)有五個(gè)蛋白質(zhì)節(jié)點(diǎn)（P1，P2，P3，P4，P5），一個(gè)可能的編碼是“11001”，表示P1、P2和P5在復(fù)合物中，而P3和P4不在復(fù)合物中。

2.2 層級(jí)劃分

如果螢火蟲(chóng)都被亮度最高的螢火蟲(chóng)吸引，會(huì)導(dǎo)致種群的多樣性不足。為了解決上述問(wèn)題，按照適應(yīng)度值將螢火蟲(chóng)種群分層。通常認(rèn)為，適應(yīng)度越好的個(gè)體，越有可能開(kāi)發(fā)有希望的區(qū)域；較差適應(yīng)度的個(gè)體具有更好的探索能力。這樣的分層結(jié)構(gòu)可以使FA更好地平衡搜索的全局性和局部性，從而提高搜索效率和解的質(zhì)量，增加種群的多樣性。

假設(shè)種群規(guī)模為N，按照適應(yīng)度值將種群平均劃分為L(zhǎng)個(gè)層級(jí)。其中，L1是最高的層級(jí)。每個(gè)層級(jí)的個(gè)體數(shù)為M=N/L，最后一個(gè)層級(jí)的個(gè)體數(shù)為N/L+N%L。

2.3 強(qiáng)化學(xué)習(xí)思想控制層級(jí)數(shù)

為了保持種群的多樣性，RLDLFA-DPC采用基于層級(jí)的種群結(jié)構(gòu)。強(qiáng)化學(xué)習(xí)算法能夠根據(jù)問(wèn)題的復(fù)雜性和種群的性能動(dòng)態(tài)地選擇最佳的層級(jí)數(shù)，通過(guò)獎(jiǎng)勵(lì)和懲罰機(jī)制引導(dǎo)個(gè)體的行為，以便更好地探索搜索空間。因此，RLDLFA-DPC采用強(qiáng)化學(xué)習(xí)思想控制種群的層級(jí)數(shù)。

每一次迭代結(jié)束后，層級(jí)數(shù)都會(huì)被更新。設(shè)置獎(jiǎng)勵(lì)表和Q-table，定義狀態(tài)和動(dòng)作為層級(jí)數(shù)。獎(jiǎng)勵(lì)表初始值為0，Q-table初始值設(shè)置為隨機(jī)值。獎(jiǎng)勵(lì)表通過(guò)適應(yīng)度值更新，Q-table通過(guò)獎(jiǎng)懲機(jī)制更新。在優(yōu)化期間，當(dāng)隨機(jī)數(shù)大于探索因子，即rand>ε時(shí)，根據(jù)Q-table中的Q值選擇具有最高預(yù)期獎(jiǎng)勵(lì)的動(dòng)作，以利用已有的知識(shí)；反之，以一定的探索概率隨機(jī)選擇動(dòng)作，以探索新的層級(jí)數(shù)。具體公式如下：

其中：arandom是種群在當(dāng)前狀態(tài)中可以采取的任何動(dòng)作；Argmax［·］表示具有最高Q值的動(dòng)作；Lnum是層級(jí)數(shù)，為了保持學(xué)習(xí)策略的有效性，劃分的層級(jí)至少為3。

在受到獎(jiǎng)勵(lì)后，為了保持動(dòng)作選擇策略的有效性，強(qiáng)化學(xué)習(xí)策略將通過(guò)以下規(guī)則更新其Q值：

Q（s，a）=Q（s，a）+α·（r+γ·maxQ（snext，anext）-Q（s，a））（6）

其中：Q（s，a）為當(dāng)前狀態(tài)s采取動(dòng)作a后的Q值；snext、anext為下一狀態(tài)和下一動(dòng)作，r為采取當(dāng)前動(dòng)作后的獎(jiǎng)勵(lì)值，如果新的適應(yīng)度值大于當(dāng)前的適應(yīng)度值，r=1，反之，r=-1;γ為折現(xiàn)因子；α為學(xué)習(xí)率。圖1是獎(jiǎng)勵(lì)表和Q-table更新示例圖，其中，行表示狀態(tài)，列表示動(dòng)作。當(dāng)前種群劃分的層級(jí)數(shù)為4，即L1、L2、L3、L4。α=0.1，γ=0.9。假設(shè)在狀態(tài)L2執(zhí)行動(dòng)作L2，r=-1，Q（L2，L2）=0.4+0.1×（-1+0.9×max（-0.1，0.4，-0.2，0.3）-0.4）=0.296。

算法1 強(qiáng)化學(xué)習(xí)思想控制層級(jí)數(shù)

2.4 層級(jí)學(xué)習(xí)策略

在FA中，個(gè)體之間的移動(dòng)是通過(guò)光強(qiáng)度吸引的方式實(shí)現(xiàn)的，即個(gè)體向光強(qiáng)度較高的個(gè)體移動(dòng)，以實(shí)現(xiàn)全局搜索和優(yōu)化。然而，如果整個(gè)種群中的個(gè)體都朝向光強(qiáng)度最高的個(gè)體移動(dòng)，可能會(huì)導(dǎo)致算法陷入局部最優(yōu)解。因此，引入層級(jí)學(xué)習(xí)策略，通過(guò)從隨機(jī)選擇的兩個(gè)優(yōu)秀層級(jí)中隨機(jī)選擇兩個(gè)個(gè)體進(jìn)行學(xué)習(xí)，引入了隨機(jī)性和多樣性，有助于防止所有個(gè)體都朝向相同的方向移動(dòng)，增加了算法的多樣性，從而避免算法過(guò)早陷入局部最優(yōu)解。

在RLDLFA-DPC中，螢火蟲(chóng)的移動(dòng)由兩個(gè)動(dòng)作決定：吸引力β和參數(shù)α。螢火蟲(chóng)Xi向螢火蟲(chóng)Xj和Xk移動(dòng)的定義如式（7）所示。

2.5 局部搜索策略

層級(jí)學(xué)習(xí)策略是一種通過(guò)在不同層級(jí)的個(gè)體之間進(jìn)行學(xué)習(xí)來(lái)提高算法性能的方法。雖然這種策略可以促進(jìn)跨層級(jí)的信息交流，但忽略了層級(jí)內(nèi)部的學(xué)習(xí)，從而限制了層級(jí)內(nèi)部的搜索能力。為了克服上述缺陷，考慮在層級(jí)內(nèi)引入局部搜索策略，以便個(gè)體在同一層級(jí)內(nèi)能夠更好地合作和學(xué)習(xí)。層級(jí)內(nèi)引入局部搜索策略可以提供更多的搜索焦點(diǎn)，有助于改善算法的性能、加速收斂速度、提高算法的魯棒性。

對(duì)于每個(gè)層級(jí)內(nèi)的個(gè)體，引入局部搜索策略，以便更好地探索局部解空間。首先，為每個(gè)個(gè)體定義一個(gè)自適應(yīng)的局部搜索半徑，該半徑?jīng)Q定了個(gè)體在局部搜索時(shí)應(yīng)該關(guān)注的鄰域范圍，可以根據(jù)個(gè)體和環(huán)境的信息進(jìn)行動(dòng)態(tài)調(diào)整。以下是局部搜索半徑的定義公式：

Ri=η·max（f）fi·‖Xg-Xi‖（11）

其中：Ri是個(gè)體i的局部搜索半徑；fi是個(gè)體i的適應(yīng)度值；max（f）是當(dāng)前層級(jí)中適應(yīng)度值的最大值；Xg是個(gè)體i當(dāng)前位置Xi周?chē)顑?yōu)解的位置；η是一個(gè)控制參數(shù)，用于調(diào)整局部搜索半徑的大小。

其中：Generation是當(dāng)前迭代的代數(shù);MaxGenerations是算法允許的最大代數(shù)。初始時(shí)，η較大，允許更廣泛的搜索，隨著代數(shù)的增加，η逐漸減小，從而限制局部搜索半徑的范圍，促使算法更加聚焦于局部搜索。這種動(dòng)態(tài)調(diào)整η的方式可以使算法在早期探索解空間的廣度，在后期更專(zhuān)注于深度搜索。

螢火蟲(chóng)個(gè)體i的位置為Xi，在局部搜索時(shí)，更新個(gè)體i的位置，使其朝向隨機(jī)選擇的個(gè)體j移動(dòng)。位置更新公式如式（13）所示。

Xi=g（f（Xi，Xj，β），α）（13）

2.6 算法整體流程

綜合以上對(duì)RLDLFA-DPC各階段的討論，下面將詳細(xì)闡述整體運(yùn)行流程。

a）初始化參數(shù)：種群規(guī)模為N，按照適應(yīng)度值將種群平均劃分為層級(jí)數(shù)為L(zhǎng)，當(dāng)前迭代次數(shù)t，最大迭代次數(shù)Tmax。

b）創(chuàng)建初始種群：根據(jù)初始化參數(shù)，隨機(jī)生成初始種群，每個(gè)個(gè)體代表一個(gè)可能的蛋白質(zhì)復(fù)合物結(jié)構(gòu)。

c）計(jì)算適應(yīng)度值：對(duì)于每個(gè)個(gè)體，利用F-measure評(píng)估函數(shù)計(jì)算其適應(yīng)度值。

d）進(jìn)行層級(jí)劃分：使用強(qiáng)化學(xué)習(xí)思想動(dòng)態(tài)地控制層級(jí)數(shù)，通過(guò)獎(jiǎng)勵(lì)和懲罰機(jī)制引導(dǎo)個(gè)體的行，選擇最佳的層級(jí)數(shù)，通過(guò)式（5）更新層級(jí)數(shù)，通過(guò)式（6）更新Q-table。

e）層級(jí)學(xué)習(xí)策略：根據(jù)個(gè)體的適應(yīng)度，向兩個(gè)更優(yōu)秀的層級(jí)學(xué)習(xí)。

f）層級(jí)內(nèi)的局部搜索：在每個(gè)層級(jí)內(nèi)，引入局部搜索策略，使用鄰域搜索算法對(duì)每個(gè)個(gè)體進(jìn)行局部?jī)?yōu)化。

g）更新螢火蟲(chóng)位置：根據(jù)層級(jí)學(xué)習(xí)策略位置更新式（7）和局部搜索策略位置更新式（13），更新個(gè)體的位置。

h）重復(fù)步驟c）～g），直到達(dá)到最大迭代次數(shù)。

i）輸出最優(yōu)解：在算法停止后，根據(jù)適應(yīng)度值選擇最優(yōu)的蛋白質(zhì)復(fù)合物解作為輸出。

3 仿真實(shí)驗(yàn)及結(jié)果分析

3.1 復(fù)雜度分析

a）層級(jí)劃分：這一步涉及將種群劃分為L(zhǎng)個(gè)層級(jí)，所以時(shí)間復(fù)雜度是O（L）。

b）獎(jiǎng)勵(lì)表和Q-table的更新：Q-Learning涉及獎(jiǎng)勵(lì)表和Q-table的更新，涉及狀態(tài)和動(dòng)作的組合，所以其更新的時(shí)間復(fù)雜度為O（L2）。

c）層級(jí)學(xué)習(xí)策略：在隨機(jī)選擇的層級(jí)中，隨機(jī)選擇兩個(gè)個(gè)體進(jìn)行學(xué)習(xí)，時(shí)間復(fù)雜度取決于隨機(jī)選擇的次數(shù)，通?？梢钥醋魇荗（1）。

d）局部搜索策略：計(jì)算每個(gè)個(gè)體的局部搜索半徑涉及到個(gè)體的位置信息和環(huán)境信息，計(jì)算位置信息的復(fù)雜度為O（1），計(jì)算環(huán)境信息的復(fù)雜度可以表示為 O（N）。

綜合以上各步驟，整個(gè)算法的時(shí)間復(fù)雜度主要由Q-Learning更新部分和局部搜索策略部分決定，所以總體時(shí)間復(fù)雜度可以近似表示為O（L2）+O（N）。

3.2 參數(shù)設(shè)置

參數(shù)設(shè)置對(duì)算法性能起著至關(guān)重要的作用。根據(jù)RLDLFA-DPC的描述，算法中需要確定的關(guān)鍵參數(shù)為探索因子ε。在優(yōu)化期間，當(dāng)rand>ε時(shí)，根據(jù)Q-table中的Q值選擇具有最高預(yù)期獎(jiǎng)勵(lì)的動(dòng)作；反之，以一定的探索概率隨機(jī)選擇動(dòng)作，以探索新的層級(jí)數(shù)。本研究使用Friedman檢驗(yàn)來(lái)確定最優(yōu)的探索因子，設(shè)置ε的取值為{0.1，0.2，0.3，0.4，0.5，0.6，0.7，0.8，0.9}，選擇四種不同類(lèi)型的基準(zhǔn)函數(shù)進(jìn)行測(cè)試，通過(guò)這些函數(shù)測(cè)試不同ε下RLDLFA-DPC的收斂性能。如表1所示，均秩值越小，說(shuō)明算法的整體優(yōu)化性能越好。從實(shí)驗(yàn)結(jié)果可以看出，當(dāng)ε=0.7時(shí)，函數(shù)的均秩最小，因此RLDLFA-DPC的探索因子ε設(shè)置為0.7。

3.3 策略有效性分析

RLDLFA-DPC采用層級(jí)劃分、強(qiáng)化學(xué)習(xí)控制層級(jí)數(shù)、層級(jí)學(xué)習(xí)策略和局部搜索策略改善FA。為了研究每種策略的效果，使用四種不同類(lèi)型的測(cè)試函數(shù)來(lái)測(cè)試當(dāng)使用不同策略組合時(shí)，算法的優(yōu)化結(jié)果。策略組合如表2所示。為了公平起見(jiàn)，五種方法中的參數(shù)都設(shè)置為相同值。

表3展示了使用不同策略組合算法的實(shí)驗(yàn)對(duì)比結(jié)果。最優(yōu)結(jié)果用粗體表示。從表中可以看出，在相同的參數(shù)設(shè)置下， FA、FA_L、FA_RL、FA_RL_S、RLDLFA-DPC的性能越來(lái)越好，RLDLFA-DPC在所有測(cè)試函數(shù)的性能最優(yōu)， FA_L、FA_RL和FA_RL_S的性能也都優(yōu)于FA。這表明采用層級(jí)劃分、強(qiáng)化學(xué)習(xí)思想控制層級(jí)、層級(jí)學(xué)習(xí)策略和局部搜索策略改善FA是有效的，也證明了RLDLFA-DPC方法的有效性。

為了直觀地比較每個(gè)策略組合算法的性能，表4展示了不同策略組合算法的Friedman測(cè)試結(jié)果?？梢钥闯?，測(cè)試結(jié)果與上述分析一致，RLDLFA-DPC方法的性能最好。圖3中給出了每種算法優(yōu)化結(jié)果的收斂圖。從圖中可以看出，改進(jìn)后的方法在收斂性上都優(yōu)于FA，RLDLFA-DPC收斂性能最好。

3.4 實(shí)驗(yàn)數(shù)據(jù)和評(píng)價(jià)指標(biāo)

本文將改進(jìn)的基于強(qiáng)化學(xué)習(xí)的離散層級(jí)螢火蟲(chóng)算法應(yīng)用到蛋白質(zhì)復(fù)合物檢測(cè)的過(guò)程中，采用釀酒酵母（saccharomyces cerevisiae）的數(shù)據(jù)集DIP［19］、Gavin［20］、Krogan［21］和MIPS［22］進(jìn)行測(cè)試。采用的標(biāo)準(zhǔn)數(shù)據(jù)集是CYC2008［23］，該數(shù)據(jù)集包含408個(gè)蛋白質(zhì)復(fù)合物。

為了評(píng)估檢測(cè)出的蛋白質(zhì)復(fù)合物的性能，使用常見(jiàn)的三種統(tǒng)計(jì)評(píng)估方法，即準(zhǔn)確率precision、查全率recall和調(diào)和平均值F-measure［24］。這些評(píng)價(jià)指標(biāo)的取值都在［0.0，1.0］，它們的值越高，說(shuō)明檢測(cè)方法的性能越好，也從側(cè)面反映出該方法檢測(cè)蛋白質(zhì)復(fù)合物的性能更優(yōu)異。這三個(gè)評(píng)價(jià)指標(biāo)的計(jì)算公式為

其中：TP是指算法檢測(cè)出來(lái)的蛋白質(zhì)復(fù)合物和標(biāo)準(zhǔn)蛋白質(zhì)復(fù)合物相匹配的個(gè)數(shù)；FP是指算法檢測(cè)出來(lái)的蛋白質(zhì)復(fù)合物和標(biāo)準(zhǔn)蛋白質(zhì)復(fù)合物不匹配的個(gè)數(shù)；FN是標(biāo)準(zhǔn)蛋白質(zhì)復(fù)合物中沒(méi)有被檢測(cè)出的蛋白質(zhì)復(fù)合物個(gè)數(shù)；F-measure是precision和recall的調(diào)和平均值。

3.5 性能對(duì)比

為了測(cè)試RLDLFA-DPC方法的性能，采用10種經(jīng)典的蛋白質(zhì)復(fù)合物檢測(cè)方法MCL［25］、MCODE［26］、ClusterONE［27］、CSO［28］、CORE［29］、COACH［30］、EWCA［31］、NLPGE-WPN［32］、MP-AHSA［8］和LCDA［33］在四個(gè)數(shù)據(jù)集上進(jìn)行對(duì)比。同時(shí)為了更加清晰地對(duì)比蛋白質(zhì)復(fù)合物的檢測(cè)結(jié)果，表5對(duì)比RLDLFA-DPC與10種經(jīng)典方法在四個(gè)數(shù)據(jù)集上的性能。表5中，RLDLFA-DPC方法和實(shí)驗(yàn)結(jié)果排名前三的上標(biāo)處注明排名。實(shí)驗(yàn)結(jié)果顯示，RLDLFA-DPC方法在MIPS數(shù)據(jù)集上的precision、recall和F-measure評(píng)價(jià)指標(biāo)都優(yōu)于其他蛋白質(zhì)復(fù)合物檢測(cè)方法。在Gavin和DIP數(shù)據(jù)集上precision、recall和F-measure都處于領(lǐng)先地位。在Krogan數(shù)據(jù)集上，precision的值雖然略微落后于其他方法，但是F-measure優(yōu)于其他方法。綜合分析，RLDLFA-DPC方法比其他蛋白質(zhì)復(fù)合物檢測(cè)方法更能有效地檢測(cè)蛋白質(zhì)復(fù)合物。

3.6 與已知蛋白質(zhì)復(fù)合物比較

為了更好地展示算法性能的優(yōu)劣，更加清楚地展示RLDLFA-DPC方法檢測(cè)結(jié)果的準(zhǔn)確性，對(duì)比分析CYC2008標(biāo)準(zhǔn)蛋白質(zhì)復(fù)合物中第265個(gè)蛋白質(zhì)復(fù)合物和RLDLFA-DPC與其他四種方法在Krogan數(shù)據(jù)集上的檢測(cè)結(jié)果。該標(biāo)準(zhǔn)蛋白質(zhì)復(fù)合物有YNL232W、YOL021C、YHR081W、YGR158C、YHR069C、YOL142W、YDL111C、YCR035C、YDR280W、YGR095C、YOR001W、YGR195W 12個(gè)蛋白質(zhì)節(jié)點(diǎn)。

圖4展示了已知蛋白質(zhì)復(fù)合物、RLDLFA-DPC和其他四種方法的檢測(cè)結(jié)果的可視化分析圖。藍(lán)色節(jié)點(diǎn)是正確檢測(cè)的蛋白質(zhì)，綠色節(jié)點(diǎn)是未檢測(cè)出的蛋白質(zhì)，粉色節(jié)點(diǎn)是錯(cuò)誤檢測(cè)出的蛋白質(zhì)。如圖4所示，CORE方法檢測(cè)效率比較低，僅正確檢測(cè)出2種標(biāo)準(zhǔn)蛋白質(zhì)，MCODE和ClusterONE方法檢測(cè)效率有所提升，分別正確檢測(cè)出6種標(biāo)準(zhǔn)蛋白質(zhì)和9種標(biāo)準(zhǔn)蛋白質(zhì)，相較于前面幾種方法，EWCA方法的檢測(cè)結(jié)果更佳，正確檢測(cè)出了11種標(biāo)準(zhǔn)蛋白質(zhì)，但也錯(cuò)誤地檢測(cè)出了其他2種蛋白質(zhì)。在RLDLFA-DPC方法的檢測(cè)結(jié)果中，12種標(biāo)準(zhǔn)蛋白質(zhì)全部被檢測(cè)出來(lái)，并且沒(méi)有錯(cuò)誤地檢測(cè)出其他的蛋白質(zhì)。因此，RLDLFA-DPC方法在蛋白質(zhì)復(fù)合物的檢測(cè)過(guò)程中取得了最佳性能。

4 結(jié)束語(yǔ)

蛋白質(zhì)復(fù)合物的檢測(cè)在生物醫(yī)學(xué)中具有重要的意義，RLDLFA_DPC方法能有效提高蛋白質(zhì)復(fù)合物檢測(cè)的效率和精度。該方法引入強(qiáng)化學(xué)習(xí)思想動(dòng)態(tài)調(diào)整種群層級(jí)數(shù)量，能更好地增強(qiáng)種群多樣性。在迭代過(guò)程中，層級(jí)學(xué)習(xí)策略促使個(gè)體向兩個(gè)優(yōu)秀層級(jí)學(xué)習(xí)，實(shí)現(xiàn)了跨層級(jí)學(xué)習(xí)，避免算法陷入局部最優(yōu)解。通過(guò)個(gè)體和環(huán)境信息設(shè)置局部搜索半徑，自適應(yīng)半徑的局部搜索策略可以對(duì)局部空間進(jìn)行充分探索，實(shí)現(xiàn)同一層級(jí)個(gè)體的交流與協(xié)作，提高蛋白質(zhì)復(fù)合物檢測(cè)精度和收斂速度。實(shí)驗(yàn)結(jié)果表明，RLDLFA_DPC相較于傳統(tǒng)方法，能夠更有效地發(fā)現(xiàn)復(fù)合物結(jié)構(gòu)，具有更高的檢測(cè)準(zhǔn)確性和更快的收斂性能。該方法還具有廣泛的應(yīng)用價(jià)值，未來(lái)的研究將進(jìn)一步探索群體智能方法在不同領(lǐng)域的應(yīng)用潛力，也可以結(jié)合機(jī)器學(xué)習(xí)和深度學(xué)習(xí)更有效地發(fā)現(xiàn)復(fù)合物結(jié)構(gòu)。

參考文獻(xiàn)：

［1］Javad Z， Abbasali E， Samaneh B， et al. Protein complex prediction： a survey［J］. Genomics， 2020，112（1）： 174-183.

［2］王金雷， 丁學(xué)明， 秦琪琪， 等. 基于協(xié)同進(jìn)化信息和深度學(xué)習(xí)的蛋白質(zhì)功能預(yù)測(cè)［J］. 計(jì)算機(jī)應(yīng)用研究， 2023，40（12）： 3572-3577. （Wang Jinlei， Ding Xueming， Qin Qiqi， et al. Protein function prediction based on coevolutionary information and deep learning［J］.Application Research of Computers， 2023，40（12）： 3572-3577.）

［3］Chen Bo， Xie Ziwei， Qiu Jiezhong， et al. Improved the heterodimer protein complex prediction with protein language models［J/OL］. Briefings in Bioinformatics， 2023，24（4）. https：//doi.org/10.1093/bib/bbad221.

［4］Liu Guangming， Liu Bo， Aimin Li， et al. Identifying protein complexes with clear module structure using pairwise constraints in protein interaction networks［J］. Frontiers in Genetics， 2021， 12： 664786.

［5］Wang Jie， Jia Ying， Sangaiah A K， et al. A network clustering algorithm for protein complex detection fused with power-law distribution characteristic［J］. Electronics， 2023，12（14）： 3007.

［6］Lei Xiujuan， Fang Ming， Fujita H. Moth-flame optimization-based algorithm with synthetic dynamic PPI networks for discovering protein complexes［J］. Knowledge-Based Systems， 2019，172： 76-85.

［7］Lei Xiujuan， Fang Ming， Guo Ling， et al. Protein complex detection based on flower pollination mechanism in multi-relation reconstructed dynamic protein networks［J］. BMC Bioinformatics， 2019，20（3）： 131.

［8］Wang Rongquan， Wang Caixia， Ma Huimin. Detecting protein complexes with multiple properties by an adaptive harmony search algorithm［J］. BMC Bioinformatics， 2022，23（1）： 414.

［9］Cheng Zhiwen， Song Haohao， Zheng Debin， et al. Hybrid firefly algorithm with a new mechanism of gender distinguishing for global optimization［J］. Expert Systems with Applications， 2023，224： 120027.

［10］Lei Xiujuan， Wang Fei， Wu Fangxiang， et al. Protein complex identification through Markov clustering with firefly algorithm on dynamic protein-protein interaction networks［J］. Information Sciences， 2016， 329： 303-316.

［11］Jenghara M M， Ebrahimpour-Komleh H， Parvin H. Dynamic protein-protein interaction networks construction using firefly algorithm［J］. Pattern Analysis and Applications， 2018， 21： 1067-1081.

［12］Zhang Yuchen， Lei Xiujuan， Tan Ying. Firefly clustering method for mining protein complexes［C］//Proc of the 8th International Confe-rence on Swarm Intelligence. Cham：Springer， 2017： 601-610.

［13］Yang Xinshe. Nature-inspired metaheuristic algorithms［M］.［S.l.］：Luniver Press， 2010.

［14］Wang Ling， Pan Zixiao， Wang Jingjing. A review of reinforcement learning based intelligent optimization for manufacturing scheduling［J］. Complex System Modeling and Simulation， 2021，1（4）： 257-270.

［15］Meng Xiaoding，Li Hecheng，Chen Anshan. Multi-strategy self-learning particle swarm optimization algorithm based on reinforcement learning［J］. Mathematical Biosciences and Engineering， 2023，20（5）： 8498-8530.

［16］Wu Di， Wang Shuang， Liu Qingxin， et al. An improved teaching-learning-based optimization algorithm with reinforcement learning strategy for solving optimization problems［J］. Computational Intelligence and Neuroscience， 2022， 2022： article ID 1535957.

［17］Wang Feng，Wang Xujie，Wang Shilei. A reinforcement learning level-based particle swarm optimization algorithm for large-scale optimization［J］. Information Sciences， 2022， 602： 298-312.

［18］Wang Zijia， Zhan Zhihui， Yu Weijie， et al. Dynamic group learning distributed particle swarm optimization for large-scale optimization and its application in cloud workflow scheduling［J］. IEEE Trans on Cybernetics， 2019，50（6）： 2715-2729.

［19］Salwínski L， Miller C S， Smith A J， et al. The database of interacting proteins： 2004 update［J］. Nucleic acids research， 2004， 32（S1）： D449-D451.

［20］Gavin A C， Aloy P， Grandi P， et al. Proteome survey reveals modularity of the yeast cell machinery［J］. Nature， 2006，440（7084）： 631-636.

［21］Krogan N J， Cagney G， Yu Haiyuan， et al. Global landscape of protein complexes in the yeast Saccharomyces cerevisiae［J］. Nature， 2006， 440（7084）： 637-643.

［22］Güldener U， Münsterktter M， Oesterheld M，et al. MPact： the MIPS protein interaction resource on yeast［J］. Nucleic Acids Research， 2006， 34（S1）： D436-D441.

［23］Pu Shuye， Wong J， Turner B， et al. Up-to-date catalogues of yeast protein complexes［J］. Nucleic Acids Research， 2009， 37（3）： 825-831.

［24］Younis H， Anwar M W， Khan M U G， et al. A new sequential forward feature selection（SFFS） algorithm for mining best topological and biological features to predict protein complexes from protein-protein interaction networks（PPINs）［J］. Interdisciplinary Sciences： Computational Life Sciences， 2021，13（3）： 371-388.

［25］Enright A J， Van Dongen S， Ouzounis C A. An efficient algorithm for large-scale detection of protein families［J］. Nucleic Acids Research， 2002， 30（7）： 1575-1584.

［26］Bader G D， Hogue C W V. An automated method for finding molecular complexes in large protein interaction networks［J］. BMC Bioinformatics， 2003，4（1）： article No.2.

［27］Wang Jianxin， Li Min， Chen Jian’er， et al. A fast hierarchical clustering algorithm for functional modules discovery in protein interaction networks［J］. IEEE/ACM Trans on Computational Biology and Bioinformatics， 2010，8（3）： 607-620.

［28］Zhang Yijia， Lin Hongfei， Yang Zhihao， et al. Protein complex prediction in large ontology attributed protein-protein interaction networks［J］. IEEE/ACM Trans on Computational Biology & Bioinformatics， 2013，10（3）： 729-741.

［29］Leung H C M， Xiang Qian， Yiu S M， et al. Predicting protein complexes from PPI data a core-attachment approach［J］. Journal of Computational Biology， 2009，16（2）：133-144.

［30］Wu Min， Li Xiaoli， Kwoh C K， et al. A core-attachment based method to detect protein complexes in PPI networks［J］. BMC Bioinforma-tics， 2009， 10（1）： article No.169.

［31］Wang Rongquan， Liu Guixia， Wang Caixia. Identifying protein complexes based on an edge weight algorithm and core-attachment structure［J］. BMC Bioinformatics， 2019，20（1）： article No.471.

［32］Yu Yang， Kong Dezhou. Protein complexes detection based on node local properties and gene expression on PPI weighted networks［J］. BMC Bioinformatics， 2022，23： article No.24.

［33］Dilmaghani S， Brust M R， Ribeiro C H C， et al. From communities to protein complexes： a local community detection algorithm on PPI networks［J］. PLoS One， 2022，17（1）： e0260484.