姜海涵，馮秋妍

(1.中國(guó)人民武裝警察部隊(duì)遼寧省總隊(duì)，遼寧 沈陽(yáng) 110000；2.遼寧大學(xué)，遼寧 沈陽(yáng) 110000)

1 引言

應(yīng)急通信系統(tǒng)受到了人們的重視并得到了飛速地發(fā)展[1]，異構(gòu)網(wǎng)絡(luò)的信息傳輸信道不能滿足人們?nèi)找嬖鲩L(zhǎng)的應(yīng)急通信需求時(shí)，新型應(yīng)急通信網(wǎng)絡(luò)架構(gòu)與優(yōu)化尤為重要[2]。

溫景容[3]等提出非均勻多信道AdHoc網(wǎng)絡(luò)信道選擇方法，保證傳輸信道的分配公平性，由于該方法在即時(shí)選擇前期未能對(duì)異構(gòu)網(wǎng)絡(luò)中的路由節(jié)點(diǎn)部署特點(diǎn)進(jìn)行分析，導(dǎo)致信道阻塞率高，選擇時(shí)間長(zhǎng)。劉堯[4]等提出一種基于向量回歸的應(yīng)急通信方法，以當(dāng)前信道集為基礎(chǔ)對(duì)下一跳的傳輸信道集進(jìn)行預(yù)測(cè)，以此完成應(yīng)急通信異構(gòu)網(wǎng)絡(luò)信息傳輸信道選擇。由于該方法未能利用量化信息融合識(shí)別方法來(lái)分析傳輸信道中傳輸鏈路相關(guān)功率譜，其信道的吞吐量低，選擇效率差。

葉軍[5]等提出一種認(rèn)知無(wú)線電中感知信道的優(yōu)化選擇方法，并基于改進(jìn)的匈牙利算法對(duì)分析后的結(jié)果進(jìn)行計(jì)算，但是沒(méi)有獲取異構(gòu)網(wǎng)絡(luò)中無(wú)線路由探測(cè)的輸出特征量，所以信道的利用率差、吞吐量低。

為解決上述信息傳輸信道即時(shí)選擇方法中存在的問(wèn)題，提出基于Q-learning理論的應(yīng)急通信異構(gòu)網(wǎng)絡(luò)信息傳輸信道的即時(shí)選擇方法。

2 傳輸信道模型與路由節(jié)點(diǎn)部署

2.1 異構(gòu)網(wǎng)絡(luò)信息采集模型

首先，構(gòu)建一個(gè)可滿足多種傳輸形式的異構(gòu)網(wǎng)絡(luò)信息采集模型。設(shè)應(yīng)急通信中的異構(gòu)網(wǎng)絡(luò)無(wú)線路由所探測(cè)到的信息數(shù)據(jù)特征表示為[6-7]

cjTc

(1)

這時(shí)，設(shè)異構(gòu)網(wǎng)絡(luò)中有N個(gè)簇首節(jié)點(diǎn)，在應(yīng)急通信的大環(huán)境下對(duì)異構(gòu)網(wǎng)絡(luò)中的節(jié)點(diǎn)信息進(jìn)行數(shù)據(jù)采集，并量化采集到的數(shù)據(jù)，獲取傳輸信道的均衡配置系數(shù)CHi(i∈C)，通過(guò)均衡控制方法對(duì)信道節(jié)點(diǎn)發(fā)射能量進(jìn)行控制，獲取異構(gòu)網(wǎng)絡(luò)節(jié)點(diǎn)的輸出功耗p∈[0，p1，p2，…，pmax]，此時(shí)，應(yīng)急通信異構(gòu)網(wǎng)絡(luò)的傳輸信道的均衡配置形式如圖1所示。

圖1 傳輸信道的均衡配置

為了降低應(yīng)急通信異構(gòu)網(wǎng)絡(luò)路由的覆蓋盲點(diǎn)，利用鏈路的均衡控制法對(duì)異構(gòu)網(wǎng)絡(luò)內(nèi)的數(shù)據(jù)進(jìn)行跟蹤并識(shí)別[8]。再通過(guò)卷積神經(jīng)網(wǎng)絡(luò)分類(lèi)識(shí)別出的數(shù)據(jù)，異構(gòu)網(wǎng)絡(luò)信息傳輸信道的最佳均衡配置模型如下式所示

(2)

2.2 節(jié)點(diǎn)部署

依據(jù)上述的異構(gòu)網(wǎng)絡(luò)的傳輸信道的均衡配置形式對(duì)信道中路由節(jié)點(diǎn)部署的特點(diǎn)進(jìn)行分析，獲取的路由節(jié)點(diǎn)傳導(dǎo)關(guān)系如下式所示

(3)

異構(gòu)網(wǎng)絡(luò)中，路由探測(cè)的傳輸信道出發(fā)節(jié)點(diǎn)設(shè)定為i，依據(jù)傳輸信道中的鄰居節(jié)點(diǎn)個(gè)數(shù)確定Source節(jié)點(diǎn)的個(gè)數(shù)N，在相位偏移的情況下，利用直接的序列擴(kuò)頻方法對(duì)傳輸鏈進(jìn)行均衡設(shè)計(jì)，獲取的頻率響應(yīng)如下式所示

(4)

提取傳輸信道的沖擊響應(yīng)特征量，利用量化的數(shù)據(jù)融合識(shí)別法分析信息傳輸信道當(dāng)中的傳輸鏈路功率譜，輸出的沖擊響應(yīng)函數(shù)如下式所示

=CT′(f)X(f)ej2πfτ0

(5)

(6)

以此完成異構(gòu)網(wǎng)絡(luò)信息傳輸信道中路由節(jié)點(diǎn)部署特點(diǎn)的分析。

3 基于Q-learning的信道即時(shí)選擇算法

基于上述對(duì)路由節(jié)點(diǎn)部署特點(diǎn)的分析結(jié)果，基于Q-learning理論對(duì)應(yīng)急通信異構(gòu)網(wǎng)絡(luò)信息傳輸信道進(jìn)行即時(shí)選擇。

3.1 Q-learning理論

設(shè)信道傳輸環(huán)境狀態(tài)集合為P={p1，p2，…，pn}，而它們的學(xué)習(xí)者動(dòng)作集合則是B={b1，b2，…，bn}，Q-learning理論下標(biāo)量的強(qiáng)化信號(hào)為r，學(xué)習(xí)者策略為π:P→B。在每次迭代中，學(xué)習(xí)者對(duì)環(huán)境狀態(tài)p∈P的最初感知是根據(jù)當(dāng)前策略π選擇動(dòng)作b∈B并對(duì)環(huán)境做出反應(yīng)。環(huán)境狀態(tài)轉(zhuǎn)變?yōu)閺?qiáng)化信號(hào)r(p，b)，反饋給學(xué)習(xí)者Q。學(xué)習(xí)者根據(jù)上述信號(hào)更新策略，并將其替換到下一個(gè)迭代中。然后，利用持續(xù)反思學(xué)習(xí)來(lái)優(yōu)化函數(shù)的學(xué)習(xí)能力，從而找到最佳的學(xué)習(xí)策略π*(p)∈B，獲取最大化期望的長(zhǎng)期累積回報(bào)值，過(guò)程如下式所示

(7)

式中，常數(shù)時(shí)間的折現(xiàn)因子為γ∈(0，1)，以此來(lái)體現(xiàn)未來(lái)回報(bào)相對(duì)當(dāng)前回報(bào)的重要性。依據(jù)Bellman的最優(yōu)準(zhǔn)則對(duì)式(7)進(jìn)行計(jì)算，最大值如下式所示

(8)

式中，r(pt，bt)的數(shù)學(xué)期望為R(p，b)，而Ap，p′(b)則是狀態(tài)p在動(dòng)作b的作用下p′的轉(zhuǎn)移概率。

learning學(xué)習(xí)的主要方向是在R(p，b)與Ap，p′(b)都未知的情況下，通過(guò)迭代的方式尋找傳輸信道的最優(yōu)策略π*。將策略π中的狀態(tài)和動(dòng)作與Q-learning相關(guān)聯(lián)，則：

(9)

這時(shí)，通過(guò)式(8)與式(9)可知

(10)

最后，通過(guò)獲取的迭代規(guī)則對(duì)Q*(p，b)進(jìn)行獲取，如下式所示：

(11)

式中，Q-learning在異構(gòu)網(wǎng)絡(luò)中的學(xué)習(xí)率為α=1/(1+visit(p，b))，α∈[0，1]，而這其中的visit(p，b)則為Q-learning在異構(gòu)網(wǎng)絡(luò)中總訪問(wèn)次數(shù)。

3.2 確認(rèn)信道選擇的最優(yōu)策略

將Q-learning與機(jī)會(huì)頻譜中的信道選擇策略相結(jié)合，框架如圖2所示。

圖2 接入體系與信道選擇框架

如圖2所示，可以通過(guò)選擇傳輸信道和接入策略，觀察傳輸信道中的相關(guān)信息，做出信道選擇決策，通過(guò)對(duì)信息傳輸信道的頻譜截獲，實(shí)現(xiàn)環(huán)境交互。

利用訪問(wèn)規(guī)則構(gòu)造有限馬爾可夫決策過(guò)程，將它的狀態(tài)空間P、動(dòng)作空間B以及回報(bào)函數(shù)r狀態(tài)的轉(zhuǎn)移函數(shù)β進(jìn)行劃分，過(guò)程如下：

1)在狀態(tài)空間P中，P是由n個(gè)小狀態(tài)組合而成的集合，表示為P={p1，p2，…，pn}。這時(shí)，若當(dāng)前用戶在使用頻帶xi時(shí)主用戶并沒(méi)有在此頻帶，那么就可直接將pi作為當(dāng)前狀態(tài)。

2)在動(dòng)作空間B中，B是由n個(gè)小動(dòng)作組成的集合，表示為B={b1，b2，…，bn}，這時(shí)執(zhí)行動(dòng)作b1隨時(shí)能夠進(jìn)入狀態(tài)pi。如果此時(shí)的頻個(gè)數(shù)較大，則會(huì)產(chǎn)生大量的(p，b)組合，消耗應(yīng)急通信異構(gòu)網(wǎng)絡(luò)的存儲(chǔ)空間，從而影響傳輸信道的即時(shí)選擇。

3)回報(bào)函數(shù)r是基于系統(tǒng)的性能指標(biāo)，目的是獲取傳輸信道中的最大吞吐量。依據(jù)上述可知，當(dāng)前狀態(tài)下次用戶在第j個(gè)時(shí)間頻帶xi所獲取的回報(bào)，過(guò)程如下式所示

(12)

式中，ΦTd，j(t)頻帶xi在傳輸信道內(nèi)的空閑時(shí)間，Xi為xi的帶寬，Ii則表示xi是否處于空閑狀態(tài)。

3.3 Boltzmann學(xué)習(xí)規(guī)則

在異構(gòu)網(wǎng)絡(luò)信息的傳輸信道中，狀態(tài)p的次用戶在選擇動(dòng)作時(shí)使用選擇策略使Qt(p，b)最大化。但是該策略在使用時(shí)存在風(fēng)險(xiǎn)有可能束縛具有高Q值的動(dòng)作，所以要依據(jù)Q-learning的收斂性定理對(duì)(p，b)進(jìn)行收斂，確保其不能無(wú)限轉(zhuǎn)換。

運(yùn)用Boltz-mann規(guī)則，使用概率的途徑來(lái)選擇動(dòng)作。雖然在傳輸信道內(nèi)擁有較高Q值的動(dòng)作同時(shí)也擁有較高的概率，但是所有動(dòng)作的概率都不等于0，賦值方法如下式所示

(13)

式中，F(xiàn)(bi，p)為異構(gòu)網(wǎng)絡(luò)內(nèi)次用戶在p中選擇bi的概率，退火過(guò)程中的溫度參數(shù)為T(mén)>0，以此為標(biāo)準(zhǔn)能夠確認(rèn)Q值的高低。

T值的大小，會(huì)影響高概率是否能夠探索到平均Q值的動(dòng)作，所以要將一個(gè)非常大的T值開(kāi)始并逐漸減小至最終的Tfinal，以此完成應(yīng)急通信異構(gòu)網(wǎng)絡(luò)信息傳輸信道的即時(shí)選擇。

3.4 信道即時(shí)選擇流程

通過(guò)回報(bào)函數(shù)獲取的回報(bào)值來(lái)對(duì)異構(gòu)網(wǎng)絡(luò)中的信息傳輸信道進(jìn)行即時(shí)選擇，使其能夠以最大化用戶吞吐量為方向，對(duì)信息傳輸信道進(jìn)行即時(shí)選擇；同時(shí)，通過(guò)Q-learning理論用一定的概率選擇動(dòng)作，所以當(dāng)信道環(huán)境發(fā)生變化時(shí)，能夠保證用戶在不同信道上積累經(jīng)驗(yàn)，自適應(yīng)地優(yōu)化用戶行為，即時(shí)選取最優(yōu)信道。

過(guò)程如下：

1)將Q值矩陣初始化為Q=[Q(p，b)]N×N零矩陣，將式(7)中的γ值設(shè)為貼現(xiàn)因子，動(dòng)作的初始參數(shù)T0、Tfinal為和。然后從狀態(tài)空間P中選擇一個(gè)狀態(tài)作為異構(gòu)網(wǎng)絡(luò)中的激活狀態(tài)，并選擇該狀態(tài)的信息傳輸通道作為激活通道。

2)根據(jù)上述Q值矩陣和Boltzmann規(guī)則，在動(dòng)作空間B中選擇一個(gè)動(dòng)作作為當(dāng)前狀態(tài)的執(zhí)行動(dòng)作，系統(tǒng)進(jìn)入下一狀態(tài)。

3)在監(jiān)聽(tīng)時(shí)隙階段，二級(jí)用戶監(jiān)聽(tīng)該狀態(tài)下的信息傳輸信道，判斷當(dāng)前信道是否忙。如果是怠速，它可以立即選擇進(jìn)入變速器。如果它是繁忙的，它將不會(huì)傳輸和獲得零回報(bào)。

4)在時(shí)隙結(jié)束后結(jié)合當(dāng)前記錄依據(jù)式(12)對(duì)Q值矩陣進(jìn)行更新。

5)在時(shí)隙迭代結(jié)束后，要將退火過(guò)程中的溫度參數(shù)進(jìn)行更新。

6)重復(fù)過(guò)程2)至5)，直至實(shí)驗(yàn)結(jié)束。

通過(guò)上述過(guò)程完成對(duì)應(yīng)急通信異構(gòu)網(wǎng)絡(luò)信息傳輸信道的即時(shí)選擇。

4 仿真研究

為了驗(yàn)證上述信道即時(shí)選擇方法的整體有效性，需對(duì)此方法進(jìn)行測(cè)試。

4.1 仿真參數(shù)

1)數(shù)據(jù)來(lái)源

Googledatasets(https:∥cloud.google.com/bigquery/public-data/)中每月例行提供的、與應(yīng)急通信相關(guān)的sqlserver2000數(shù)據(jù)庫(kù)系統(tǒng)。從中隨機(jī)選取2000個(gè)通信數(shù)據(jù)，將其作為數(shù)據(jù)樣本輸入備份文件服務(wù)器中，保證其通信節(jié)點(diǎn)信息可獲取，通信信道完好；

2)實(shí)驗(yàn)環(huán)境

安裝DELL Persicion Tower7910服務(wù)器，在客戶端為T(mén)hinkpad i5-4590 3.3GHz、4G硬盤(pán)、500GB存儲(chǔ)的通信環(huán)境中，將IP地址和計(jì)算機(jī)名更改為與備份文件服務(wù)器完全相同，安裝sqlserver2000數(shù)據(jù)庫(kù)系統(tǒng)，安裝后，備份主數(shù)據(jù)庫(kù)文件服務(wù)器，并將上述數(shù)據(jù)輸入至仿真環(huán)境中。

4.2 實(shí)驗(yàn)結(jié)果與分析

分別采用基于Q-learning的應(yīng)急通信異構(gòu)網(wǎng)絡(luò)信息傳輸信道即時(shí)選擇方法(方法1)、基于混合博弈的Ad hoc網(wǎng)絡(luò)傳輸信道的即時(shí)選擇方法(方法2)以及提出一種基于向量回歸的應(yīng)急通信異構(gòu)網(wǎng)絡(luò)信息傳輸信道的即時(shí)選擇方法(方法3)進(jìn)行測(cè)試：

1)對(duì)方法1、方法2以及方法3的信息傳輸信道吞吐量進(jìn)行測(cè)試，測(cè)試結(jié)果如圖3所示。

圖3 信息傳輸信道的吞吐量測(cè)試結(jié)果

依據(jù)圖3可知，方法1的信息傳輸信道的吞吐量高于方法2以及方法3，并且方法3隨著檢測(cè)次數(shù)的增加，其吞吐量呈急速下降趨勢(shì)。這主要是因?yàn)榉椒?通過(guò)構(gòu)建的異構(gòu)網(wǎng)絡(luò)信息傳輸信道模型對(duì)信道中路由節(jié)點(diǎn)部署的特點(diǎn)進(jìn)行分析。并通過(guò)分析結(jié)果以及Q-learning理論、Boltz-mann規(guī)則完成了對(duì)應(yīng)急通信異構(gòu)網(wǎng)絡(luò)信息傳輸信道的即時(shí)選擇，運(yùn)用該方法對(duì)信息傳輸信道進(jìn)行即時(shí)選擇時(shí)能夠增加信道的吞吐量、即時(shí)選擇效率。

2)在相同的實(shí)驗(yàn)環(huán)境中，對(duì)方法1、方法2、方法3的信道阻塞率進(jìn)行測(cè)試，測(cè)試結(jié)果如圖4所示。

圖4 信息傳輸信道的阻塞率測(cè)試結(jié)果

根據(jù)圖4可知，方法1的信息傳輸信道的阻塞率遠(yuǎn)低于方法2以及方法3，雖然方法2在測(cè)試初期信道阻塞率幾乎與方法1持平，但是隨著檢測(cè)次數(shù)的增加方法2的信道阻塞率呈急速上升的不穩(wěn)定趨勢(shì)。這主要是因?yàn)榉椒?在進(jìn)行信息傳輸信道的即時(shí)選擇時(shí)，利用量化信息融合識(shí)別方法來(lái)分析傳輸信道當(dāng)中的傳輸鏈路相關(guān)功率譜，獲取信道的沖擊響應(yīng)函數(shù)，從而使信息傳輸信道在即時(shí)選擇時(shí)能夠降低信道阻塞率，縮減選擇時(shí)間。

3)對(duì)方法1、方法2以及方法3的信息傳輸信道的利用率進(jìn)行測(cè)試，測(cè)試結(jié)果如圖5所示。

圖5 信息傳輸信道的利用率測(cè)試結(jié)果

依據(jù)圖5可知，方法1的信道使用率要優(yōu)于方法2以及方法3。這主要因?yàn)榉椒?在進(jìn)行信息傳輸信道的即時(shí)選擇時(shí)，利用沖擊響應(yīng)函數(shù)對(duì)傳輸信道內(nèi)最佳的采樣符號(hào)速率進(jìn)行計(jì)算，獲取了異構(gòu)網(wǎng)絡(luò)中無(wú)線路由探測(cè)的輸出特征量，進(jìn)而優(yōu)化了選擇的即時(shí)性。

5 結(jié)束語(yǔ)

1)提出一種新型的應(yīng)急通信異構(gòu)網(wǎng)絡(luò)信息傳輸信道的即時(shí)選擇方法，利用傳輸信道模型對(duì)異構(gòu)網(wǎng)絡(luò)中的路由節(jié)點(diǎn)部署特點(diǎn)進(jìn)行分析，提高了信道吞吐量，最高可達(dá)50000kbit。

2)基于Q-learning理論獲取信息傳輸信道的迭代規(guī)則，最后運(yùn)用Boltz-mann規(guī)則對(duì)應(yīng)急通信異構(gòu)網(wǎng)絡(luò)信息傳輸信道即時(shí)選擇，其阻塞率一直低于43%，信道利用率最高可達(dá)50%。