劉傳宏，郭彩麗,，楊洋，馮春燕，孫啟政，陳九九

（1.北京郵電大學先進信息網絡北京實驗室，北京 100876；2.北京郵電大學網絡體系構建與融合北京市重點實驗室，北京 100876）

1 引言

隨著物聯(lián)網（IoT,Internet of things）和人工智能（AI,artificial intelligence）技術的融合發(fā)展，萬物智能互聯(lián)成為時代所趨，大大激發(fā)了人工智能物聯(lián)網（AIoT,artificial intelligence of things）的繁榮發(fā)展[1-4]。在人工智能物聯(lián)網中，先傳輸原始數據而后執(zhí)行智能任務的傳統(tǒng)通信方式如圖1 所示，智能設備依靠大量的傳感設備（如攝像頭等）對外部感知并采集大量數據（如文本、圖片等）后，采用傳統(tǒng)的信源/信道編碼方案，經過調制后將數據集中發(fā)送到邊/云服務器上；邊/云服務器對接收到的信號進行解調和信道/信源解碼，得到恢復的原始數據，接著以恢復的數據為輸入，利用以深度學習為代表的人工智能技術對數據（如文本、圖片等）進行理解和分析，從而完成一系列智能任務[5-7]，如圖像分類、目標識別等。在AIoT 場景中，通信與智能計算深度融合，通信場景從傳統(tǒng)的人與人、人與物通信轉換為智能體間的通信。通信的目標也不再是準確傳輸比特數據或者精確傳遞信號波形，而是準確理解傳遞的語義信息。這里的語義是指接收者正確理解發(fā)送者的信息內容，即對原始數據更精煉的一種“達意”表示[8-9]。因此，傳輸語義信息的語義通信方法是一種新穎的通信范式，可將原始數據提取出智能計算所需的語義進行傳輸，有效壓縮數據冗余，減少網絡傳輸的壓力，降低智能任務的處理時延。

目前已經有一些初步的基于深度學習的語義通信方法研究[10-13]。針對文本數據，Xie 等[10]提出了基于Transformer 的語義通信系統(tǒng)，首次在句子層面明確了語義信息的概念，通過準確恢復句子的語義信息來最大化系統(tǒng)容量和最小化語義誤差。在文獻[10]的基礎上，Xie 等[11]進一步針對物聯(lián)網場景和無線衰落信道，同時考慮了星座圖的設計，提出了輕量化的深度學習語義通信系統(tǒng)，使模型更易于部署在IoT 設備上。針對圖像數據，Bourtsoulatze等[12]針對無線信道中的圖像傳輸任務，提出了基于卷積神經網絡（CNN,convolutional neural network）的聯(lián)合信源信道編碼方法，實現通信系統(tǒng)各編解碼模塊間的聯(lián)合優(yōu)化。Lee 等[13]提出了圖像傳輸和識別聯(lián)合考慮的通信系統(tǒng)，相較于將通信傳輸和識別任務分開的傳統(tǒng)方法，所提方法可以獲得更高的識別精度?？偠灾噍^于傳統(tǒng)通信方式，語義通信系統(tǒng)可以有效提取并傳輸數據的語義信息，降低實際傳輸的數據量，提升通信效率，同時對信道變化具有更強的穩(wěn)健性[10]。

基于語義通信的方式，將神經網絡分開在設備和邊/云服務器上聯(lián)合處理不僅可以充分利用AIoT設備端的計算資源，而且可以大大降低待傳輸的數據量，同時將部分神經網絡的參數存儲卸載到邊/云服務器上，緩解了設備的存儲壓力。例如，VGG16 網絡的參數量約528 MB，其中全連接層占75%以上[14]，將全連接層處理放到邊/云服務器上，可以降低設備端的存儲需求。此外，近些年來人們對用戶隱私和數據安全的重視度越來越高，將數據在發(fā)送端進行初步特征提取，從而避免了數據的直接傳輸也可以很好地保護用戶隱私和數據安全。

然而，深度神經網絡模型復雜，輸出的特征數據量較大，在時延敏感的任務中仍然難以滿足需求。因此，考慮AIoT 設備資源和通信資源受限的情況下，如何利用語義關系進一步降低實際傳輸的數據量和通信系統(tǒng)復雜度，以在緩解通信壓力的同時保證智能任務的性能，促進人工智能物聯(lián)網中通信傳輸與智能計算2 個過程的融合成為關鍵問題。

基于上述考慮，本文基于深度學習方法提出了針對智能任務的語義通信方法，引入神經網絡的可解釋性，從語義概念（指智能任務中客觀表示的某一具體事物，如貓狗分類任務中的貓和狗）出發(fā)，將語義概念和特征圖（為CNN 提取的特征向量）進行關聯(lián)，提取語義關系，在發(fā)送端利用提取的語義關系實現語義壓縮，大大降低待傳輸的數據量，使接收端最大程度地理解圖片的語義信息，在提升智能任務性能的同時節(jié)約通信資源，降低傳輸時延。本文的主要工作如下。

1) 針對數據傳輸和智能任務緊密融合的AIoT場景，基于深度學習方法提出了一種語義通信系統(tǒng)模型，綜合考量了IoT 設備的能耗和通信資源。

2) 針對圖像分類任務，提出了一種語義通信方法。以圖像分類任務為導向，關聯(lián)語義概念和特征圖，提取語義關系，并對特征圖進行壓縮傳輸，從語義層面實現數據壓縮，減少IoT 設備功耗并降低傳輸時延。

3) 實驗和仿真結果證明了所提人工智能物聯(lián)網中的語義通信系統(tǒng)方法的可行性，相較于傳統(tǒng)通信方法，通信復雜度降低了99.2%，分類任務性能大大提升；此外，基于所提方法，在不同的特征提取網絡下，傳輸時延降低了約80%；同時在帶寬和時延受限的情況下，提升有效分類準確率可高達約70%。

2 語義通信系統(tǒng)模型

本節(jié)將通信傳輸和智能任務相結合，基于深度學習方法提出針對智能任務的語義通信系統(tǒng)模型。首先給出人工智能物聯(lián)網中語義通信流程；然后提出語義通信系統(tǒng)模型，并針對系統(tǒng)模型中的具體模塊功能進行詳細解釋。

圖2 為人工智能物聯(lián)網中的語義通信流程，實體部分主要由邊/云服務器和IoT 設備組成。基于語義通信的方式，資源受限的IoT 設備首先利用攝像頭采集圖像數據，然后利用本地的計算資源完成語義信息提取，接著經語義壓縮后將對智能任務重要的語義信息傳輸到邊/云服務器上。邊/云服務器平臺具有強大的計算能力和內存，將接收到的特征數據輸入后續(xù)網絡進行智能計算，完成智能任務，最終將智能任務結果返回給IoT 設備。

圖3 為針對智能任務的語義通信系統(tǒng)模型，主要可以分為發(fā)送端、物理信道和接收端3 個部分。發(fā)送端功能主要包括語義編碼、信道編碼和調制，其中語義編碼由特征提取、語義關系提取和語義壓縮組成；接收端功能主要包括解調、信道解碼和智能任務計算（如圖像分類任務為分類器，目標檢測任務為檢測器等）。從圖3 可以看出，所提面向智能任務的語義通信方法將智能任務的處理過程與通信傳輸過程相融合，先在本地提取語義信息然后傳輸到接收端直接完成任務，屬于先理解后傳輸的通信方式；而傳統(tǒng)通信方法先編碼傳輸原始圖片，然后在接收端提取語義信息完成智能任務，屬于先傳輸后理解的通信方式，傳輸與理解相對獨立；此外，語義通信方法利用神經網絡實現語義編碼，而不再需要傳統(tǒng)的信源編碼，降低了通信系統(tǒng)的復雜度，這也是傳統(tǒng)方法與語義通信方法的另一主要區(qū)別。

IoT 設備利用攝像頭采集圖像數據，利用CNN對圖像進行初步特征提取，得到一系列的特征激活圖，后續(xù)統(tǒng)稱為特征圖。假設語義通信系統(tǒng)模型的輸入是圖片I，提取特征的過程可表示為

其中，Sα(?)為特征提取網絡，α為網絡參數。

得到經CNN 提取的特征圖后，考慮到對資源緊張的AIoT 場景的適用性，進一步對實際傳輸的特征圖進行裁剪以實現語義壓縮，從而高效完成智能任務。為了實現這一功能，本文提出了語義關系提取和語義壓縮。

語義關系提取以式(1)提取到的特征圖為輸入，利用每個語義概念對應的神經元激活值對特征圖求梯度后取平均，得到特征圖對于語義概念的重要性權重。以此為依據，針對具體語義概念對特征圖進行排序，得到語義概念和特征圖重要性排序之間的關系。針對語義概念c，對所有特征圖進行排序，得到的特征圖排序結果為sc，可表示為

其中，C 為語義概念集合，為對語義概念c最重要的特征圖索引，為對語義概念c最不重要的特征圖索引，N為特征圖總數。

語義壓縮依據上一步得到的語義概念和特征圖排序間的關系，將不重要的部分特征圖進行壓縮，僅保留重要的語義信息，從而實現去除冗余信息。經語義壓縮的輸出X可表示為

其中，Cσ(?)為特征圖壓縮函數，σ為壓縮比例。語義壓縮有兩大好處：第一，降低了后續(xù)的計算資源需求；第二，大大減少了傳輸的數據量，降低了對通信資源的需求和傳輸時延。

在本文中，為了主要對比所提通信方法相較于傳統(tǒng)通信方法帶來的性能增益，暫時不考慮2 種通信方法中均存在的信道編解碼和調制解調部分。因此，可以看作壓縮后的特征圖直接經無線信道傳輸，在接收端接收到的特征圖數據可表示為

其中，h為瑞利衰落信道的信道系數，n為加性白高斯噪聲（AWGN,additive white Gaussian noise）。依據香農公式，傳輸速率表達式如式(5)所示[15]。

其中，B為信道帶寬，P為IoT 設備發(fā)送功率，N0為AWGN 功率譜密度。

設計通信系統(tǒng)的主要目標是最大化系統(tǒng)容量，互信息可以用來衡量2 個變量之間的相關性，為了提高系統(tǒng)容量，降低信道噪聲對通信傳輸過程的影響，提升語義通信系統(tǒng)的穩(wěn)健性，本文考慮最大化語義通信中信道輸入和輸出間的互信息。信道輸入X和輸出Y之間的互信息計算可表示為

其中，(x,y)為輸入和輸出空間里的隨機變量對；p(x)為發(fā)送x的邊緣概率分布，p(y)為接收y的邊緣概率分布，p(x,y)為聯(lián)合概率分布，為給定x的條件下y的概率分布。大多情況下，互信息計算困難，但是互信息的上界是可以進行估計的，借鑒文獻[16]的思路，利用上界逼近真實互信息，其上界可表示為

其證明過程如下。

真實互信息和上界間的差距定義為

針對分類任務，接收端將恢復后的特征圖Y輸入分類器網絡，輸出各類對應的概率值

其中，p=[p1,p2,…,pM]，pk為圖片分為第k類的概率，M為總類別數，Qμ(?)為分類器網絡，μ為網絡參數。

整個分類網絡訓練過程以最小化交叉熵和最大化互信息為優(yōu)化目標，損失函數可表示為

其中，y=[y1,y2,…,yM]為樣本標簽，如果樣本的類別是i，則yi=1，其余均為0；β取值為[0,1]，對互信息項進行加權；I為信道輸入和輸出間的互信息。

3 針對圖像分類任務的語義通信方法

針對人工智能物聯(lián)網中的圖像分類任務，IoT設備利用特征提取網絡在本地完成圖像特征提取。然而，傳輸全部的特征圖仍然對設備功耗和傳輸時延提出了挑戰(zhàn)，針對這一挑戰(zhàn)，提出了針對圖像分類任務的語義通信方法。本節(jié)首先給出針對圖像分類任務的語義通信網絡結構，然后分別提出圖像分類任務導向的語義關系提取方法和語義壓縮方法。

3.1 網絡結構

圖4 為所提針對圖像分類任務的語義通信神經網絡結構，以實現高效語義傳輸并最大程度地提高分類任務的準確度。發(fā)送端首先將圖像調整為固定尺寸，利用深度CNN 提取特征，本文采用的CNN包括卷積層和池化層，卷積層可以提取輸入特征，多層可以逐漸提取更精細的特征。池化層可以降低網絡中隱藏層的維數，并降低后續(xù)層中的計算量。接著基于提取的語義關系對提取的特征圖進行壓縮，進一步降低實際傳輸的數據量。

參考文獻[10,17]的工作和結論，一些通信信道可以通過簡單的神經網絡進行建模，如AWGN信道、乘法高斯信道和擦除信道等。在本文中，為了主要關注語義編碼，因此考慮AWGN 信道，并用一層神經網絡表示。其物理意義解釋如圖5所示。

一層神經網絡本質上就是輸入到輸出的一種映射關系，主要由神經元的權重和偏置決定。這里由于已知信道的先驗信息即AWGN 信道，就可以設定神經元的權重W為1，其他信道權重需要相應修改；偏置b是添加的高斯隨機變量（模擬信道中的高斯噪聲），該隨機變量的方差對應高斯噪聲的功率，主要由信噪比和發(fā)送功率決定。即Y=hX+n=WX+b。

接收端基于三層全連接層構成分類器網絡，特征圖經分類器及Softmax 層后輸出分類結果。互信息估計網絡由兩層全連接網絡組成。本文和現有語義通信系統(tǒng)的主要區(qū)別在于本文將通信傳輸和圖像分類任務相結合，從語義概念出發(fā)，利用語義關系進行語義編碼和數據壓縮，提出了語義關系提取方法和語義壓縮方法。

3.2 語義關系提取

本節(jié)介紹圖像分類任務中基于梯度的語義關系提取方法，將語義概念和特征圖進行關聯(lián)。

如圖4 所示，針對語義概念c的得分cy定義為最后一層全連接經過Softmax 之前的神經元激活值，Ak為最后一個卷積層的第k個特征圖，其寬度和高度分別為w和h。首先利用語義概念c的得分對第k個特征圖求梯度，然后經過全局平均池化即可得到針對語義概念c的第k個特征圖的重要性權重，可表示為

相應地，針對所有語義概念得到的特征圖權重矩陣可表示為

針對每一個語義概念，對所有的特征圖均進行上述求梯度后取均值的操作，即可得到針對任一語義概念c和所有特征圖的重要性權重向量ωc；緊接著，針對每個語義概念，利用權重值對特征圖進行排序，即可得到任一語義概念和特征圖重要性排序之間的對應關系，即語義關系[19]，可表示為

綜上可知，本文提出的基于梯度的語義關系提取方法可以將語義概念和特征圖關聯(lián)起來；針對具體語義概念，將特征圖按照重要性進行排序，實現了語義關系的提取，為后續(xù)語義壓縮提供了依據。

3.3 語義壓縮

基于得到的語義關系，可以依據實際的通信環(huán)境和資源對特征圖進行壓縮，選取部分最重要的特征圖進行傳輸，實現語義壓縮。

實際應用中，對特征圖的壓縮準則是至關重要的，顯而易見的是，特征圖的權重越低即重要性越低，則越可能被壓縮且不會對后續(xù)結果產生影響。因此，這里的問題轉化為如何選擇一個合適的壓縮閾值。

依據語義概念和特征圖重要性排序間的關系，實現特征圖壓縮，可表示為

其中，為壓縮閾值；n為針對每個語義概念實際傳輸的重要特征圖個數，可表示為

其中，σ∈[0,1)為壓縮比例，對應于發(fā)送端的語義壓縮程度，即σ越接近1，語義壓縮程度越大，實際傳輸特征圖的比例為1?σ；為向下取整。

壓縮的權重閾值可由式(19)得到。

實際傳輸的特征圖中，針對語義概念ck最重要的n個特征圖索引可表示為

因此，實際經信道傳輸的特征圖索引可表示為

接著，將壓縮后的特征圖經無線信道傳輸。邊/云服務器接收特征圖數據，輸入分類器網絡，輸出最后的分類結果，并將結果返回給IoT 設備。

將每張圖像的實際傳輸數據量記為d，則傳輸時延可表示為

設定每張圖像數據傳輸過程中的時延門限為t0，當數據實際傳輸時延大于時延門限（t>t0）時，記作此次傳輸失敗[20]，也就無法完成后續(xù)圖像分類任務，判定為分類錯誤。

人工智能物聯(lián)網中針對圖像分類任務的語義通信算法如算法1 所示。

算法1針對圖像分類任務的語義通信算法

輸入待分類圖片I，壓縮比例σ=0.902 3

輸出分類結果p

1) 將待分類圖片輸入特征提取網絡，得到特征圖A；

2) 基于式(13)計算語義概念激活值對特征圖的梯度，得到特征圖對語義概念的重要性權重ω；

3) 針對同一語義概念，對特征圖依據重要性進行排序，得到語義概念和特征圖排序的對應關系s；

4) 基于式(17)利用語義重要性關系和設定的壓縮比例σ對特征圖進行壓縮，得到實際傳輸的特征圖索引向量Ts；

5) 將壓縮后的特征圖經無線信道傳輸，計算傳輸時延t并和時延門限t0比較；

6) 若t

4 實驗結果

4.1 實驗設置

模型訓練和測試數據集為STL-10 十分類數據集，包含10 類物體的圖片，對應10 個語義概念，每類1 300 張圖片，500 張訓練，800 張測試，每張圖片分辨率為 96 dpi×96 dpi。訓練過程中，首先將圖片擴展到256×256，然后隨機裁剪為224×224，作為網絡的輸入。訓練和測試環(huán)境為Ubuntu 16.04 +CUDA 10.1，編程語言為Python，深度學習框架為Pytorch1.7.0。

為了證明所提方法對于分類網絡的普適性，本文選擇經典的 CNN 分類網絡（VGG16[14]和Resnet18[21]）作為特征提取網絡，應用所提的語義通信方法進行后續(xù)實驗仿真。下面分別介紹針對2 種網絡的初始化參數設置。

Resnet18 網絡。首先考慮到數據集為十分類任務，調整網絡結構最后一層輸出神經元個數為10；接著用在ImageNet 數據集[22]上預訓練好的參數初始化特征提取網絡參數，進行后續(xù)訓練。

VGG16 網絡。類似地，首先調整網絡結構最后一層輸出神經元個數為10，并將VGG16 分類器部分兩層全連接神經元個數由4 096 調整為1 000；接著用在ImageNet 數據集上訓練好的參數初始化特征提取網絡參數，訓練過程中，凍結前8 個卷積層參數，以加快訓練速度。

本文設計互信息估計網絡和分類網絡迭代訓練，首先，訓練互信息估計網絡；其次，固定互信息估計網絡參數，訓練語義通信網絡；再次，固定語義通信網絡參數，訓練互信息估計網絡，如此迭代，直到達到收斂條件。

網絡訓練均使用交叉熵為損失函數，具體訓練參數設定如表1 所示，仿真參數設置如表2 所示。

表1 語義通信網絡訓練參數設置

表2 系統(tǒng)仿真參數設置

分類準確率定義為

其中，Nt為待分類的圖片總數，Ns為分類正確的圖片數量。

在帶寬和時延限制條件下，為了同時考量通信性能和圖像分類任務的完成性能，本文提出有效分類準確率為評價指標。將傳輸和分類分別定義為事件A和事件B，由貝葉斯公式可知，有效分類準確率定義為

其中，P(A=1) 為成功傳輸的概率，為成功傳輸條件下分類成功的概率，P(A=0)為傳輸失敗的概率，為傳輸失敗但分類成功的概率，考慮到傳輸失敗則分類失敗，即。則有效分類準確率可以轉化為

其中，β為給定信噪比和語義壓縮程度時的分類準確率，γ為給定帶寬和時延限制下，實際可以成功傳輸的圖片比例為P(A=1)。

由于本文提出的人工智能物聯(lián)網中面向智能任務的語義通信方法未改變智能任務的原始神經網絡架構，而是在發(fā)送端和接收端分別進行部分網絡計算，因此并不會增加任務的處理開銷，反而由于壓縮了部分特征圖，可以略微降低接收端的計算量，這也是本文所提方法的優(yōu)勢之一；此外，相較于傳統(tǒng)通信方法，所提語義通信方法在發(fā)送端利用重要的語義信息替代了原始數據作為存儲和傳輸的主體，利用CNN 提取語義特征替代了復雜的傳統(tǒng)信源編碼，因此也并不會增加IoT 設備的存儲和計算壓力。后續(xù)主要針對分類任務性能進行實驗及仿真驗證。

4.2 實驗結果分析

本節(jié)將對實驗和仿真結果進行分析說明，將對比方案命名為傳統(tǒng)通信方式，即圖像先經過傳統(tǒng)JPEG 編碼后傳輸，接收端經過解碼恢復原圖，再輸入神經網絡（Resnet18 或者VGG16）來完成分類任務。

4.2.1 語義通信和傳統(tǒng)通信方式下的分類性能對比分析

為了驗證所提語義通信方法相較于傳統(tǒng)通信方法更適合應用于AIoT 場景中，且對信道有更強的穩(wěn)健性。本節(jié)實驗對比了所提語義通信方法和傳統(tǒng)通信方式的性能，同時驗證了在不同信道信噪比條件下，不同語義壓縮程度（即不同壓縮比例）對最終圖像分類任務性能的影響。為了驗證所提語義方法對分類網絡的普適性，同時基于VGG16 和Resnet18 網絡進行實驗。實驗結果如圖6所示，壓縮比例為0 表示不對特征圖進行壓縮而全部傳輸。

圖6(a)和圖6 (b)展示了相同的趨勢?；谏疃葘W習的語義通信方式分類任務性能遠遠好于傳統(tǒng)通信方式的分類任務性能，尤其是當信噪比較低時，當信道信噪比為0 時，傳統(tǒng)通信方式幾乎無法完成分類，而基于語義通信方式的分類精度可以達到90%以上。此外，相較于特征圖全部傳輸到接收端，基于語義通信的壓縮方式在分類性能上會有一定的損失。然而，從以上2 個實驗結果可以看出，當壓縮比例達到80%時，分類的精度在信噪比大于0時損失都很小，均在2%以內。這說明本文所提的語義通信方法可以實現在幾乎不影響任務性能的前提下，大大降低了傳輸的數據量，降低了傳輸時延和通信負擔，比傳統(tǒng)的通信方式更適合于時延和功耗敏感的IoT 場景中。

4.2.2 不同壓縮傳輸方式下的分類任務性能對比分析

為了驗證所提語義通信方法在帶寬資源緊張的AIoT 場景中可以有效保障智能任務性能，本節(jié)實驗對比了不同壓縮傳輸方式下分類性能的差異，對比方案包括：1) 本文所提的語義壓縮傳輸方案；2) 實際場景中的隨機壓縮傳輸方案?？紤]到實際場景中，帶寬資源受限，同時受到時延門限的限制，往往無法將全部特征圖經無線信道傳輸到接收端，因此考慮實際場景中存在的隨機丟包，相當于對特征圖進行隨機壓縮后傳輸。為了更好地比較實驗結果，與文獻[23]的實驗設置保持一致，這里將帶寬定性地定義為滿足時延限制條件下允許實際傳輸的特征圖個數，實驗結果具體如圖7所示。

圖7(a)和圖7 (b)展示了語義壓縮傳輸方案和隨機壓縮傳輸方案下模型分類準確率隨著信道帶寬的變化關系。2 個實驗結果具有相同的趨勢，也說明了本文所提方法對于分類網絡的普適性。在固定信道帶寬和信噪比時，語義壓縮傳輸方案可以提高模型分類準確率，例如在信噪比為20 dB、允許實際傳輸的特征圖個數為50 時，語義壓縮傳輸方案相較于隨機壓縮傳輸方案可以提高分類準確率約30%。這是因為本文所提的語義壓縮傳輸在傳輸過程中，盡可能多地保留了圖片重要的語義信息，有利于更好地完成分類任務。同時從實驗結果可以看出，隨著信道帶寬和信噪比的增加，模型的分類準確率也會上升。這是因為無論是傳輸更多的特征圖還是更好的信道條件，都可以保留更多的語義信息，從而有利于分類任務的完成，提高模型分類準確率。

4.2.3 有效分類準確率對比分析

為了驗證所提語義通信方法對資源緊張、時延敏感的AIoT 場景中的適用性，可以有效獲得智能任務性能的提升。本節(jié)比較了不同帶寬和時延限制條件下，基于語義關系的特征圖壓縮（壓縮比例設置為80%）和傳輸全部特征圖2 種方式的有效分類準確率，基于VGG16 分類網絡，仿真結果如圖8所示。

從圖8(a)和圖8 (b)對比中可以得出，當信道帶寬或者時延門限較小時，特征圖完全傳輸的方式最終幾乎無法完成分類任務，這是因為當帶寬或時延門限較小時，實際可以完整傳輸的圖片數很少，導致有效分類準確率很低。而經過本文所提方法壓縮80%的特征圖后，傳輸時延也相應降低了80%，即使在帶寬或時延門限較低的條件下，仍然可以有效傳輸部分重要的卷積核（即圖片語義可以得到有效傳輸），也即成功傳輸的圖片信息比例增大，也提高了有效分類準確率，說明本文所提方法更適合應用在帶寬資源緊張和時延要求敏感的AIoT場景中，提高模型的有效分類性能。

4.2.4 語義壓縮及信道傳輸對任務性能影響分析

為了分別分析所提語義通信方法中語義編碼和信道傳輸2 部分對智能任務性能的影響，本節(jié)基于2 種分類網絡，比較了原圖直接分類、語義編碼后直接分類和所提語義通信方法（語義編碼后經信道傳輸再分類）的分類準確率，分析結果如圖9 所示。由于原圖直接分類（分類準確率為0.957 6）和語義編碼后直接分類（分類準確率為0.945 0）均未考慮信道影響，這里的語義編碼中的語義壓縮比例為80%，因此圖中均為直線，不隨信噪比變化。其中原圖直接分類和語義編碼后直接分類之間的性能差異（圖中的①③）是由語義編碼引入的；語義編碼后直接分類和所提語義通信方法之間的性能差異（圖中的②④）是由信道傳輸（噪聲誤碼等）造成的。從圖9 可以看出，當信道環(huán)境較差即信噪比較低時，語義編碼直接分類和所提語義通信方法之間的差異較大，這是由于信道傳輸造成的誤差越大，導致性能損失越大；隨著信噪比增大，信道中傳輸造成的性能損失逐漸減小。此外，還可以看出，低信噪比時，信道傳輸造成的性能損失占主要部分，以基于Resnet18 網絡在?10 dB 時為例，所提語義通信方法的準確率為0.766 0，則信道傳輸帶來的性能損失為0.179 0，而語義編碼帶來的性能損失恒定為0.012 6；而當信噪比增大到10 dB 時，信道帶來的性能損失降低到了0.006，甚至小于語義編碼帶來的性能損失。

4.2.5 復雜度對比分析

為了評估所提語義通信方法在AIoT 場景中的可行性，本節(jié)從理論和實驗2 個方面對語義通信方法和傳統(tǒng)方法的復雜度對比分析。

1) 理論復雜度對比分析。首先分析所提語義通信網絡的計算復雜度。由于所提語義通信網絡中計算量主要集中在卷積層，單個卷積層的計算量可表示為F×F×Din×Dout×W×H，其中，F×F為濾波器大小，Din為輸入通道數，Dout為濾波器數量，W×H為特征圖的尺寸，因此語義通信網絡的計算復雜度可以近似表示為O(I W IH)，其中IW和IH分別為輸入圖片的寬和高[12]。傳統(tǒng)通信方式計算量主要集中在JPEG 壓縮編解碼和分類任務2 個部分。JPEG 壓縮編解碼的計算復雜度與像素點數呈線性關系[24]，即O(I W IH)。然而傳統(tǒng)通信方式的計算復雜度為JPEG 壓縮計算復雜度加上分類任務計算復雜度，遠遠大于語義通信方法的計算復雜度。

2) 實驗復雜度對比分析。本文進一步從實驗上比較了面向智能任務的語義通信方法和傳統(tǒng)通信方法的復雜度，以單張圖片完成分類任務的運行時間來衡量，具體結果如圖10 所示，縱坐標運行時間為對數表示。運行測試程序的計算機的處理器為Intel(R) Xeon(R) CPU E5-2640 v3 @ 2.60 GHz，16 GB RAM，顯卡為Tesla M40 24 GB。

從圖10 可以得出，面向智能任務的語義通信方法所需的運行時間遠小于傳統(tǒng)通信方法所需的運行時間，而且適用于不同的分類網絡，以Resnet18網絡為例，語義通信方法的運行時間僅為傳統(tǒng)方法的0.8%。這是因為語義通信方法利用分類網絡的特征提取部分實現信源編碼，同時利用語義關系實現數據進一步壓縮，大大降低了傳輸和處理時延，因此面向智能任務的語義通信方法相較于傳統(tǒng)方法更適合應用于對時延敏感的AIoT 場景中。本文未將訓練時間進行比較是因為針對AIoT 應用，模型訓練通常為離線完成而且僅需要執(zhí)行一次。

5 結束語

人工智能物聯(lián)網中，傳統(tǒng)的數據集中式云計算處理方式網絡傳輸數據量大，通信時延高，影響智能任務性能。針對這些問題，本文首先基于深度學習方法提出了針對智能任務的語義通信系統(tǒng)模型。特別地，本文研究了人工智能物聯(lián)網中帶寬和時延受限時的圖像分類任務，提出了針對圖像分類任務的語義通信網絡結構，在IoT 設備上提取圖片特征圖，基于目標導向的語義關系對特征圖進行壓縮，有效緩解IoT 設備的功耗負擔，降低通信傳輸的壓力。實驗結果驗證了本文所提方法的可行性和性能優(yōu)勢。同時順應通信技術與人工智能緊密結合的大趨勢，本文所提方法為眾多智能場景下以圖像語義理解為主要手段的視覺任務的實現提供了一條新的思路。未來工作將繼續(xù)研究語義通信方法，考慮不同的信道類型，同時考慮聯(lián)合語義信道編解碼，另外擴展到目標檢測等其他視覺任務和其他智能場景中，優(yōu)化語義提取方法，探究特定環(huán)境下最佳的壓縮比例，進一步提升模型性能同時降低時延。