摘要：根據(jù)5G關鍵技術特征給出了5G系統(tǒng)仿真場景，并提出了一種基于5G系統(tǒng)仿真平臺的仿真建模及實現(xiàn)方法。運用動態(tài)仿真建模、計算資源虛擬化管理、多核并行仿真以及硬件加速仿真技術建設系統(tǒng)仿真平臺，對5G候選關鍵技術進行評估，可以解決由于5G高復雜度及多變的仿真環(huán)境帶來的部分問題，并能夠提高仿真效率，增強5G系統(tǒng)仿真平臺的擴展性。

關鍵詞： 5G候選關鍵技術；仿真建模；評估指標；系統(tǒng)仿真平臺

Abstract： In this paper， 5G system simulation scenarios based on the features of 5G key technology is introduced， and a simulation modeling and realization method of 5G system simulation platform is presented. By using dynamic simulation modeling， computing resources virtualization management， multi-core parallel simulation and hardware accelerated simulation technology in the system simulation platform construction and 5G key technology evaluation， part of problems bringing by 5G high complex and changeable simulation environment can be solved， and the simulation efficiency can be improved， meanwhile， the scalability of 5G system simulation platform can be enhanced.

5G candidate key technology； simulation modeling； evaluation index； system simulation platform

計算機仿真在移動通信系統(tǒng)的技術研究和標準開發(fā)中是評估系統(tǒng)性能的一個非常強大的工具?，F(xiàn)代無線通信系統(tǒng)是一個異常復雜的系統(tǒng)，其復雜性體現(xiàn)在應用場景、網絡結構等多個方面。第5代移動通信（5G）的候選技術更豐富，應用場景更復雜。

5G軟件仿真測試系統(tǒng)的設計和開發(fā)是在早期技術的基礎上繼承和發(fā)展的，早期仿真平臺對5G軟件仿真的搭建有重要的參考價值。同時，由于5G系統(tǒng)將引入更多新功能和新技術，需要深入分析各種候選技術的特征和實現(xiàn)方案，才能高效設計和實現(xiàn)5G軟件仿真系統(tǒng)。一個完整的仿真系統(tǒng)組成，如圖1所示。

1 5G系統(tǒng)仿真場景

1.1 5G系統(tǒng)仿真假定

5G移動通信系統(tǒng)需要滿足更加多樣化的場景和極致的性能挑戰(zhàn)。面對多樣化的應用場景，5G的幀結構參數(shù)可靈活配置，以服務不同類型的業(yè)務。針對不同頻段、場景和信道環(huán)境，可以選擇不同的參數(shù)配置，具體包括帶寬、載波頻率等，參考信號和控制信道也可靈活配置以支持大規(guī)模天線、新型多址等新技術的應用，按需選取最優(yōu)技術組合及參數(shù)配置。下面我們將分別介紹大規(guī)模技術和超密集網絡（UDN）技術條件下的系統(tǒng)仿真基線參數(shù)配置。

（1）大規(guī)模天線部署

在大規(guī)模天線部署條件下仿真場景集中表示于表1中。針對大規(guī)模多輸入多輸出（MIMO）下的3種仿真場景我們給出了系統(tǒng)仿真相關基線參數(shù)，如表2所示[1]。

（2）超密集網絡部署

超密集網絡（UDN）是5G核心技術之一。我們對UDN的仿真評估也給出了仿真場景及相關基線參數(shù)，如表3所示。

1.2 5G系統(tǒng)性能評估指標

5G網絡相對于4G網絡不僅僅是“量”的變化，比如容量、速率的變化，還包括其“質”的變化，包括虛擬化、可定義等網絡基本特征的變化。原有業(yè)務模型下的平均用戶吞吐率、邊緣用戶頻譜效率等之外，連接數(shù)密度、流量密度等是5G網絡新引入的關鍵業(yè)績指標（KPI）指標。隨著5G技術研究的不斷深入，可以預見還會出現(xiàn)新的評估指標。對這些可直接度量的指標的設計一方面需要結合新業(yè)務的特點，另一方面需要充分借鑒以往KPI指標經驗。我們將從以下幾個方面介紹無線性能評估指標：

（1）無線覆蓋性能KPI指標

無線覆蓋性能的KPI指標主要有參考信號接收功率（RSRP）、信干噪比（RS-SINR）、Geometry（G）以及累積分布函數(shù)（CDF）統(tǒng)計。

RSRP是代表無線信號強度的關鍵參數(shù)，是在某個符號內承載參考信號的所有資源元素（RE）上接收到的信號功率的線性平均值[4]；RS-SINR定義為[RS_SINR=RSRPRS_RSSI-RSRP]， RS_RSSI代表所有基站的總接收信號強度；Geometry（G）定義為[G=Ior1Ioc=Ior1j=2NBIorj+N]，[Iorj]為第j個基站的平均接收功率（[Ior1]為服務小區(qū)），N為噪聲功率，NB為干擾基站的數(shù)量。

（2）容量性能KPI指標

容量性能主要從整網和用戶兩方面評估：整網容量KPI考慮連接數(shù)密度和流量密度，而用戶容量KPI則考慮單終端業(yè)務量。連接數(shù)密度是指單位面積的平均終端數(shù)，單位為終端數(shù)/km2；流量密度是指單位面積的平均業(yè)務量，單位為bps/km2；單終端業(yè)務量是指每終端每月的平均業(yè)務量，單位為byte/month/device。

（3）速率性能KPI指標

用戶體驗最直接的KPI指標是用戶速率，我們需要區(qū)分下載速率（DL）和上傳速率（UL），用戶速率評估KPI主要采用：平均、5%、50%、95%用戶吞吐率，以及CDF統(tǒng)計[2-4]。

（4）移動性能指標

對于移動狀態(tài)的用戶，在移動過程中業(yè)務連續(xù)、穩(wěn)定是基本要求，移動性能評估KPI一般采用無線鏈路失敗率、切換失敗率、乒乓切換率等，可以參考文獻[5]。

（5）時延性能指標

時延性能指標主要有往返時間（RTT）時延（用TRTT表示）和單程時間（OTT）時延（用TOTT表示）[6]。RTT時延定義為TRTT=TA1- TS1，OTT時延定義為TOTT=TA2- TS1，其中TS1為設備1發(fā)送數(shù)據(jù)包的起始時間，TA2為設備2收到設備1數(shù)據(jù)包的時間，設備2收到數(shù)據(jù)包后將會發(fā)送反饋消息，TA1則為設備1收到設備2發(fā)送的反饋消息的時間。

（6）能耗性能指標

能耗是衡量網絡能量效應的KPI，能效有兩種定義方式，如公式（1）[6]所示：

[λI=EI=PR inJ/bitorW/bps λA=PA in [W/m2]] （1）

其中，E為給定評估時間內對應功率P消耗的能量，I為對應傳輸速率R的消息容量，A為覆蓋面積。

2 5G關鍵仿真技術

本節(jié)重點闡述了5G系統(tǒng)仿真軟件在平臺架構設計及系統(tǒng)仿真過程中運用的關鍵技術，利用這些關鍵技術有效提高仿真效率，滿足5G仿真需求。

2.1 動態(tài)仿真建模技術

5G技術帶來了更加復雜的組網場景和業(yè)務類型，也增加了各類新技術。傳統(tǒng)的采用針對特定場景編碼實現(xiàn)的仿真設計模式效率很低，遠遠不能滿足日益增長的仿真需求，必須采用高復用的建模技術，因此提出了動態(tài)仿真建模技術。

動態(tài)仿真建模技術的核心思想是對網絡分層和建模，將各層次的仿真對象模型進行組件化設計[7]，同時基于仿真場景、業(yè)務模型映射得到仿真模型組件和仿真參數(shù)，再通過動態(tài)配置的方法組合成為具體的仿真流程。由于仿真對象模型設計實現(xiàn)了組件化，主要的仿真設計實現(xiàn)能夠得到充分復用，一方面提升了仿真設計和開發(fā)效率，另一方面也提升了仿真平臺的可擴展能力。

動態(tài)仿真建模技術包含兩項關鍵技術：功能庫和參數(shù)庫的生成；動態(tài)分析和配置機制。

（1）功能庫和參數(shù)庫的生成

輸出仿真平臺的基本功能模塊，根據(jù)仿真需求進行建模，抽象分解出公共庫和特性庫兩類，通過智能接口實現(xiàn)功能的配合實用，同時滿足功能的可擴展性。將功能庫和參數(shù)庫分開設計的目的也是為了保證模型適應于不同的仿真場景和仿真需求，做到充分的解耦。

（2）動態(tài)分析和配置機制

在仿真運行過程中提供分析和配置機制，參與仿真的全過程。包括對仿真需求進行分解，并映射到不同的功能庫和參數(shù)庫，再根據(jù)仿真的具體要求配置生成仿真流程。

根據(jù)仿真需求分解出對應的仿真模型，例如，軟件定義網絡（SDN）技術要求控制面和用戶面分離，網絡功能虛擬化（NFV）要求網絡功能從專用硬件設備中解耦出來，UDN中提出的虛擬小區(qū)概念等。

根據(jù)模型生成仿真參數(shù)庫，包括系統(tǒng)規(guī)格、場景參數(shù)、各項技術的配置參數(shù)等。以仿真模型為中心，基于仿真模型建立組網場景、網絡功能的參數(shù)化模板，通過合理組合這些參數(shù)化模板減少參數(shù)庫的復雜度。

根據(jù)模型映射到對應的功能庫。功能庫可以通過靈活的接口設計實現(xiàn)解耦和可擴展，根據(jù)仿真需求將映射的功能庫和參數(shù)庫有機的組織成為一個完整的仿真流程。將參數(shù)庫、功能庫、仿真流程進行動態(tài)配置形成具體的仿真任務，仿真任務直接面向用戶，需要提供友好的配置管理界面。

由以上分析可以看出：實現(xiàn)動態(tài)仿真建模的關鍵點在于模型、庫組件和參數(shù)的設計，通過運用分層、封裝、接口解耦等方面的設計解決概念模型和實現(xiàn)模型之間的耦合，才能達到技術變化對實現(xiàn)影響最小的目的。

2.2 計算資源虛擬化管理技術

當前提升仿真計算效率的主要手段是計算并行化，由于計算資源可以分布在不同的物理設備上，如何合理配置管理資源就成為核心問題。因此，我們提出了計算資源虛擬化管理技術。

資源虛擬化管理首先將仿真需求映射為可單獨部署的計算任務，基于這些計算任務再分解為可單獨部署的并行子任務，根據(jù)其特點配置相應的虛擬資源，部署在本地的并行計算任務需要分配計算資源、存儲資源，部署在從節(jié)點上的計算任務還需分配足夠的通信資源，以避免數(shù)據(jù)無法及時傳輸造成延時。

將各類硬件資源虛擬化為計算、存儲和通信3類虛擬資源，并將虛擬資源動態(tài)綁定給計算任務，仿真子任務所需要的虛擬資源需要提前評估，不同仿真子任務有不同需求，可通過仿真代碼靜態(tài)分析以及運行時統(tǒng)計等手段分析得到，并根據(jù)仿真目標確定各個仿真子任務的資源需求。

隨著底層軟件以及硬件平臺的不斷發(fā)展，可用的并行虛擬化技術較為豐富[8]，比如MATLAB提供的parfor、單程序多任務（SPMD）、MATLAB 分布式計算引擎（MDCE）等并行工具，以及適用于多種開發(fā)語言的消息傳遞接口（MPI）、OpenMP等并行編程機制。對于具體的仿真實現(xiàn)來說，不但需要底層的并行技術手段，還需要仿真應用程序也實現(xiàn)并行化設計。仿真應用程序的并行化設計很難給出通用方法，需結合業(yè)務特點專門設計并行算法，也是實現(xiàn)仿真系統(tǒng)并行虛擬化的關鍵路徑。

2.3 多核并行仿真技術

仿真軟件的并行化是仿真平臺多核并行設計的關鍵，能利用現(xiàn)有硬件資源達到最優(yōu)效果。根據(jù)需求先從功能、算法、操作對象等角度將仿真軟件并行化分解；其次通過對仿真功能模塊的合理劃分設計，減少并行子任務的通信數(shù)據(jù)量，保證各個并行子任務之間的運算量相當，減少因任務同步處理所需的等待時間。

中央處理器（CPU）+圖形處理器（GPU）的異構方案作為多核CPU并行處理的演變方案，也為提升仿真計算的速度提供了可能[9]。CPU擅長復雜邏輯運算，而GPU往往擁有上百個流處理器核心，其設計目標是以大量線程實現(xiàn)面向大吞吐量的數(shù)據(jù)并行計算，其單精度浮點計算能力可達同期CPU的10倍以上，適合處理大規(guī)模數(shù)據(jù)并行計算。因此，采用CPU+GPU的異構并行架構，利用多核CPU并行執(zhí)行復雜的邏輯計算，利用GPU處理數(shù)據(jù)并行任務，兩者協(xié)同工作，發(fā)揮計算機并行處理能力。

圖2（a）中給出了一個典型的異構多核架構，可以看出在多核CPU端使用OpenMP，而在GPU使用計算統(tǒng)一設備結構（CUDA）進行處理，任務的劃分則由程序和操作系統(tǒng)層面指定。兩部分均采用外設部件互連標準（PCI-E）總線進行互聯(lián)。

多核CPU-GPU異構平臺具有任務級和數(shù)據(jù)級多個層次的并行執(zhí)行能力，在進行負載分配時要將這些計算能力充分利用起來，可以考慮如圖2（b）所示的仿真模型結構。

2.4 硬件加速仿真技術

硬件加速仿真技術使用硬件模塊來替代軟件模塊以充分利用硬件所固有的快速特性。通常采用計算能力和邏輯處理能力都非常強的高性能現(xiàn)場可編程門陣列（FPGA）板卡。硬件加速仿真技術的主要分為3個方面：

（1）基于FPGA的高性能硬件加速關鍵技術研究，包括：高速并行處理、軟硬件仿真任務分塊及映射、高精度信號處理；

（2）硬件加速和軟仿真平臺相結合的接口及中間件設計，包括基于C仿真代碼的適配、接口層的中間件設計、可重配置計算的設計；

（3）可重配置的FPGA硬件加速卡設計，包括高速PCI-E接口設計、高速USB 3.0接口與主機的數(shù)據(jù)交互。

如圖3所示，在系統(tǒng)仿真平臺中部分鏈路采用了硬件實現(xiàn)的鏈路。這種軟硬件聯(lián)合仿真方法能夠充分硬件的高速處理能力，使得部分鏈路的系統(tǒng)仿真性能接近實時級別，結合系統(tǒng)仿真平臺較為完善的系統(tǒng)功能，就能夠更為真實地仿真對系統(tǒng)傳輸時延等一系列指標要求很高的系統(tǒng)應用場景。

3 5G候選關鍵技術評估

本節(jié)以5G關鍵技術大規(guī)模MIMO（MU-MIMO）為例，說明如何應用前述的各項關鍵技術完成MU-MIMO技術在仿真系統(tǒng)中的設計和實現(xiàn)，以達到減少仿真計算復雜度、加速仿真計算速度的目的。

（1）仿真參數(shù)說明

采用MU-MIMO模式，仿真長期演進（LTE）下行系統(tǒng)工作性能?；景l(fā)射天線數(shù)為128根，單小區(qū)內同時調度15個用戶，構成MU-MIMO的信道矩陣。

（2）仿真計算環(huán)境說明

硬件：GPU服務器XR-4802GK4，其中CPU配置為2顆Intel Xeon Ivy Bridg E5（3.0 G，單顆10核，20線程），GPU配置為8片TESLA K20；

軟件：MATLAB R2014a。

（3）計算量分析

根據(jù)MU-MIMO特性可知，計算量主要分布在信道計算、預編碼計算、接收SINR計算。設子載波數(shù)為Nc，OFDM符號數(shù)為M，基站天線數(shù)為Nt，用戶數(shù)（單天線）為Nr，接收天線數(shù)為Nr，系統(tǒng)內小區(qū)數(shù)為C。

（a）3D信道

僅以時域信道轉為頻域信道的快速傅里葉變換（FFT）變換計算次數(shù)來分析，一個小區(qū)的3D信道FFT變換的數(shù)量約為M×Nt×Nr，則在天線規(guī)模為下行128×15的情況下，相比4G天線規(guī)模為2×1的場景，計算量之比為960倍。

（b）發(fā)射端預編碼

根據(jù)仿真參數(shù)設置，發(fā)送端預編碼方案為迫零算法，預編碼矩陣計算如公式（2）所示：

[WZF=H（HHH）-1，H∈CNtxNr] （2）

預編碼的計算復雜度主要體現(xiàn)在矩陣的乘積和求逆兩部分：在迫零算法條件下，第1部分是C×Nc次Nr×Nr維矩陣求逆；第2部分是C×Nc次Nt×Nr維矩陣和Nr×Nr維矩陣的乘法。一般各類矩陣計算的算法復雜度為O（n^3），計算量隨天線數(shù)的3次冪增加。

（c）信干噪比計算

根據(jù)MIMO信號模型，可以分析得到計算量的大致規(guī)模，如公式（3）所示：

計算一個小區(qū)的信號功率需要兩次Nt維向量乘法，乘法次數(shù)為2Nt+1，計算干擾功率（含小區(qū)內和小區(qū)間干擾）需要C×（2Nt+1）次乘法，總乘法次數(shù)為（C+1）×（2Nt+1）。

從以上分析可知：MU-MIMO特性的計算量主要集中在信道計算、發(fā)射端預編碼和接收信干噪比計算模塊中，其中發(fā)射端預編碼計算量隨天線數(shù)的3次冪增長，是計算開銷最大的模塊，其次是信道計算，根據(jù)阿姆達爾定律，這兩個模塊也是計算加速最為關鍵的優(yōu)化目標。

（4）優(yōu)化方案

根據(jù)不同的模塊的特點，我們可以結合前面的關鍵技術制定加速優(yōu)化方案。

（a）信道計算

在給定仿真參數(shù)的條件下，無線鏈路信道系數(shù)和系統(tǒng)調度等行為無關，因此可以預先完成信道計算，并將計算結果保存在硬盤中，仿真系統(tǒng)初始化時可以直接讀取信道矩陣，使用預先計算好的結果，省去信道計算時間，實際時間開銷僅僅取決于讀取內存的時間。

（b）發(fā)射端預編碼

發(fā)射端預編碼主要涉及大矩陣的乘法和求逆計算，這部分計算可以充分利用CPU以及GPU的多核計算能力，在子載波層次進行并行計算。由每個GPU完成矩陣求逆和乘法計算，并行最大可以并行C×Nc路，在本測試樣例中，可以并行57×300=17 100路，在GPU核足夠多的情況下，綜合考慮傳輸帶寬的影響，基本可以滿足對發(fā)射端預編碼的加速優(yōu)化需求。在本測試樣例中，由于僅采用了一臺GPU服務器，計算資源有限，因此實際加速效果受限于硬件資源，在多機組網、超算環(huán)境中可以進一步大幅提升加速效果。

（c）信干噪比計算

此部分的計算主要是向量乘法運算，計算量相對信道計算、發(fā)射端預編碼模塊小得多，因此采用CPU加速即能夠獲得較好的效果。

（5）仿真實測結果和分析

仿真實測結果如表4、表5所示。根據(jù)不同模塊的計算特點，采用的加速方案不同，其最終加速效果也不同。

信干噪比計算模塊、消息處理模塊采用了CPU并行計算方案，預編碼模塊采用了CPU+GPU的聯(lián)合加速方案。從加速比來看，干擾模塊的加速比要小于消息處理模塊，其原因是干擾模塊需要在并行計算任務之間傳遞大量數(shù)據(jù)，包括信號功率、信道配置、調度信息等數(shù)據(jù)，在數(shù)據(jù)傳輸上的時間開銷要大于消息處理模塊，對信干噪比計算模塊進一步優(yōu)化的手段，包括增加并行CPU核數(shù)、傳輸數(shù)據(jù)壓縮、增加傳輸帶寬（高速光纖傳輸、反射內存技術等）等方案。預編碼模塊采用了CPU+GPU的聯(lián)合加速方案，加速比可以達到127倍，由于受硬件資源的限制，這部分的加速效果遠未達到上限。

4 結束語

由于5G技術的快速發(fā)展，仿真對象、場景和技術也在不斷變化，仿真架構設計和評估方法也需要同步發(fā)展。文章從系統(tǒng)仿真場景、關鍵仿真技術及5G候選關鍵技術評估方面介紹5G系統(tǒng)仿真評估，為5G候選關鍵技術的評估提供了參考解決方案，進而為5G網絡架構設計和關鍵技術研發(fā)提供有效的支撐。

參考文獻

[1] 3GPP. 3D channel model for LTE： 3GPP TR36.873 [S]

[2] 3GPP. Further advancements for E-UTRA physical layer aspects： 3GPP TR36.814 [S]

[3] 3GPP. Small Cell Enhancements for E-UTRAN-Physical Layer Aspects： 3GPP TR36.872 [S]

[4] 3GPP. Physical layer Measurements： 3GPP TS36.214 [S]

[5] 3GPP. Mobility Enhancements in

Heterogeneous Networks： 3GPP TR36.839[S]

[6] Updated Scenarios， Requirements and KPIs for 5G Mobile and Wireless System with Recommendations for Future Investigations： METIS_D1.5_v1 [S]

[7] PIRO G， GRIECO L A， BOGGIA G， et al. Simulating LTE Cellular Systems： an Open Source Framework [J]. IEEE Transactions on Vehicular Technology， 2010， 60（2）： 498-513. DOI： 10.1109/TVT.2010.2091660

[8] DONGARRA J， FOSTER I， FOX G， et al. Sourcebook of Parallel Computing [M]. USA： Elsevier Science and Technology， 2003

[9] BILELB R， NAVID N， BOUKSIAA M S M. Hybrid CPU-GPU Distributed Framework for Large Scale Mobile Networks Simulation[C]// 2012 IEEE/ACM 16th International Symposium on Distributed Simulation and Real Time Applications， 2012. USA： IEEE： 44-53， 2012. DOI： 10.1109/DS-RT.2012.15