徐大專，屠偉林，施 超，周 穎

（南京航空航天大學電子信息工程學院，南京，211106）

引 言

雷達、聲納和醫(yī)學成像等目標參數(shù)估計系統(tǒng)可以從反射信號中獲取目標的距離、方向和幅度等空間信息，正在國防和國民經(jīng)濟部門發(fā)揮越來越重要的作用。雷達參數(shù)估計的主要任務是目標檢測、參數(shù)估計和區(qū)域成像。除了距離和散射信息之外，相控陣雷達和合成孔徑雷達還可獲得目標的方向信息，或者對觀測區(qū)域進行成像。干涉合成孔徑雷達甚至可以獲得觀測區(qū)域的三維空間信息。目前，雷達與通信技術相融合的趨勢越來越明顯，雷達和通信系統(tǒng)中MIMO 多天線技術的應用越來越廣泛[1-6]，雷達通信一體化技術[7-14]的不斷發(fā)展，從共用天線到共用射頻，再到共用波形，融合的程度也在加深。

雷達是一種典型的信息獲取系統(tǒng)，而通信是一種信息傳輸系統(tǒng)，那么，雷達和通信兩種信息系統(tǒng)能否在信息理論的基礎上進行統(tǒng)一的描述和刻畫？信息論與雷達的關系是國際學術界長期關注，而未能解決的基礎理論問題。2017 年，國際信息論期刊《Entropy》在“雷達與信息理論”特刊的征稿啟示[15]中充分表達了國際學術界的迫切期望。

從Woodward 和Davies 研究距離信息[16-18]至今已有近70 年歷史，特別是Bell 的研究工作[19]發(fā)表后，以互信息和相對熵為測度進行雷達系統(tǒng)的波形設計引起了國內(nèi)外學術界的廣泛關注。關于距離互信息的研究可追溯至20 世紀50 年代，Woodward 和Davies[16-18]采用逆概率原理研究距離信息問題，得到了單個恒模散射目標的距離互信息與時帶積、信噪比（Signal noise ratio, SNR）的近似關系。然而，Woodward 和Davies 只研究了雷達參數(shù)估計系統(tǒng)中目標的距離信息問題，而沒有涉及散射信息問題，并且逆概率研究方法的局限性導致他們的工作無法推廣到多目標情況。一個頗為不解的現(xiàn)象是，關于距離信息的研究工作在此后近70 年中再無人涉足。1988 年，Bell 首先將互信息測度用于雷達系統(tǒng)的波形設計[19]，根據(jù)Neyman-Pearson 準則，Bell 證明了最佳波形設計與信道容量的最優(yōu)功率注水解相對應[20]，正好與通信系統(tǒng)的最優(yōu)功率分配問題相吻合。在Bell 的系統(tǒng)模型中，目標的距離信息隱含于沖激響應中。由于實際環(huán)境中目標位置是不斷變化的，必須采用自適應的波形設計方法。由于Bell 的工作是針對目標檢測問題提出來的，其模型并不區(qū)分不同的目標，因此，從本質上說，Bell 的工作只研究了空間信息中的散射信息問題，而沒有涉及雷達參數(shù)估計系統(tǒng)中更重要的距離信息問題。

2017 年，筆者提出了雷達參數(shù)估計的空間信息概念，將空間信息定義為接收信號與目標距離及散射的聯(lián)合互信息，從而將距離信息和幅度信息納入的統(tǒng)一定義框架中[21]；2019 年進一步提出熵誤差概念[22]，并用熵誤差評價參數(shù)估計系統(tǒng)的性能。熵誤差是均方誤差指標的推廣，在高SNR 條件下退化為均方誤差,證明了每獲得1 bit 位置信息等價于熵偏差縮小一半，或參數(shù)估計精度提高一倍。筆者團隊已經(jīng)通過理論推導得到了單目標/多目標距離信息和給定目標位置條件下散射信息的閉合表達式[23-24]。

2018 年，筆者將空間信息的概念推廣到傳感器陣列，給出了波達方向（Direction of arrival,DOA）信息和散射的統(tǒng)一定義[23]，并針對恒模信源，得到了DOA 互信息的閉合表達式。最近，進一步研究相控陣雷達的空間信息問題，把目標的距離信息、方向信息和散射信息納入到空間信息的統(tǒng)一定義框架[25]。用空間信息理論解釋雷達分辨率是筆者近期研究工作[26]，發(fā)現(xiàn)可以通過特征信道的散射信息定義空間分辨率Δ=2/ρβ，這種分辨率不僅與信號帶寬有關，還與SNR 有關。由于新分辨率在形式上與Cramér-Rao 界（CRB）一致，故稱Cramér-Rao 分辨率。Cramér-Rao 分辨率在理論上指出超分辨的可能性，并已得到多維最大似然估計方法的驗證。指出傳統(tǒng)分辨率是一維最大似然估計方法的分辨能力，而分辨率問題本質上是多維問題，因此，多維最大似然估計方法的超分辨率與傳統(tǒng)分辨率并不矛盾。文獻[27]總結了空間信息論研究的最新進展情況。

參數(shù)估計一直是雷達信號處理所關心的問題，并已形成相對成熟的理論體系。但以筆者的觀點，參數(shù)估計還存在兩大問題：第一個問題與參數(shù)估計精度的評價指標有關。參數(shù)估計的精度通常用均方誤差衡量，然而，在中低SNR 條件下誤差統(tǒng)計量一般不是二階統(tǒng)計量，這時仍然采用均方誤差作為評價指標既不全面，也欠合理。該問題在測量領域也普遍存在。第二個問題與參數(shù)估計的最優(yōu)性有關，具體來說，是否存在某種最優(yōu)的參數(shù)估計方法，如果存在，這種方法在何種意義上最優(yōu)，且最優(yōu)估計精度能達到多少？這兩個問題正是本文參數(shù)估計定理要回答的。

本文的內(nèi)容安排：第1 節(jié)給出雷達多目標參數(shù)估計的系統(tǒng)模型。第2 節(jié)給出空間信息的定義。第3節(jié)提出熵誤差的概念，并用熵誤差評價參數(shù)估計方法的性能；還給出一種新穎的抽樣后驗概率估計方法，該方法是一種隨機參數(shù)估計方法，不同于傳統(tǒng)的確定性參數(shù)估計方法。第4 節(jié)描述并證明參數(shù)估計定理。第5 節(jié)進一步展望空間信息論的發(fā)展方向。

1 雷達探測系統(tǒng)模型

假設有L個目標在探測范圍中，目標間相互獨立，目標的位置和散射信號也相互獨立。雷達接收的基帶信號可表示為

式中：ψ(t)表示帶寬為B/2 的基帶發(fā)送信號；sl=αlejφl為第l個目標的復散射系數(shù)，其中αl為幅度，φl=-2πfcτl+φl0為相位；τl=2dl/v為第l個目標的時延，dl為目標位置到雷達接收機位置的距離，v為信號傳播速度；w(t)表示帶寬為B/2，均值為零的復高斯白噪聲，它的實部和虛部的功率譜密度均為N02。

一般來說，散射系數(shù)的幅度α是時延的函數(shù)，隨距離的增加而減小。為簡單起見，本文將α看成常數(shù)，隱含地假設觀測區(qū)間較小，可以忽略衰減的影響。對于大觀測區(qū)間，可將觀測區(qū)間分成若干小區(qū)間，雖然每個區(qū)間的α不同，但在一個小區(qū)間內(nèi)可視為常數(shù)，后面的分析方法仍然適用。

為了理論分析方便，假設觀測區(qū)間的中心為目標參考點位置，目標觀測區(qū)間設為[-D2,D2)，如圖1(a)所示。則接收信號對應的時延范圍為[-T2,T2)，如圖1(b)所示。假設信號模型中發(fā)射信號是理想的低通信號，即基帶信號為

圖1 三種觀測區(qū)間與信號波形Fig.1 Three observation intervals and signal waveforms

式中：T表示觀測時間，假設T? 1/B，即BT? 1，這時信號能量幾乎全部位于觀測區(qū)間之內(nèi)，即

ψ(t)的頻譜為

根據(jù)Shannon-Nyquist 采樣定理，以采樣率B對接收信號z(t)進行采樣，得到離散形式如圖1(c)所示。

式中N=TB為時間帶寬積(Time bandwidth product,TBP)。令xl=Bτl，表示目標的歸一化延遲，它反映了目標位置與雷達的距離，那么，可以得到離散形式系統(tǒng)方程為

帶寬為B/2 的高斯噪聲的自相關函數(shù)為

以采樣率B得到的離散噪聲樣值w(n)間隔為1/B的整數(shù)倍。由式(7)可知，噪聲樣值是不相關的，并且w(n)是復高斯隨機變量，所以w(n)互相獨立。

為了描述方便，將式(6)寫成矢量形式

式中：z=[z(-N/2),…,z(N/2-1)]T表示離散接收信號；U(x)=[u(x1),…,u(xL)]T表示由發(fā)射信號波形和目標時延確定的位置矩陣，其第l列矢量u(xl)=[sin c(-N/2-xl),…,z(N/2-1-xl)]T是經(jīng)過第l個目標時延后的回波；s=[s1,…,sL]T表示目標散射矢量；w=[w(-N/2),…,w(N/2-1)]T表示噪聲矢量，其分量是獨立同分布的、均值為0、方差為N0的復高斯隨機變量。

2 空間信息的概念及其定量

2.1 目標和信道的統(tǒng)計模型

雷達參數(shù)估計系統(tǒng)目標的統(tǒng)計特性對應于通信系統(tǒng)的信源。目標統(tǒng)計特性是距離和散射的聯(lián)合分布p(x,s)，一般目標的位置和散射是不相關的，即

式中：p(x)表示歸一化距離的先驗概率密度函數(shù)（Probability density function, PDF），p(s)表示散射信號的PDF。

在沒有任何先驗信息的情況下，目標的距離通常假定為在觀測區(qū)間上均勻分布的隨機變量。

雷達目標散射特性十分復雜，目前已經(jīng)針對不同散射場景建立散射信號統(tǒng)計模型，本文只考慮恒模（Swerling 0）和復高斯（Swerling 1）兩種典型的雷達電磁散射信號統(tǒng)計模型。恒模散射系數(shù)模型刻畫的目標處于準靜止狀態(tài)，其功率恒定，相位φ在[0,2π]上均勻分布。復高斯散射模型刻畫的目標由許多隨機分布的散射體組成，且其中沒有起主要作用的強散射體。散射系數(shù)的實部和虛部為相同的高斯分布且互相獨立。換句話說，復高斯散射系數(shù)的幅度呈瑞利分布。兩種散射信號的統(tǒng)計特性可表示為

設信道是復高斯加性白噪聲信道（Complex Gaussian additive white noise, CGAWN），N維復高斯噪聲矢量的概率密度函數(shù)為

那么，給定X和S時Z的N維條件概率密度函數(shù)為

式（12）展開可得

式中?(·)表示取實部。式（13）定義了雷達參數(shù)估計系統(tǒng)的信道特性。

2.2 目標空間信息的定義

從統(tǒng)計的觀點處理系統(tǒng)方程，令X和S分別表示多目標的歸一化隨機距離矢量和散射矢量，Z和W為隨機接收信號矢量和噪聲矢量?，F(xiàn)有如下定義：

定義1（空間信息） 目標的空間信息定義為接收信號與距離和散射信號的聯(lián)合互信息，即

式中

表示接收信號的無條件分布。

由互信息的可加性可以證明，空間信息為距離信息I(Z;X)與已知距離的條件散射信息I(Z;S|X)之和，即

從式(16)可以看出，空間信息的計算過程為：（1）計算目標的距離信息I(Z;X)；（2）計算已知距離的條件散射信息I(Z;S|X)。

空間信息的定義是筆者在文獻[21]中首次給出的，在此之前，距離信息的研究工作很少，而散射信息的研究則很多，但都沒有將兩者放在一起研究。通常認為距離和散射有不同的單位，很難將兩者納入一個統(tǒng)一概念框架之中?？臻g信息的定義是一個正式的標志，意味著香農(nóng)信息論正式成為雷達等信息獲取系統(tǒng)的理論基礎。從此，同信息傳輸系統(tǒng)一樣，信息獲取系統(tǒng)也可以用比特作為單位進行統(tǒng)一定量了。

3 參數(shù)估計方法及性能評價

考慮復高斯散射目標和CAWGN 信道，這時接收信號Z也是復高斯的，其協(xié)方差矩陣R為

將z=U(x)s+w代入式（17）可得

條件概率分布刻畫信道的統(tǒng)計特性，又稱為似然函數(shù)。使式（19）達到最大的估計值稱為距離x的最大似然估計，記為，則

實際中常用對數(shù)似然函數(shù)，那么

式（22）是多目標距離參數(shù)的最大似然估計表達式，顯然，普通的單目標匹配濾波估計器不是最大似然估計器。從式（22）還可以看到，協(xié)方差矩陣在多目標參數(shù)估計中占有核心地位，如何充分利用統(tǒng)計信息對多目標參數(shù)估計的性能有很大影響。

設目標距離的先驗分布為p(x)，由貝葉斯公式得后驗概率分布為

式（23）的分母為歸一化常數(shù)，先驗分布的作用可看成一個多維權函數(shù)對似然函數(shù)加權。

使式（23）達到最大的估計值稱為目標距離x的最大后驗概率估計，記為MAP，則

如果目標距離在觀測區(qū)間內(nèi)服從均勻分布，則已知接收信號時目標歸一化時延的后驗概率分布為

式（25）的分母是定義在觀測區(qū)間上的多重積分，積分結果是一個歸一化常數(shù)。

顯然，當先驗分布與目標位置無關時，最大后驗概率估計等同于最大似然估計。先驗分布相當于一個窗函數(shù)，對最大似然估計統(tǒng)計量進行加權。實際中第一次參數(shù)估計時，因沒有先驗信息故使用最大似然估計。在后續(xù)參數(shù)估計和目標跟蹤時，利用已有的先驗信息作最大后驗概率估計，不斷提高參數(shù)估計精度。

初中語文課本中有不少抽象不易理解的內(nèi)容。而色彩、線條、形象可以有效地調動學生的思維，便于他們理解。因此，語文教師可以運用這一認知規(guī)律，借助美術中的色彩和形象把課文內(nèi)容具體表現(xiàn)出來，以視覺為突破口，對學生理解課文內(nèi)容大有裨益。如教文言文《河中石獸》時，學生對“石獸掉入河底后在河流上游”這一點理解起來很困難，可以畫一幅石獸在河底運動的動態(tài)圖讓學生看，這樣化抽象的說理為具體的畫面，學生就很容易理解了。

定義2（抽樣后驗概率估計） 對后驗概率分布p(x|z)進行抽樣產(chǎn)生的估計值稱為目標距離x的抽樣后驗（Sampling a posterior, SAP）概率估計，記為，則

常見的最大似然估計和最大后驗概率估計都是確定性估計，對給定接收信號序列的估計值是唯一確定的，而抽樣后驗概率估計是一種隨機估計器，對給定接收信號的估值SAP是不確定的。本文提出抽樣后驗概率估計的目的是為了證明后面的參數(shù)估計定理，因為它的性能取決于后驗概率分布，而最大后驗概率估計的性能不容易確定。這種思想與香農(nóng)編碼定理采用的隨機編碼一脈相承。抽樣后驗概率估計方法還具有重要的實際應用價值，它避免了確定性估計方法遇到的譜峰搜索問題，在多維參數(shù)估計應用場景具有低復雜度優(yōu)勢。

參數(shù)估計的性能通常用均方誤差來衡量，然而，在中低SNR 比條件下判決統(tǒng)計量一般不是二階的，這時用均方誤差作為評價指標既不全面，也欠合理。那么，如何評價估計器性能呢？后驗微分熵h(x|z)表示不確定性，h(x|z)越小意味著估計越準確。為了從信息論角度評價估計器性能，有

定義3（熵誤差） 設某一距離估計器的后驗概率分布為p(x|z)，那么

稱為距離估計的熵誤差，其中

為對應于p(x|z)的微分熵。

熵誤差簡記為，這里熵誤差表示參數(shù)矢量的聯(lián)合估計精度。在此之前，由于參數(shù)間存在相關性，多參數(shù)估計的精度需要一個矩陣去描述，可參考費雪信息矩陣。熵誤差用一個標量就可以表示聯(lián)合估計的總體性能，充分反映信息論方法在描述估計器性能方面的優(yōu)勢。

定義4（熵偏差） 熵誤差的平方根σEE稱為熵偏差。

以上定義的熵誤差和熵偏差只與目標和信道的統(tǒng)計特性有關，與具體的參數(shù)估計方法無關，有時又稱理論熵誤差，以區(qū)別于后面與估計方法相關的經(jīng)驗熵誤差。事實上，熵誤差就是后驗概率分布的熵功率，它是均方誤差的推廣。在高SNR 條件下，后驗概率分布逼近高斯分布，這時熵誤差退化為均方誤差，因此，熵誤差相比均方誤差對各種SNR 條件具有普適性。

針對單目標情況，后驗熵的近似表達式為[28]

式中離散熵為

而

稱為檢測因子，它刻畫了檢測到目標的概率，當ρ2→0時,ps→0；當ρ2→∞時,ps→1。

將式(29)代入式(27)可得熵誤差的近似公式為

式（32）表明熵誤差是克拉美羅界在各種SNR 條件下的推廣，在SNR 條件下，ps趨近于1，熵誤差退化為克拉美羅界。

圖2 比較了目標距離估計的理論熵誤差、均方誤差、克拉美羅界和熵誤差的近似公式。由圖2 可見，后驗概率分布隨著SNR 的提高逐漸逼近高斯分布，這時熵誤差漸漸退化為均方誤差，并逼近克拉美羅界。

熵誤差/熵偏差和距離信息具有密切的聯(lián)系，設σEE(X)是先驗分布p(x)定義的熵偏差，即

σEE(X|Z)是后驗概率分布p(x|z)定義的熵偏差，即

那么有

式中I(Z;X)表示距離信息。那么，有

定理1每獲取1bit 距離信息等價于熵偏差縮小一半，或估計精度提高一倍。

定理1 表明，距離信息和熵偏差都可以表征參數(shù)估計系統(tǒng)性能，距離信息代表獲取信息的數(shù)量，熵偏差代表參數(shù)估計的精度，兩者是完全等價的。該定理充分說明，用熵誤差/熵偏差評價參數(shù)估計系統(tǒng)性能是合理的。

參數(shù)估計信息與參數(shù)估計精度之間的關系也有助于理解人類的學習與認知過程。人們以對事物的認知程度由某種概率分布刻畫，盡管通常并不能給出這種概率分布的具體數(shù)學形式。學習過程就是信息獲取的過程，獲取多少信息量取決于認知概率的變化。如果認知概率分布的熵偏差越小，則獲得的信息就越多。隨著認知的逐漸深入，不確定性會不斷降低，對事物的認識程度也不斷提高。在人工智能和機器學習領域，還沒有一個認知系統(tǒng)模型，學習過程由數(shù)據(jù)驅動，所以通常很難獲得具體的認知概率分布，但可以通過機器學習結果來評估所獲得的信息量。

圖2 目標歸一化時延的方差Fig.2 Variance of target's normalized delay

4 參數(shù)估計定理

香農(nóng)信息論的核心內(nèi)容是編碼定理，那么，空間信息論是否存在類似的定理呢？在信號處理和參數(shù)估計領域，通常默認最大似然估計和最大后驗概率估計是最佳的，并作為估計準則。人們長期忽視的基本理論問題是：（1）何種估計器是最優(yōu)的；（2）在什么意義上最優(yōu)；（3）最優(yōu)的性能是什么？

參數(shù)估計定理涉及的內(nèi)容非常廣泛，本節(jié)只針對單目標位置參數(shù)估計問題給出證明的框架。在證明定理之前先定義需要用到的概念。

定義5（目標時延特性） 在觀測區(qū)間上一個目標的歸一化時延為隨機變量，歸一化時延的先驗分布稱為目標時延特性。

在時延參數(shù)估計中目標時延特性相當于信源統(tǒng)計特性，故也簡稱為目標或信源。

定義6（參數(shù)估計信道） 參數(shù)估計信道(X,p(z|x),Z)的輸入是目標的歸一化時延，定義在有限的實觀測區(qū)間上，信道的輸出是由接收復信號序列組成的集合，信道特性由條件概率密度函數(shù)p(z|x)確定。

定義7（估計器） 估計器是對歸一化時延的一個估計函數(shù)=f(z)，對給定的接收序列輸出一個距離的估計值。

定義8（聯(lián)合目標-信道） 聯(lián)合目標-信道(X,p(x),p(z|x),Z)是指目標時延特性和信道統(tǒng)計特性組成的總體。

聯(lián)合目標-信道定義了估計器所要面對的參數(shù)估計環(huán)境，這里假定估計器已知聯(lián)合目標-信道的全部統(tǒng)計特性。

定義9（參數(shù)估計系統(tǒng)） 參數(shù)估計系統(tǒng)(X,p(x),p(z|x),=f(z),Z)刻畫目標特性、信道特性和估計器組成的總體。

一次參數(shù)估計過程由目標、信道和估計器3 部分組成，簡稱為一次快拍。多次快拍將產(chǎn)生擴展目標和擴展信道，M次快拍的參數(shù)估計過程如圖3 所示。

圖3 M 次快拍的參數(shù)估計系統(tǒng)Fig.3 Parameter estimation system of M snapshots

定義10(無記憶擴展目標)無記憶擴展目標指擴展目標之間相互獨立。

定義11(無記憶擴展信道)無記憶快拍信道（Memoryless snapshot channel，MSC）指多次快拍產(chǎn)生的擴展信道(XM,p(zM|xM),ZM)滿足

聯(lián)合目標-信道(X,p(x),p(z|x),Z)確定了后驗概率分布p(x|z)和后驗微分熵h(x|z)，進而也確定了理論熵誤差為。本文還需定義另一種與估計器相關的熵誤差。

定義12(經(jīng)驗熵誤差)M次快拍的經(jīng)驗熵定義為經(jīng)驗熵誤差為

定義13(可達性)熵誤差稱為可達的，如果存在一個估計器，其M次快拍的經(jīng)驗熵誤差滿足

定義14(聯(lián)合典型序列)服從聯(lián)合分布p(x,z)的聯(lián)合典型序列{(xM,zM)}所構成的集合是指它的經(jīng)驗熵與真實熵差值小于ε的M長序列構成的集合，即

式中

這里定義的聯(lián)合典型序列與香農(nóng)信息論完全一致，即擴展信源信道(XM,p(xM),p(zM|xM),ZM)的輸入和輸出構成聯(lián)合典型序列。

引理1對于無記憶快拍信道(XM,p(zM|xM),ZM)，如果是后驗概率分布p(x|z)的M次抽樣估計，則(,zM)是關于概率分布p(,zM)的聯(lián)合典型序列。

證明：由于是后驗概率分布p(x|z)的M次抽樣估計，則擴展后驗概率分布pf(|zM)=p(|zM)，那么

證畢。

抽樣后驗概率估計的性能完全由后驗概率分布p(x|z)確定，因此，由抽樣后驗概率估計得到的擴展序列(,zM)是關于概率分布p(,zM)聯(lián)合典型的。

定理2(參數(shù)估計定理)熵誤差是可達的，具體來說，設估計器已知聯(lián)合信源-信道(X,p(x),p(z|x),)統(tǒng)計特性，則，對任意ε＞0，必定存在估計器，其經(jīng)驗熵誤差滿足

且

反之，任何估計器的熵誤差不可能小于理論熵誤差。

定理分為正定理和逆定理兩部分，先證明正定理。

正定理的證明：

(1)根據(jù)目標距離特性獨立產(chǎn)生M次擴展目標xM；

(2)根據(jù)擴展目標xM和M次擴展信道特性p(z|x)產(chǎn)生接收序列zM，經(jīng)過M次快拍產(chǎn)生的接收信號zM滿足

采用抽樣后驗概率估計器，令是對于無記憶快拍信道p(zM|xM)的M次抽樣估計，由引理1 可知，(,zM)是關于概率分布p(,zM)的聯(lián)合典型序列。

根據(jù)聯(lián)合典型序列的定義，對任意ε＞0，只要快拍數(shù)足夠大，有

由于p(|zM)=p(,zM)/p(zM)，那么

也就是

根據(jù)熵誤差及經(jīng)驗熵誤差的定義，有

根據(jù)聯(lián)合典型序列的定義和切比雪夫不等式，隨快拍數(shù)M→∞，ε→0，則

這說明采用抽樣后驗概率估計器的經(jīng)驗熵誤差可逼近理論熵誤差。

逆定理的證明：

令=f(zm)是任一估計器，由該估計器獲得的互信息記為If(ZM,XM)，那么

式中hf(XM|ZM)是該估計器的后驗微分熵。顯然(ZM,,XM)組成馬爾可夫鏈，由數(shù)據(jù)處理定理

因此

由熵誤差的定義立即有

證畢。

參數(shù)估計定理的證明是構造性的，就是說，抽樣后驗概率估計是一種實際可使用的估計方法，其性能是漸近最優(yōu)的。

參數(shù)估計定理表明，熵誤差是任何參數(shù)估計方法的理論極限。在此之前，雖然克拉美羅界也被當作是任何參數(shù)估計方法的理論下界，但它只有在高SNR 條件下是漸近的，而在中低SNR 條件下明顯是不可達的。熵誤差下界在各種SNR 條件下都是可達的，由于實際系統(tǒng)往往更多工作于中低SNR 條件下，因此，熵誤差給出的理論下界具有更重要的實際意義。

5 結束語

參數(shù)估計定理指出，熵誤差是可達的，并且是所有參數(shù)估計方法所能達到的理論下界。熵誤差之于參數(shù)估計就像信道容量之于信道編碼，率失真函數(shù)之于信源編碼的作用一樣，為所有參數(shù)估計方法指出了理論極限。參數(shù)估計定理還表明，本文提出的抽樣后驗概率估計方法是漸近最優(yōu)的。隨機估計的思想類比于香農(nóng)信息論的隨機編碼，對提高參數(shù)估計的性能、降低估計方法的復雜性都具有重要意義。參數(shù)估計定理之于雷達系統(tǒng)的意義可類比于香農(nóng)編碼定理之于通信系統(tǒng)，可以作為最優(yōu)參數(shù)估計問題的理論基礎。

參數(shù)估計定理的證明意味著空間信息論的理論框架正在逐步建立。空間信息論統(tǒng)一了雷達和通信的信息論基礎，必將對雷達、聲納和醫(yī)學影像的系統(tǒng)理論和信號處理方法產(chǎn)生巨大的推動作用?？臻g信息與參數(shù)估計精度之間的關系有助于理解人類的學習與認知過程，對人工智能和機器學習相關的研究也有參考價值。