左晗琦

摘 要：熱力學(xué)熵是對(duì)一個(gè)包含大量微觀粒子的宏觀熱力學(xué)系統(tǒng)混亂程度的量化。信息熵是對(duì)事件不確定程度的量化。本文通過研究熱力學(xué)熵和信息熵的物理本質(zhì)，并對(duì)其進(jìn)行比較探究，闡明了信息是一種負(fù)熵的本質(zhì)原因。

關(guān)鍵詞：熱力學(xué)熵；信息熵；負(fù)熵

中圖分類號(hào)：O414.11 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1671-2064（2018）20-0222-02

宏觀系統(tǒng)往往包含大量的微觀粒子，這些微觀粒子不停的運(yùn)動(dòng)和碰撞形成各種各樣的微觀狀態(tài)，對(duì)這些微觀狀態(tài)的量化即是熱力學(xué)熵。在網(wǎng)絡(luò)發(fā)達(dá)的今天，信息是現(xiàn)代社會(huì)的基石，掌握信息的多寡成為一個(gè)國家國力的衡量標(biāo)準(zhǔn)之一，信息熵即是對(duì)信息量多寡的量化方式。熱力學(xué)熵是對(duì)一個(gè)包含大量微觀粒子的宏觀熱力學(xué)系統(tǒng)混亂程度的量化，信息熵是對(duì)事件不確定程度的量化。它們之間既有聯(lián)系又有很多的區(qū)別，本文主要研究熱力學(xué)熵和信息熵以及他們之間的共同和差異之處。

1 熱力學(xué)熵

克勞修斯在1867年將熱力學(xué)第二定律的“孤立系統(tǒng)的熵永不減少”這一描述推廣到全宇宙，把整個(gè)宇宙視為一個(gè)孤立的熱力學(xué)系統(tǒng)，那么整個(gè)宇宙將會(huì)朝著熱力學(xué)平衡態(tài)演化，最終宇宙的熵將會(huì)達(dá)到極大，整個(gè)宇宙的粒子密度處處均勻并且溫度處處相等。這就是所謂的“熱寂”。熱寂說的正確性自提出以來一直備受質(zhì)疑，比如最近的天文學(xué)觀測(cè)數(shù)據(jù)表明宇宙正在加速膨脹，這就意味著經(jīng)典熱力學(xué)系統(tǒng)的能量守恒定律可能不適用于宇宙這個(gè)大系統(tǒng)；另外也有學(xué)者提出從有限大小的系統(tǒng)總結(jié)出的熱力學(xué)規(guī)律能否用于描述無限大的系統(tǒng)的質(zhì)疑，這些都表明熱寂說可能是錯(cuò)誤的，宇宙演化的終點(diǎn)可能并不是冷冰冰的。盡管如此，克勞修斯提出的熵的概念以及熱力學(xué)第二定律的熵增描述都是有其積極意義的，他使我們從新的角度了解了熱力學(xué)系統(tǒng)，并引入了量化混亂程度的方式，這為之后其他領(lǐng)域如信息領(lǐng)域的熵的量化奠定了基礎(chǔ)?？藙谛匏固岢龅撵豐的定義為一個(gè)熱力學(xué)系統(tǒng)在可逆過程中吸收的熱量dQ相對(duì)于系統(tǒng)溫度T的變化率，也就是

（1）

克勞修斯雖然提出了熵的概念并給出了熵的微分表達(dá)式，但并沒有賦予熵明確的物理含義。

一個(gè)典型的熱力學(xué)系統(tǒng)往往包含大量的微觀粒子，這些微觀粒子以不同的速度在系統(tǒng)的不同的空間位置做永恒的熱運(yùn)動(dòng)。某一個(gè)微觀粒子的狀態(tài)由三個(gè)空間坐標(biāo)和三個(gè)速度坐標(biāo)表示為（x，y，z，vx，vy，vz），這六個(gè)坐標(biāo)可以確定微觀粒子在六維相空間中的位置。如果能獲知某一時(shí)刻系統(tǒng)中所有粒子在六維相空間中的位置，我們就唯一確定了系統(tǒng)的某一微觀狀態(tài)。由于粒子在不斷的運(yùn)動(dòng)并可能發(fā)生碰撞，運(yùn)動(dòng)意味著粒子的位置在不斷的改變，而碰撞則會(huì)導(dǎo)致不同粒子的速度發(fā)生交換或改變，而粒子速度或位置的改變將會(huì)導(dǎo)致新的微觀狀態(tài)出現(xiàn)。系統(tǒng)的微觀狀態(tài)總數(shù)Ω可視為系統(tǒng)的不確定程度或者混亂程度。玻爾茲曼發(fā)現(xiàn)熱力學(xué)熵S和系統(tǒng)的微觀狀態(tài)總數(shù)Ω間有如下關(guān)系[1]：

S=klnΩ. （2）

其中k為玻爾茲曼常數(shù)。式（2）表明系統(tǒng)的熵正比于系統(tǒng)的微觀狀態(tài)總數(shù)，因此熱力學(xué)熵的物理意義是對(duì)一個(gè)包含大量微觀粒子的宏觀熱力學(xué)系統(tǒng)混亂程度的量化。

若不對(duì)孤立熱力學(xué)系統(tǒng)加以任何限制，粒子可以等概率的處以任意一個(gè)單粒子能級(jí)的任意一個(gè)簡(jiǎn)并態(tài)上，這將會(huì)導(dǎo)致系統(tǒng)的平均能量為無窮大。但如果對(duì)系統(tǒng)的總能量加以限制，粒子處于不同能級(jí)的某個(gè)簡(jiǎn)并態(tài)的概率將會(huì)不同，我們把粒子依照能級(jí)的分布概率稱之為粒子的能級(jí)分布律，具有相同平均能量的分布律有很多種。最概然統(tǒng)計(jì)法指出系統(tǒng)的平衡態(tài)應(yīng)當(dāng)是所有可能的能級(jí)分布中熱力學(xué)熵最大的分布，這就把熱力學(xué)熵和系統(tǒng)的能級(jí)分布聯(lián)系了起來。通過求熵極大的狀態(tài)，就可以得到系統(tǒng)粒子按照能級(jí)的分布規(guī)律，進(jìn)而得到其他宏觀物理量和微觀量之間的關(guān)系。

2 信息熵

從生活的角度而言，信息指的是傳播在人類社會(huì)的所有內(nèi)容，包括從古至今傳承的記錄于紙面的知識(shí)、口耳相傳的音訊、現(xiàn)代通訊系統(tǒng)中處理和傳輸?shù)膶?duì)象等。香農(nóng)認(rèn)為信息是用來消除事件的不確定性的東西，這一定義被廣泛認(rèn)可并傳播使用。但同樣的內(nèi)容在不同人的眼里傳遞信息的多寡卻不相同。比如‘北京這兩個(gè)字，若討論范圍被限定在新中國的首都，那由于新中國的首都是唯一確定的，因此這兩個(gè)字沒有傳遞任何信息，新中國的首都和北京是等價(jià)的，任何人不通過信息傳遞都可獲知北京這一信息；但若討論范圍被限定在新中國的直轄市，如果沒有信息傳遞，則問題的答案可能是北京、上海、天津和重慶中的任一個(gè)，如果傳遞了‘北京這個(gè)信息，則‘北京從四個(gè)可能的直轄市中確定了其中一個(gè)直轄市，也就是為了消除最終答案的不確定性，必須傳遞‘北京這個(gè)信息。為了給信息量的多寡提供一種量化手段，香農(nóng)受熱力學(xué)熵的啟發(fā)在1948年提出了信息熵的概念。若對(duì)于一個(gè)事件集合{Xi}，i=1，2，3，…，n，隨機(jī)事件Xi發(fā)生的概率為為pi，其中pi滿足=1。則這個(gè)事件集合的信息熵被定義為：

. （3）

其中c為常數(shù)，log可為以任意數(shù)為底的對(duì)數(shù)[1]。在二進(jìn)制通道中，常數(shù)c被取為1，對(duì)數(shù)log的底被取為2。在這種情況下得到的信息熵的單位為bit。

從信息熵的定義可以看出，某個(gè)信息傳遞的信息量的多寡的衡量必須在某個(gè)確定的事件集合下討論。若事件集合中所有事件都是等可能的，那么集合包含的事件越多，則對(duì)應(yīng)的信息熵就越大，這就回答了我們之前討論的‘北京這兩個(gè)字代表的信息量的問題。同樣的信息集合，其概率分布pi越平均，則其信息熵越大，最大值在pi=1/n處取到，這一點(diǎn)可以從概率分布越平均則隨機(jī)猜測(cè)時(shí)能猜到正確答案的概率越小這一角度理解。一個(gè)事件集合中所有可能的事件在二進(jìn)制通道中通過字母表和二進(jìn)制編碼一一對(duì)應(yīng)，但不同的編碼方式對(duì)應(yīng)不同的平均編碼長(zhǎng)度，二進(jìn)制通道下的香農(nóng)熵還代表了所有可能的編碼方式的最短的平均編碼長(zhǎng)度。

3 熱力學(xué)熵和信息熵的關(guān)系

熱力學(xué)第二定律和克勞修斯的熱寂學(xué)說提出后，麥克斯韋為反駁熵增定律提出了被稱為‘麥克斯韋妖的思想實(shí)驗(yàn)。麥克斯韋妖是一個(gè)可以探知粒子運(yùn)動(dòng)速度的小妖，它守在一個(gè)通過小孔連接的兩個(gè)處于熱平衡態(tài)系統(tǒng)A和B的小孔處。若系統(tǒng)A中的一個(gè)朝著小孔飛來的粒子速率大于某個(gè)速率值v，或者系統(tǒng)B中一個(gè)朝著小孔飛來的粒子速率小于速率值v，麥克斯韋妖打開小孔。經(jīng)過一段很長(zhǎng)的時(shí)間后，系統(tǒng)A中將只剩下速率小于v的粒子，系統(tǒng)B中都是速率大于v的粒子。系統(tǒng)的溫度是系統(tǒng)粒子微觀運(yùn)動(dòng)劇烈程度的量化，微觀運(yùn)動(dòng)的劇烈程度就是粒子的運(yùn)動(dòng)速率，這就意味著最終系統(tǒng)B的溫度將明顯高于系統(tǒng)A，整個(gè)孤立系統(tǒng)的熵減小，而這違反了熱力學(xué)第二定律，因此這個(gè)思想實(shí)驗(yàn)被稱為麥克斯韋妖悖論。這個(gè)悖論的解決方式是不可能毫無代價(jià)的獲知粒子的速率信息，獲取粒子的速率信息需要向系統(tǒng)輸入能量，而根據(jù)熱力學(xué)第二定律，通過向系統(tǒng)輸入能量可減少系統(tǒng)的熵，這樣麥克斯韋妖悖論和熱力學(xué)第二定律的矛盾就消失了。從獲取信息需要輸入能量這一角度而言，信息熵是一種負(fù)熵。

香農(nóng)提出的信息熵是受熱力學(xué)熵啟發(fā)的，因此信息熵和熱力學(xué)熵有許多相似之處。若將宏觀系統(tǒng)的每一個(gè)微觀狀態(tài)都視為一個(gè)可能的事件，根據(jù)等概率原理，每個(gè)微觀狀態(tài)出現(xiàn)的概率均為，因此該事件集合對(duì)應(yīng)的信息熵為：

. （4）

通過（4）式和（2）式的比較可以看出，通過這種方式定義的信息熵和熱力學(xué)熵僅僅相差一個(gè)常數(shù)，因此信息熵和熱力學(xué)熵具有相同的物理本質(zhì)。信息熵衡量的是某個(gè)事件集合對(duì)應(yīng)的事件的不確定性，信息是消除這種不確定性的東西，因此信息是負(fù)的信息熵，或者說信息熵是一種負(fù)熵[2]。

從生活角度而言，熱力學(xué)熵和信息熵的差別似乎頗大。熱力學(xué)熵多用于研究熱力學(xué)系統(tǒng)方面，而信息熵多用于衡量信息的傳遞和信息的獲取等方面。但根據(jù)上文中我們對(duì)這兩種熵之間的比較，它們有很多類似的地方。

4 總結(jié)與展望

熱力學(xué)熵是對(duì)一個(gè)包含大量微觀粒子的宏觀熱力學(xué)系統(tǒng)混亂程度的量化，從等概率原理和熵極大出發(fā)可推導(dǎo)出系統(tǒng)按能級(jí)的分布規(guī)律。信息熵是對(duì)事件不確定程度的量化，信息消除了事件的不確定性，因此信息熵是一種負(fù)熵。熵也可以用來一定程度上解釋生活現(xiàn)象。比如，房間不可能自動(dòng)變得更整潔（有序），而只會(huì)隨著人的隨意活動(dòng)而更臟亂（無序），人必須付出一定的勞動(dòng)才能使其變得整潔（外部能量輸入使熵降低）。熵的思想還可以拓展到到許多其他范疇，如經(jīng)濟(jì)學(xué)和社會(huì)學(xué)等。信息熵只是由熱力學(xué)熵引申出的熵中的一個(gè)分支，熵的概念可進(jìn)一步推廣到更為廣泛的范圍，這值得我們進(jìn)一步的研究。

參考文獻(xiàn)

[1]魏環(huán).簡(jiǎn)論熱力學(xué)熵、信息熵及熵的泛化[J].現(xiàn)代物理知識(shí)，1999，（6）：6-7.

[2]李寶立.淺談熵定律對(duì)信息的另一認(rèn)識(shí)[J].科學(xué)中國人，2014，（6）：75-75.