熵與信息論

熵的概念起初來自熱力學。熱力學認為熱量的轉換應遵守能量守恒定律(熱力學第一
定律)。熱力學還認為熱量隻能從高溫端流向低溫端，而不可能自動地從低溫端流向
高溫端(熱量轉換方向，“熱力學時間”，它不同於“牛頓時間”，還有“Bergson 
時間”)。熵就是用來描述熱量轉換方向。(轉換)熱量Q與(絕對)溫度T的商稱為熵S。
克勞修斯提出熵的定義

(1)  Delta S = integration ( dQ/T )                ( Clausious entropy)

在理想的可逆係統中，因為輸入熱量和輸出熱量相等，所以熵 = 0。在封閉(絕熱)的
不可逆係統中，因為熱量隻能從高溫T1流向低溫T2，所以熵S = Q/T2 - Q/T1 > 0。

所以在不可逆係統中，熵總是增加，直至最大值(熱力學第二定律)。
熵達到最大值，係統沒有溫差，係統處於“熱寂”狀態(熱寂問題)。係統有溫差，
表明“有序”；沒有溫差，表明“無序”。從這個角度來看，熵增加的過程是有序
向無序的過程。
玻爾茲曼提出熵的另一公式

(2) S= kb *ln W      ( Boltzmann entropy )

kb  是波茲曼常數， ln 是自然對數， W 是微觀狀態數量。

吉布斯給出(2)另一表達式

(3) S =  -kb Sigma ( Pi ln Pi )    ( Gibbs entropy)

Pi 是概率，Sigma ( Pi ) = 1

式(3) 將熵與(分子)微觀狀態的概率聯係在一起。
設想有兩個房間有門連通，開始時門是關著。在一邊房間有四個氣體分子(四億個也
同樣考慮)
然後把門打開

           | m1 m2 m3 m4 |                          |
-----------------------------------------------------------
           | m4 m2                     m3   m1      |
-----------------------------  -----------------------------
                                     |

這時分子隨機運動，有序--> 無序，概率組合：1 4 6 4 1，最大概率是6， 這時 
每個房間有兩個分子。
馮紐曼提出量子力學熵

(4)  S = -Tr(p ln p)           ( von Neumann entropy)

p 是體係的密度矩陣。

此外還有黑洞熵

(5)  S = (c^3/4hG) A          ( Black holes entropy )

參考書：Paul Sen, "Einstein's Fridge"

信息論中的信息 I ( p ) ，( p 是事件發生的概率) 有下列特性：

 I ( 1 ) = 0
 I ( p ) = - log b(p) = log b(1/p)     b 是基

比如，擲 一次公平的硬幣，我們得到

I ( 1/2 ) = - log2 (1/2) = 1  bit 信息  (不管是“HEAD”或“TAIL”)

如果 ,   擲 n 次公平的硬幣

I ( (1/2)^n ) = log2 (2^n) = n*log2 (2) = n bits

 我們得到 n bits .

仿照(3)，香農在信息論中引進信息熵的概念

(6)   H = E[I (P)] = Sigma ( Pi ln Pi )       ( Shannon entropy)

  E( ) 是期望函數, 熵H是平均信息量.

假設一個隨機變量X，取三種可能值x1, x2, x3, 概率分別為
1/2, 1/4, 1/4, 那麽編碼平均比特長度是：(1/2)*1 + (1/4)*2 + (1/4)*2 = 3/2 

其熵為3/2。
因此熵實際是對隨機變量的比特量和順次發生概率相乘再總和的數學期望。

 

信息熵表示信息的確定性(有序性)。比如，一信息由兩個事件組成，事件的概率分
別為1/200 和 199/200。可以計算，這個信息的信息熵很小，即概率為199/200的事
件很大可能發生在收到的信息中。如果上述信息的事件的概率分別為1/2 和 1/2，
這時信息的信息熵達到最大值，我們很難判斷哪個事件可能發生在收到的信息中(信
息的無序性)。

熵的概念也被用於社會科學中。在社會科學中，熵的概念的應用有時有令人混淆之
處。人們用“正熵”來表示“不能再被利用的熱量”，這時是熱力學熵的概念。從
這個角度來看，人類所有的活動都使熵增加。但是人們有時用熵來表示有序性，這
時人類社會的組織化，秩序化都使熵減少。將熱寂問題無條件地推廣也是不正確的。
上世紀60年代，普列高津等人發展的“耗散結構”理論就揭示：在遠離平衡的開放
係統存在熵減現象(無序向有序現象)。耗散結構理論成功地解釋了激光生成，台風
形成，以及自組織，生物進化等過程。星係的形成也是無序向有序的現象(由於引力
的作用)。

Book:  George Gilder, "Knowledge and Power: The Information Theory of Capitalism and How it is Revolutionizing our World". 該書介紹“非均衡態經濟學”。主要的觀點是：創新 －》增加供給方麵無序度（熵增）－》 經濟發展。
 

在計算機科學中，有一類複雜性問題稱為算法複雜性(KOLMOGOROV複雜性)。算法複
雜性認為純隨機數是不能壓縮，隻能用等長隨機數來表示。算法複雜性引進算法熵
概念，即生成序列(信息)的最短程序的長度為該序列(信息)的算法熵。因此純隨機
數有最大的算法熵(無序性)。比如，一序列有M個重複的00101，下列程序可以生成
該序列：

for i = 1 to m print 00101

程序的長度是18+LOG(M) (用ASCII碼，這裏LOG是對數)，而序列的長度是5M。程序
長度(算法熵)與序列長度之比：

(18+log(m))/5m

隨著M的增加而趨向零。這表明隨著序列變長，隨機性變小。This problem may refer to theory of 隨機數. 上麵隻是不嚴格地說明 算法熵概念。嚴格地說明算法熵概念要用到圖靈機理論。