隨機遊走與命運（二）：不確定性的增長如何被度量

“信息就是對不確定性的消除。”——Claude Shannon

在上一篇中，我們看到，一個隨機行走者的命運不僅取決於每一步的隨機選擇，還取決於他所處空間的結構。在低維空間中，路徑反複交匯，回歸幾乎不可避免；而在高維空間中，路徑可以持續分離，逃離成為可能。

但即使在這樣的區分之下，還有一個更深的問題尚未被觸及：在行走的過程中，係統究竟發生了什麽？

換句話說，當路徑不斷展開時，我們如何描述其中“變化”的本質？僅僅知道路徑是否返回，仍然不足以刻畫它的行為。我們還需要一個量，來衡量路徑在展開過程中產生了多少新的可能性，或者說，係統的不確定性是如何增長的。

這個量，就是熵。

熵的概念並非一開始就屬於信息論。它最早出現在十九世紀的熱力學中，用來描述係統的無序程度。物理學家發現，隨著時間的推移，孤立係統往往趨向於更高的熵狀態——能量分布更加均勻，結構更加鬆散。這一趨勢被視為自然界的一種基本方向。

然而，將熵與“信息”聯係起來，是二十世紀中葉的事情。Claude Shannon在研究通信問題時提出：可以用一個量來衡量信息源的不確定性。這個量，恰好與熱力學中的熵具有相同的數學形式。

在香農的框架中，如果一個係統有多個可能狀態，每個狀態都有一定的概率，那麽係統的熵可以寫為：
H
=
−
∑
p
i
log
?
p
i

這個公式看似抽象，但含義卻非常直接：當所有狀態的概率相等時，熵最大，因為係統最難預測；當某一個狀態的概率接近1時，熵最小，因為係統幾乎是確定的。

熵衡量的，正是不確定性的程度。

當我們把這一概念引入隨機遊走時，一個新的視角隨之出現。我們不再隻是關心路徑是否返回，而是關心：隨著時間的推移，行走者的位置變得多麽難以預測？

假設行走者在第 
n
 步時，其位置的概率分布為某個函數。隨著步數增加，這個分布會逐漸擴展。可能的位置越來越多，概率也逐漸分散。對應的熵值，也在發生變化。

關鍵的問題在於：這種不確定性的增長，是如何進行的？

為了回答這個問題，數學家引入了“熵率”的概念。它描述的是，每一步平均增加多少不確定性。形式上，可以寫為：
h
=
lim
?
n
→
∞
H
n
n

這裏 
H
n
 表示第 
n
步時的熵。

這個量有著非常清晰的解釋。如果 
h
>
0
，說明每一步都在持續產生新的信息，係統不斷擴展其可能性空間；如果 
h
=
0
，則說明雖然路徑在增長，但新的信息逐漸減少，係統的行為在某種意義上變得“可預測”。

這一區分，為理解隨機遊走提供了另一種維度。

在一些係統中，路徑雖然複雜，但長期來看，其不確定性並不會持續增長。軌跡之間不斷重疊，曆史逐漸被“抹平”。在另一些係統中，每一步都帶來新的分支，路徑之間迅速分離，曆史的差異被保留下來。

這與我們在上一節中討論的回歸與暫留，形成了一種呼應關係。回歸的係統往往伴隨著較低的信息增長：路徑不斷返回，使得不同曆史之間難以區分。而暫留的係統，則更容易保持路徑之間的差異，從而維持較高的熵率。

但這種關係並非簡單對應。熵關注的不是“是否返回”，而是“路徑之間的區別是否持續存在”。它衡量的是信息的生成與保存，而不是空間位置本身。

這一點在更一般的隨機過程和群上的隨機遊走中表現得尤為明顯。數學家們發現，一個隨機過程是否具有“非平凡的邊界”，與其熵率有著深刻聯係。簡單來說，如果熵率為零，那麽長期來看，係統幾乎不會保留關於初始路徑的信息；如果熵率為正，則係統在無限時間後仍然攜帶某種“記憶”。

這種“記憶”，並不是對具體路徑的記錄，而是對路徑所代表的信息結構的保留。

從信息的角度看，一個隨機遊走可以被視為一個不斷生成信息的過程。每一步選擇都帶來一個新的“信號”，而整個路徑則是一段編碼。熵率描述的，是這段編碼的複雜程度——它告訴我們，這個過程是在不斷產生新內容，還是逐漸趨於重複。

當熵率較高時，路徑之間迅速分離，不同的曆史對應不同的結果。係統具有豐富的結構，能夠區分不同的演化軌跡。當熵率較低時，路徑之間逐漸融合，係統失去區分能力，長期行為趨於單一。

這種現象可以用一個直觀的比喻來理解。如果我們記錄多個隨機路徑，並嚐試在很長時間之後判斷它們的起點或曆史，那麽在高熵係統中，這種判斷仍然有意義；而在低熵係統中，這些路徑看起來幾乎一樣，曆史信息已經消失。

從這個意義上說，熵不僅僅是“不確定性的度量”，它也是“信息是否能夠被保留”的指標。

這一點具有廣泛的影響。在物理係統中，熵的增長意味著信息的擴散與不可逆性；在通信係統中，熵決定了信息的容量與編碼方式；在複雜係統中，熵反映了係統的多樣性與可區分性。

而在隨機遊走中，熵將“路徑”與“信息”聯係起來，使我們能夠從另一個角度理解過程本身。

如果將這一思想與前文的結構分析結合起來，就會形成一個更完整的圖景。空間的幾何結構決定路徑是否容易重疊，而熵則描述路徑之間的差異是否被保留下來。兩者共同決定了係統的長期行為。

在低維空間中，路徑頻繁交匯，不同曆史逐漸融合，信息難以長期保存；在高維空間中，路徑分離，曆史差異得以保留，係統具有更高的信息複雜度。

這一聯係，為我們提供了一種新的語言，用來描述“變化”的本質。變化不僅僅是位置的移動，更是信息的生成與流動。

從這個角度看，隨機遊走不再隻是一個關於路徑的模型，而是一個關於信息流動的過程。每一步都是一次信息的產生或選擇，而整個路徑則是一段信息的積累與傳播。

這種視角的意義，將在後續的討論中逐漸顯現。當我們把目光從純粹的數學對象轉向更複雜的係統時，熵與信息流的概念將成為關鍵工具。它們不僅幫助我們描述係統如何變化，還幫助我們理解，哪些變化能夠被保留，哪些變化會被消解。

在下一篇文章中，我們將進一步引入“邊界”的概念——不是空間中的邊界，而是係統在無限時間之後所呈現的結構。通過這一概念，我們將看到：在隨機過程中，真正重要的，往往不是路徑的細節，而是路徑最終“指向”的方向。

不確定性在增長，但並非一切都會消失。在某些係統中，信息會在無限時間的極限中凝結成結構。這種結構，將成為理解長期行為的關鍵。

路徑繼續展開，而信息開始沉澱。