悟空

歡迎大家來坐坐,聊聊
個人資料
悟空孫 (熱門博主)
  • 博客訪問:
歸檔
正文

正態分布的啟示

(2012-04-05 13:34:57) 下一個

 

 

正態分布是統計學中最基本的一個概念,而整個統計學的基礎也就是建立在自然界的常態是一個穩定的形態之上的。這個穩定形態用一條曲線表達就是一個鍾型結構:兩邊細小,越往中間越寬大沉穩。

鍾型結構也是我們生活中最常見的一種自然狀態和分布。比如人的智商,一個社會的整體必定是智商100左右的人占大多數,以標準差為16計算,那麽就有68%的人智商在84-116之間,這是一個“正常”範圍。如果一個人的智商在3個標準差之外,達到了150, 或低於50,那不是天才就是瘋子了,的確,智商在160180的天才,在“常人”看來,和瘋子是沒有多大區別的。

我想要說的是,一個社會如果都是“天才”,或者都是“瘋子”,都不是一個穩定和諧的社會,而一定是一個充滿戰亂,愚昧野蠻的世界。

同樣,在財富的擁有上,如果一個社會盡是億萬富翁,大家揮金如土,那這個社會離滅亡也不遠了,而一個窮的連飯都吃不飽的社會,也隨時充滿危機。

總之,“鍾型”的穩穩當當的狀態最好,和平,穩定。中國有一句老話,叫“坐如鍾”——說的就是鍾一樣的坐姿是最穩當的。

我對於正態分布的感悟來自於我的工作,我常常麵對一大堆統計數字和圖表,卻沒有真正看出其中的名堂來。今天,似乎是突然坐在菩提樹下覺悟了:這鍾型曲線不正代表了“中庸”嗎?

這個發現讓我驚喜,因為,我一直認為中庸是一個魔鬼,是中國社會幾千年來的痼疾。

其實,中庸是個好東西,孔夫子是對的:“致中和,天地位焉,萬物育焉”。當一個社會達到了中庸的境界,這個社會就和諧穩定,萬物興旺了。

可是,問題在於,如何讓一個社會達到中庸呢?

孔夫子開出的方子似乎有些毛病:“喜怒哀樂未發謂之中,發而皆中節謂之和”,“君子,中庸;小人,反中庸”,“執其兩端,用其中於民”……。

孔夫子覺得,達到中庸的關鍵在於每一個個人都要不偏不倚,連喜怒哀樂都要加到好處,凡做到中庸的,就是君子,反之,就是小人。而“執兩端用其中”則被大多數人理解為“去其兩端,取其中而用之”。

難怪,孔子自己都感歎:“中庸之為德也,其至矣乎!民鮮能久矣!”

個人的性情習慣乃至思想和價值觀都和人的智商一樣千變萬化,怎麽能夠讓人的思想整齊劃一呢?達不到中庸怎麽就成了“小人”?於是,達不到中庸的人就假裝,就作假,中國人變得圓滑了,世故了,麻木了。

事實上,自然界的現象也不可能是一個完美的鍾型,任何的統計數據都存在一定程度的偏態,而“正態”之所以能“正”,正是由於這種形態包容了左右兩個極端,兩個極端的相互製約,才保證了整體的平穩。

試想,如果我們把一個穩定的“正態”型體的首尾都去掉,隻留下中間的一段,這個型體還能保持如“坐鍾”一樣的穩定形態嗎?

一個社會更是如此,如果“左”和“右”兩條“路線”老是不停地鬥來鬥去, 凡是敵人反對的我們就擁護,凡是敵人擁護的我們就反對,不是你死就是我活,“大一統”,“二分法”思維如何能使一個社會穩定和諧?

完美中總存在著不完美,“正”和“反”總是一個事物的兩個方麵,互為表裏,沒有“正”,也就無所謂“反”。

“中庸”,應該是一個整體的中庸,而整體的中庸是建立在個體的保持自身特性和偏激的基礎上的,“中庸”和“偏激”其實也是相互製約的,沒有個體的自由,沒有對偏激的包容,就沒有整體的中庸。

中庸是無法有意識刻意獲取的,將中庸作為一種道德標準也是錯誤的,中庸應該是一種境界,一種在平和的心態下,以包容的理念達到的自然狀態。

中國社會講了幾千年的中庸,結果魯迅一針見血:“行中庸的人民,其實是頗不免於過激的”——越是去其兩端,剩下的隻能是一個沒有依靠的立柱,一陣風來,就轟然偏倒一方了。

可是另一些不講中庸的國度其實是比我們中庸的,在紐約和巴黎的大街上,你可以看到世界上最醜陋和最肮髒的東西,你同時也能感受到世界上最美麗最高尚的風光。

中國的政治總是非黑即白,大是大非;西方的政治無所謂誰對誰錯,隻要利益平衡,相互能製約牽製就好。說穿了,西方現代民主製度就是防止兩極極端傾向,達到中庸,確保社會穩定,確保國家平衡發展。

不過,自然界的形態,人為幹預越少的,越呈現出正態的分布,越穩定,越中庸。從這個意義上說,“法”治,好與“人”治。

實現社會的“中庸”,我們就要不斷的求真求實,在對於真理不斷的追求中,讓自己自然地達到“中庸”的境界,而在求真的過程中,偏激一些,極端一些也不失為一種方法,隻有當自身對事實和真理的兩方麵都有了客觀公正的了解,才能真正達到“知”的境界。

孔子說:“吾有知乎哉?無知也。有鄙夫問於我,空空如也。我叩其兩端而竭焉。” 《禮記·中庸》

 

 

******

特此感謝為人父網友對本人偏激和固執的包容,為兄的耐心和循循善誘使我對中庸有了新的認識和了解。不過,我仍然堅持中庸不應該針對個人,而是整個社會應該達到的一個狀態,個人也是應該通過對各種“極端”有了充分的認識和了解之後才能形成的一種境界。更重要的是,沒有對“偏激”的包容,沒有個體的自由發展,就沒有中庸。“正態分布”如果去掉了首尾,也就不能稱其為“正態”分布了。

[ 打印 ]
閱讀 ()評論 (19)
評論
湊湊熱鬧 回複 悄悄話 正態分布的物理意義:這種分布下,熵最大。(熵代表了無序性)換句話說,選擇了正態分布就選擇了最隨機的一種分布。
==============================================================
這其實也是數學上的熵的概念, 在信息論上,也用這個概念。 在實數域內, 連續函數中熵最大的就是正態分布 (在相同的均值和方差的情況下). 根據中心極限定理, 若幹變量的線性組合是趨近於正態分布的。實際問題中,人們經常要找不是正態分布的情況。 在projection pursuit 和 independent component analysis, 人們就是把熵作為objective function. 有很多應用了. 不算是新鮮玩意了.
懶黑熊 回複 悄悄話 回複年年有餘的評論:

謝謝啦. 光是題目就很有趣. 我一定看.
年年有餘 回複 悄悄話 回複懶黑熊的評論:不客氣,謝謝你的抬愛。寫物理數學的博客,我的功力遠遠不夠。倒是有本書可以推薦給你,

The road to reality: a complete guide to the laws of the universe
Roger Penrose。:--)

年年有餘 回複 悄悄話 回複懶黑熊的評論:不客氣,謝謝你的抬愛。寫物理數學的博客,我的功力遠遠不夠。倒是有本書可以推薦給你,

Roger Penrose。:--)

懶黑熊 回複 悄悄話 回複年年有餘的評論:

非常感謝. 科學的曆史真的很有意思. 你也應該開個博客呢.
年年有餘 回複 悄悄話 回複懶黑熊的評論:中心極限定理,是概率論中討論隨機變量和的分布以正態分布為極限的一組定理。這組定理是數理統計學和誤差分析的理論基礎,指出了大量隨機變量之和近似服從正態分布的條件。1901年,俄國數學家裏雅普諾夫用更普通的隨機變量定義中心極限定理並在數學上進行了精確的證明。無數相互獨立的隨機變量之和服從正態分布。
使用e為底的對數在求導和積分的計算上非常優美,並且自然對數直接與泰勒級數產生了聯係,自然對數相對於其他底的對數而言,在數學上更方便處理。
愛因斯坦發表相對論之後,他的數學老師閔可夫斯基認為愛因斯坦的數學表達非常粗糙,於是采用了張量tensor重新表達了相對論的內容,公式非常優美,數學邏輯更清晰了。自此,張量運用到了力學領域,表達出的力學方程非常優美,並且邏輯清晰,目前仍然是學習力學的神兵利器。
所以很多時候,選擇什麽樣的數學模型,如果能深入了解數學模型的根本,選擇數學模型就容易很多。比如最小二乘法擬合曲線的時候,我身邊的同事很多時候會很迷茫,不知道該如何確定擬合的階次。如果從數學的本質出發,最小二乘法能保證擬合的殘差最小。如果用擬合的殘差作為依據,多項式的階次就很容易確定了。 (最小二乘法也是高斯發明的。)

懶黑熊 回複 悄悄話 回複年年有餘的評論:

Thank you so much. This is very interesting. I have to English as my work computer does not have Chinese input.

“連乘有很多壞的品質,比如不能判定連乘的積是否收斂,而求和的結果,隻要滿足一定的條件是可以判定其是否收斂的。數學界隻要遇到連積,都會先想辦法處理為求和。”

This is a great point. I major in finance and insurance. We often use a lognormal model for stock prices so that we can have a sum of random variables that follow normal distribution.

“至於說為什麽以自然對數為底,我也說不好,查閱一下資料再回答您。”

I always feel the number e (2.71828…) may hold the key to the nature. Why do we need it for the normal distribution function, as well as so many other models that perfectly describe the nature? This number was found by people, not made by people. Can you trace the number to the ultimate source, like how the world is organized, to the atomic level, or to the outer space where the universe goes on and on? Is there a better number than e? Just some silly questions… don’t take it too seriously…

“至於物理和數學的區別,舉個小例子說明。數學上常微分方程(ODE)二階線性(非線性)方程,對應到物理上就是單質點的振動方程(彈簧質點係統)或者是電路方程(電阻-電抗-電容),常微分方程為了求解的方便,會引入複變函數。一旦引入複變函數,常微分方程(ODE)會簡化為代數方程,從而出現兩個特征根(共軛的)。有意思的是,解單質點的振動方程或者是電路方程問題,這兩個特征根隻有一個特征根是有效的,另一個是冗餘的解。

基於以上的表述,數學提供了解的空間,物理是從解的空間中拿到自己要表達的部分,至於解的空間是不是唯一或者是完備,那是數學的事情,物理是在數學提供的解的空間中找到適合自己的表述。拋開物理,其他的學科都是這樣,在數學提供的解的空間中找到適合自己的表達。
那麽有反例嗎?有物理確立的模型,而數學沒有涵蓋嗎?抱歉,我的知識麵沒有那麽寬,在我的知識麵裏麵沒有看到這樣的事情。那麽有數學物理幾乎同時發現的模型嗎?答案是有的。”

I don’t really have a very strong math / physics background. I can’t really follow all the technical details. But I see the idea that math models are used for physics, and physics needs to find mathematical presentations. This is very much like financial models. We also need to find mathematical presentations.

“回到之前的問題,高斯發現正態分布函數的時候可能沒有任何物理的意識,他隻是從很多數學表達中找出了最遵循數學規律又最容易處理的表達。但神奇的是,高斯的數學表達反應到物理上,就反映為統計學中非常合理的模型。中心極限定理的證明表明了高斯的偉大。”

This is interesting…I remember Gauss refused to tell how he found the function… He did a lot of tests and I agree it may be more like a perfect empirical model. It would be a different story if he just sit in his study and figured out the function without the tests…
Blue.Crab 回複 悄悄話 Normal distribution? What are the skewness and kurtosis values?
年年有餘 回複 悄悄話 回複懶黑熊的評論:(個人理解,僅供參考)
連乘有很多壞的品質,比如不能判定連乘的積是否收斂,而求和的結果,隻要滿足一定的條件是可以判定其是否收斂的。數學界隻要遇到連積,都會先想辦法處理為求和。至於說為什麽以自然對數為底,我也說不好,查閱一下資料再回答您。
至於物理和數學的區別,舉個小例子說明。數學上常微分方程(ODE)二階線性(非線性)方程,對應到物理上就是單質點的振動方程(彈簧質點係統)或者是電路方程(電阻-電抗-電容),常微分方程為了求解的方便,會引入複變函數。一旦引入複變函數,常微分方程(ODE)會簡化為代數方程,從而出現兩個特征根(共軛的)。有意思的是,解單質點的振動方程或者是電路方程問題,這兩個特征根隻有一個特征根是有效的,另一個是冗餘的解。
回到之前的問題,高斯發現正態分布函數的時候可能沒有任何物理的意識,他隻是從很多數學表達中找出了最遵循數學規律又最容易處理的表達。但神奇的是,高斯的數學表達反應到物理上,就反映為統計學中非常合理的模型。中心極限定理的證明表明了高斯的偉大。
基於以上的表述,數學提供了解的空間,物理是從解的空間中拿到自己要表達的部分,至於解的空間是不是唯一或者是完備,那是數學的事情,物理是在數學提供的解的空間中找到適合自己的表述。拋開物理,其他的學科都是這樣,在數學提供的解的空間中找到適合自己的表達。
那麽有反例嗎?有物理確立的模型,而數學沒有涵蓋嗎?抱歉,我的知識麵沒有那麽寬,在我的知識麵裏麵沒有看到這樣的事情。那麽有數學物理幾乎同時發現的模型嗎?答案是有的。

懶黑熊 回複 悄悄話 謝謝年年有餘! 這麽熱心回答問題. 以後多多請教.

我一定去找一本來看看. 我一直好奇數學和物理的關係. 好象數學與自然有某種必然的聯係. 比如說為什麽自然對數的底, 在哪兒都能看見?
年年有餘 回複 悄悄話 抱歉,補充一句。
盧昌海的漫談黎曼猜想比較長,沒有時間的話可以忽略前半部分,直接看後半部分,後半部分中關於厄密函數,隨機矩陣的部分把數學和物理的聯係敘述的非常棒。
年年有餘 回複 悄悄話 回複懶黑熊的評論:回複懶黑熊的評論:統計學中很多時候會追求熵最大原則。熵表達的是係統的無序性,隨機性。推薦盧昌海先生的漫談黎曼猜想。盧先生的數學和物理功底都非常深厚。抱歉,翻牆出來,總是會丟失文字。
年年有餘 回複 悄悄話 回複懶黑熊的評論:回複懶黑熊的評論:統計學中很多時候會追求熵最大原則。熵表達的是係統的無序性,隨機性。推薦盧昌海先生的。盧先生的數學和物理功底都非常深厚。
年年有餘 回複 悄悄話 回複懶黑熊的評論:統計學中很多時候會追求熵最大原則。熵表達的是係統的無序性,隨機性。推薦盧昌海先生的。盧先生的數學和物理功底都非常深厚。
懶黑熊 回複 悄悄話 真是妙文. 看來中庸之道也是自然之道, 正態分布嘛. 最後一段也很有趣...尾巴是自然的,必要的....
懶黑熊 回複 悄悄話 回複年年有餘的評論:

非常有趣. 我總奇怪怎麽會有一個統一的公式. 而高斯又能找到它.

從統計上講熵怎能更詳細點嗎,從統計上講怎麽衡量?
打工的 回複 悄悄話 改開前財富在中國人中是鍾形分布的, 所以無論政治上鬥爭多麽激烈, 社會仍然穩定。 現在平均來說中國人比以前富多了, 但財富偏離了鍾形分布, 社會到處是亂源。
年年有餘 回複 悄悄話 正態分布的物理意義:這種分布下,熵最大。(熵代表了無序性)換句話說,選擇了正態分布就選擇了最隨機的一種分布。
zhu_charlie 回複 悄悄話 Execellent -- Ding
登錄後才可評論.