形式邏輯對於貝氏定理的解釋以及意義上的啟發
現狀
國內對貝氏定理,作了各種各樣的講解。給人啟發。
但是,貝氏定理公式涉及形式邏輯推理的分析,以貝氏定理解決問題的方式,多是以記憶公式來解決問題,道理並不簡單明了。在相關的教學中,我還沒有發現有簡單明了的解釋。
本文試著從形式邏輯角度給予解釋,以解決人們在理解和應用貝氏定理公式方麵的困擾。
本文的結構是,先以例子說明它在現實方麵的應用。引出其數學公式所表達的,看起來與現實意義方麵的不合理之處。再以形式邏輯解釋之。
下麵展示貝葉斯定理在新冠病毒檢測時的應用。
假設某個試劑的檢測結果的靈敏度和差異度均為99%,即新冠患者每次檢測呈陽性(+)的概率為99%。而非新冠患者每次檢測呈陰性(-)的概率為99%。
已知0.5%的雇員感染新冠病毒。
請問每位檢測結果呈陽性的雇員染病的概率有多高?
解:
符號記作,檢測結果呈陽性,為+;染病毒為D。所求的結果寫作:P(D|+)。它是每位檢測結果呈陽性的雇員染病毒的概率表達。
已知的值:
從已知0.5%的雇員染病毒知,不設任何條件,某公司新冠患者的概率P(D)=0.005。0.5%是怎麽已知的?合理的推測是,根據以前的,或者,其它公司的數據,所做的猜想。注意,它不來自公司本身,因為,如果這數據來自公司本身,題目的問題沒有了意義。因此,這種“已知”的信息,也叫做先驗信息。
在染病毒條件下,被檢測呈陽性的概率P(+|D)=0.99
請注意區別,P(+|D)與P(D|+)的形式不同,含義也不同。
以上,
“不論條件”,皆呈陽性的概率P(+)=0.005*0.99+0.995*0.01=0.015。白話來說,即該公司有多少比例的雇員,其檢測結果為陽性。
根據貝葉斯定理:
1.P(+)P(D|+)=P(D)P(+|D)
2.P(D|+)=P(D)P(+|D)/P(+)=0.005*0.99/0.015 =0.332
這裏貝葉斯定理公式1.所表達的意義為:無論條件,被測為陽性的概率,“並且(以及)”,在被測為陽性的條件下,染病毒的概率,等於,無論條件,染病毒的概率,“並且(以及)”,在染病毒條件下,被測為陽性的概率。
這裏貝葉斯定理公式2.從各式的數值可得它的答案0.332。答案的意義可描述為,在被測為陽性的條件下,染病毒的概率是0.332。
結果說明什麽?你猜想過嗎?
從試劑的檢測結果(99%)來看,是比較準確的,但是貝葉斯定理卻可以揭示一個潛在的問題,在被測為陽性的條件下,“真正”染病毒的概率,並沒有我想象的那樣高,與我從直覺得出的結論相差太大。你想象過嗎?
進一步分析這個例子,有一種看法就是證據的有效性。
P(+|D)=0.99,作為染病毒的證據的準確性(或稱之為,準確的可能性)很高了。即使很高,仍然還要取決於“真正”新冠患者的群體的大小,即P(D)=0.005。如果很小,證據的有效性(注意,不是“準確性”)會被大打折扣,即結果P(D|+)的影響並不著顯,反而顯得證據是無能為力(僅為0.332)。這一事實表明,證據的“準確性”是證據本身的特征;而證據“有效性”,則描述了某種關係的性質,也就是,它描述證據與結論之間的關係特性。這兩個形容詞應用的場景不一樣。這種“不一樣”的區分,具有哲學意義,即“準確性”描述“事物”是什麽?而“有效性”描述“事實之間”的關係。比如,任何事實之間有因必有果的理性(reason)關係。
貝葉斯定理又可以這樣看,P(D|+)=P(D)*P(+|D)/P(+),從形式上變成:P(D|+)=P(+|D)*(P(D)/P(+)),其中P(D)/P(+)可看作P(+|D)的參數。
這樣,我們可以看到,P(D|+)與P(+|D)的關係。有必要強調一下,P(+|D)表達的是這試劑(證據)的準確性。它給我們新的啟發,就是P(+|D)對於P(D|+)來說,基於參數P(D)/P(+),具有似然性。又稱為標準相似度(standardized likelihood)。就是,在多大程度上,P(D|+)接近於P(+|D)。
顯而易見,這取決於參數P(D)/P(+)的大小,極端情況是,若參數=1,二者一樣,也可以說,完全相似。而分析P(D)/P(+)易知,其中,P(D)是先驗概率,這取決於這個公司的群體是否具有典型性,比如,與社會群體染病的一致性,偏差大,還是小。而其中的P(+)=0.005*0.99+0.995*0.01又受到P(D)的影響。重新展現這個參數,是這樣的:
P(D)/P(+)=0.005/(0.005*0.99+0.995*0.01)
你可以通過對其中P(D)做從小到大的測試。容易知道,P(D)向1,P(D|+)與P(+|D)二者更加具有似然性。
我理解的意思是,要找到那個先驗可能性比較大的群體,這時,證據的“準確性”才接近“有效性”。
這給我們的啟示是什麽呢?通常人們以證據的高準確性直接作有效性推理,這也許符合“直覺”,然而,這種“直覺”並不常常正確。
這可以解釋社會上許多現象,比如,“成功學”大多無效。你可以解釋一些社會現象嗎?
比如,勤奮對於成功者來說,有人說,可以看到大多數成功者都很勤奮。於是,得出結論,隻要勤奮為條件,那麽,就有可能成功。但是,這個結論忽略了,成功人士的群體太小了,比如,馬雲及其成功的事實,是社會上,極少數人及其成功的事件。因此,勤奮對於想獲得馬雲這樣成功的人來說,證據的有效性就很差。
類似的模型很多。又如,高中生普遍擬通過做對高考模擬題,期望獲得好成績。然而,容易測算,每年高考題與模擬題的一致性極低,即使我們所模仿的都對,也就是“證據”的準確性極高,期望也不容易實現。結論是,以大量的模擬題訓練,並不是有效的路徑。這與直覺不一致。
順便說,如果我們從成功人士的做法上,受到啟發;從高考題目的解答中,受到啟發,是另一回事。這跟單純地模仿不同。他們的任何成功的思想、行為方式的典型特征與我們所處的時空場景很難具有一致性,同時,對於我們想要的成功,也不具有效性。可憐。
進一步分析,
P(+)P(D|+)=P(D)P(+|D)=P(+^D)
意思是,檢測為陽的概率,並且,在被檢為陽性的條件下,確是染病毒的概率等於
染病毒的概率,並且,在染病毒條件下,被檢出陽性的概率
二者都等於:被檢為陽和染病毒同時發生的概率
葉斯定理的公式所要表達的事實意義是明確的。
我有問題是,
P(D|+)=P(+^D)?意思是,在被檢為陽性的條件下,確是染病毒的概率。為什麽不等於“被檢為陽和染病毒同時發生的概率”?
或者,為什麽不可以P(D|+)=P(D)P(+|D)?
從直覺,總覺得,沒有不可以。
從形式邏輯上,很容易推理出,不可以。
因為,分析如下:
1被檢為陽 染病毒
2被檢為陽 不染病毒
3被檢為非陽 不染病毒
4被檢為非陽 染病毒
有四種關係。舉不出更多。
分析P(D|+),陳述為:“在被檢為陽性的條件下,確是染病毒的概率。” 這個陳述句為一個條件句。
從形式推理的原則,隻要“染病毒”為真,無論條件如何,這個推論即為真。
對比以上四種關係,應該很容易指出是上述哪個關係,即1,4,對嗎?
當+^D時,即當“被檢測為陽”跟“染病毒”,作乘積,求概率P(+^D)時,這意味著,被檢測為陽,在這個陳述中,確保是真的。由此,在推理上,即明確了(被檢為陽性的)條件為真。在此真的前提條件下,染病毒為真。這個推論才為真。對比,P(D|+)的含義及推理,顯然,P(D|+)陳述所得出結論的條件,要比 P(+^D)得出結論的條件,寬泛得多。
再重述一遍:P(D|+),隻要“染病毒”為真,無論條件如何,這個推論即為真。
而P(+^D),則染病毒為真,則明確要求了(被檢為陽性的)條件為真,這個陳述為真。
簡言之,P(D|+)與P(+^D)二者陳述所得出的結論相同,而“條件”不同。因此,不是同一陳述。不可代換。
也就是說,P(D|+)=P(+^D)不成立,當然,P(D|+)=P(D)P(+|D)也不成立。
我覺得,先有形式邏輯的思想基礎,才有條件概率公式的發展。任何拋開形式邏輯的思想,單純作公式推導,是不理解條件概率本質的記憶遊戲。