智慧即財富

陳立功的文學城博客:馳縱騁橫,談今博古,飛花揚月,行文交友
個人資料
TNEGI//ETNI (熱門博主)
  • 博客訪問:
正文

與陳立功討論樣本空間

(2011-04-25 19:36:12) 下一個


A Discussion on Sample Space with
Ligong Chen
 

[本討論的話題是由於以下討論引發的:] 

網名houselover (love my house)MITBBSStatistics版詢問:四十歲了,從生物研究改到統計碩士生,可行嗎?有成功的例子嗎?

smileguy (身在資本主義大農村)有呀。老陳,陳立功。自強不息搞研究,雖然新的理論不被主流看好,但是仍然不屈不撓。老陳,我看好你。上次你被群毆,我頂你還被關進小黑屋14天。你得空,發個包子吧。

TNEGIETNI (lovewisdom):“借此機會告訴大家,我百分之百地成功了!統計學的曆史將就此被改寫!無人能夠相信一個國內醫學院畢業的衛生統計學碩士以獨自一人的能力為統計學築起了一道嶄新的地平線!毫無疑問,這是科學史上的一個奇跡。
   
當前的所謂統計學的主流,是以數學家們的思維建立起來的,混合著大量的確定性假設等的邏輯思維,因而存在著許多荒謬。是的,他們不會認可自己的錯誤,但真理終將獲勝,因為隨機係統不可被假定;我們唯一能夠假定的是,它是非確定的,因而任何確定性假設下的方法論都是不可接受的。”

bearJhonson (八棵七七葚):“FT,今天終於明白您老的中心論點是啥了。其實人有夢想真的是最好的,隻要不破滅就好。嗬嗬”

TNEGIETNI (lovewisdom):“如果你依然對此表示懷疑,請你解釋一下,如何在隨機對應下實現以最大或最小測量為基礎的最優化的統計決策?你能嗎?”

ningyan (ningyan):“我感覺民科瞄準的都是數學,物理啥的。比如哥德巴赫,永動機。還有前段時間那個號稱搞定三等分角的(我猜測是在圓規上加個量角器)。一舉搞定一個上千年的學科,多牛B啊。我建議陳大師應該效仿你的前輩們。開辟新的陣地吧。統計曆史太短了。你還是去搞數學吧。”

bearJhonson (八棵七七葚)轉貼:

忠告:民科需謹慎采取的科學態度

那些在質疑相對論,進化論,萬有引力等,並不懈的與公理鬥爭這個方向上的人,其實也是民科不能得到推廣的原因之一,因為他們違背了通常的科學探索的過程。這裏指的不是找到熱門、經典的物理理論,提出自己的理論推翻該理論,不證實或用哲學方法證實該物理理論,寫書、發資料、邀請記者采訪,往非專業大眾媒體投稿這個過程有問題,懷疑經典的精神是需要保持的,但在進行研究的時候還應當換個方法,畢竟我們所有的科學成果並不是在首先就否定前人的基礎上進行的,最多也是懷疑並從新的角度用實例證明自己的觀點,例如現在化學的開創者波義耳在他的著作《懷疑派的化學家》所做的。事實上每一個否定前人的科學成果是在首先尊重並同意前人的觀點上才被發現出來的,甚至有的是在論證和引用前人成果進行實驗等行為的時候才發現實際觀測與前人的理論有出入,並在反複研究後(這時候的研究態度還不是為了證明前人錯了,而是重新審視自己是否錯誤)才發現前人的錯誤,例如洛倫茲當年按照伽利略變換計算發現和實際出入太大了,於是自創洛倫茲變換,而前者就作為了新變換中物體速度遠小於光速的情況下的特殊情況。如果從一開始就從否定前人的目的出發,那麽恐怕很難有審視自己錯誤的能力。如果你要否定一定東西,你必須了解它並使用它然後在新的試驗中懷疑它,這才是真正的科學探索精神。
   
此外,有人打著民科的旗號,自吹自擂,弄虛造假,自欺欺人;敗壞了民科的聲譽,最終成為笑話。例如,近二十年來在數學領域,國內一些所謂的民科以達到炒作自己成果的目的,不斷聲稱破解著名數學難題或創立最新數學理論和數學教育;典型案例有:1)王曉明(四川)自稱發現素數普遍公式、孿生素數普遍公式、N色定理等;揚言陳景潤當年的證明是造假陳景潤、王元、潘承洞偷換概念申報獎項等。此人弄虛造假已被揭穿。2)李金國(河南)自稱破解哥德巴赫猜想、孿生素數猜想、費馬大定理、黎曼猜想等。此人已成笑柄。3)黃小寧(廣東)自稱推翻已有的數學理論、數學教學方法等。此人出口狂言,被人們當成笑料話題。4)範盛金(湖南)自我命名所謂的盛金公式盛金定理盛金判別法等。此人自吹自擂,自欺欺人,最後鬧成笑話。
   
由於中國的科普工作不到位,很多人根本不了解現代科學的內容、思想和方法。 這也在客觀上導致了民科的整體水平迅速下滑。因此當務之急是大力發展科普工作。
   
科學是在質疑中成長壯大的,而反科學和偽科學也經常那個打著質疑的旗號出現。那麽我們如何才能把對科學的質疑偽科學反科學加以區分呢?最簡單明了的方法還是我們的程序正:如果是對科學有推動作用的質疑,就應該發表在專業的學術刊物上。沒有學術刊物背景,僅僅發表在傳媒、網站上的對科學的反思質疑,根據其內容,可以歸為反科學偽科學或是廢話

TNEGIETNI (lovewisdom)ningyan (ningyan):“我不懂數學,更不懂物理化學。那些高中時期學得不錯的東西現在都丟光了。我搞的是認識方法論,這是一門哲學,當然,是一門數學化的哲學。因此,一個沒有哲學頭腦的數學家搞認識方法論的研究一定會犯錯誤。
   
我重申一遍,這裏有人能對我在上麵就統計學中的最優化提出的問題給出理論解答嗎?如果你能,就將你的邏輯提交在這裏。如果不能,就不要指責我是民科。
   
事實上,在我給出了‘隨機對應’的數學定義、創建了在三分迭代法基礎上的三分回歸分析法後,我在統計學的高級方法論領域乃至基礎數學中所取得的成就已經足夠的大了。我可以不用再幹任何事情了。然而,我的夢想依舊存在!更大的成就即將麵世,或者說,它實際上已經麵世了。”

Actuaries (striving)TNEGIETNI (lovewisdom)的上述自評譏諷道:“挺好。其實現在data mining competition挺多的,最近還有一個三百萬獎金的呢。你要是用你新的方法論隨便贏得一個獎回來,甭管是三百萬還是三塊錢獎金的,那你的理論就很有說服力了。
   
你說‘我重申一遍,這裏有人能對我在上麵就統計學中的最優化提出的問題給出理論解答嗎?如果你能,就將你的邏輯提交在這裏。如果不能,就不要指責我是民科。’我對你這種話評論過很多次了。請問你能明白我家的狗說的語言麽?如果你不能的話,是不是說明你的智商連狗都不如?”

TNEGIETNI (lovewisdom):“如果你連我提出的問題是否是一個嚴肅的學術問題都無法作出判斷,你認為自己有資格從事統計工作嗎?統計學處理的是數據,而所有數據是對事物的定性判斷或定量測量。如果你的原始數據中存在著定性判斷的錯誤,無異於包含了垃圾。搞統計的人個個都知道一句名言:
              
Garbage in, Garbage out!
想必你這位清華畢業的大學子不會不知道吧!我因此而不得不以一個同行的眼光鄙視你!
   
我早已說過,我不求名,不逐利,隻闡述自己的發現和思想。任何人是否接受我所成就的知識和價值,那是他們自己的事情,與我無關。”

Actuaries (striving):“不用你求名求利。你要拿獎了捐出來大家都佩服你。既然認為別人的方法論都有謬誤,那你就拿事實來說明。我再說一遍,你的所謂理論完全用的不是現代科學體係的術語。你真的知道什麽是連續什麽是可測麽?你可以從頭定義屬於你的術語,但是不懂裝懂亂用數學術語來推翻數學理論,徒增笑耳。再說,我啥學校畢業的你這麽關心幹嘛?考清華繼院考不上,碰到清華畢業的就不爽了?”

TNEGIETNI (lovewisdom):“看來,你有點不服氣。那好,請你對我提出的問題作個簡單判斷:
   
   它是否是一個嚴肅的學術問題:1)是;2)否。
請你做出選擇,並將答案寫著這裏。然後再談談究竟是誰在此用‘狗’的邏輯說話。如果你依然不能做出選擇,那麽,請你自找出路,因為這是你自找的,而非別人強加給你的。
   
最後,我必須澄清一下,這也是被你逼的。我在1989年報考的清華行政管理專業的第二學位班(即按當時的政策與碩士同等學曆),不是清華的繼(續教育學)院所開設的班級。更何況我並非考不上,而是在總分名列前茅且遠高於與我同考的其他200多名考生的情形下由於在89事件上的政審不過關而被清華拒絕入學。這一切都是有據可查的。而無據而出的言論隻能被判定為‘胡說’”。

Actuaries (striving):“這個狗的邏輯不是想侮辱人。我的意思是,你用的術語根本就不是這個版上的人所學的術語,所以你的問題根本沒法判斷對錯,因為地球人都沒法了解你的問題。你先把你的問題用數學術語表達清楚再說吧,別扯啥可測不可測的,你連連續都不知道是啥吧。
   
你在89年考的這個清華行政管理專業,我覺得挺山寨的。因為對應的公共管理學院是2000年後才成立的。我還真不知道曆史上有過啥行政管理專業。”

TNEGIETNI (lovewisdom):“我是不懂什麽狗的邏輯的。既然你的狗的邏輯不是侮辱人的,而你又是人之一,且懂得你的狗的邏輯,那就請你先將這個邏輯翻譯成人人能懂的邏輯,然後再來發言。
   
你不知道自己母校曆史中的一個點滴小事,這是你自己的事,與我無關。”

qiqicrq (正藍少爺):“我真的懷疑你是做統計的?統計最優化決策的最大最小都是概率意義下的。。。路過發帖,不敢跟統計界劃時代的牛人做進一步討論,謝謝!”

TNEGIETNI (lovewisdom):“請問,在一個隨機樣本空間裏,一個可測值作為最大或最小的概率有多大?你的計算根據是什麽?如果上麵的問題比較抽象不好回答,再請問,給定一個隨機樣本,例如100個人的身高,其中,哪一個隨機身高值是最大或最小的概率是多少?怎麽用該樣本計算出來?
   
在統計學曆史上對最優化首先感到懷疑的並非是我陳立功,而是美國的大統計學家Tukey,他在1962年發表的文章:The Future of Data Analysis中已經警告了我們‘Danger of Optimization’,遺憾的是,由於數學係統中長期缺乏對‘隨機對應’這一重要概念的準確定義,因而,Tukey無法從理論上論證最優化的錯誤。這個工作最終由我在2009年以不是100%地嚴謹的方式初步完成了。

qiqicrq (正藍少爺):“最後一次回複了!!!!! 如果隻有這100個樣本,我們還是會用其中最大的或者最小的值作為估計,不過從概率上來說,這個估計誤差可能比較大,可靠性不一定高。”

TNEGIETNI (lovewisdom):“如果你的學識已經達到了這個學科目前公認的最高水準,例如擁有了統計學的PhD學位,那麽,你對我提出的問題的回答表明了整個學科確實走在了一條錯誤的道路上。如果不信,請順著這條思路回答以下問題:
   
假如再給定那100人的體重測量值,請問,身高和體重之間的對應是什麽對應?對應於最高身高的體重值的性質是什麽?想必你會回答說,是一個隨機的點測量值。這個隨機的點測體重絕對不是該樣本人群體重的統計期望,……
   
還需要我進一步闡述下去嗎?因此,生存分析以及其它分析方法中的最大似然估計就是一個謬誤,隻有期望似然估計才能做模型的決策。”

Actuaries (striving):“雞同鴨講,夏蟲語冰。”

qiqicrq (正藍少爺)Actuaries (striving)說:“唉,發現他徹底沒有概率基礎之後,我徹底放棄跟他討論了。民科,傷不起啊傷不起!!!BTW:你的工作總結曾經對我找工作有很大的啟迪,借這個帖子道個謝!”

Actuaries (striving):“你別謝...自從我工作之後,發現我以前寫的經驗都挺垃圾的... 哈哈!陳大師還是很好玩的,最好玩的就是他經常一本正經地指責別人沒有自知之明。”

TNEGIETNI (lovewisdom)qiqicrq (正藍少爺):“你就繼續張嘴罵人好了。可是,你的言論已經在此。你還沒有回答完我在這裏提出的全部問題。你對我下‘民科’結論的資格還不夠。
   
既然你說到了概率論(我承認,我不懂這個概率論),那麽,就讓我問你兩個簡單問題:
     
    1) 一個樣本統計量,例如平均數,是隨機變量還是隨機常量?
這個問題會令你那在當前的數學係統中訓練出來的腦袋抓狂,因而你可以繼續拒絕回答。這類問題也是Hegel藐視數學家的一個原因,也是數學係統拒絕Hegel的辯證邏輯的根本原因,因為這個邏輯可能帶給數學某種非確定性,而統計學恰恰是處理非確定性的方法論,因此,統計學需要辯證法。
   
在當今的概率論中,Kolmogorov的樣本空間實際上是一個尺度空間。樣本空間隻能是一個樣本本身,一個概率空間能且隻能被定義在這樣的一個樣本空間上,而不是(Kolmogorov的樣本空間=尺度空間)上。這就是我所使用的概念係統中的一部分。由此,我對你提的第二個問題是:
      
    2) 你是否認同我對樣本空間的概念的理解和定義:
     
            a.)不同意;b.)同意;c.)不能判定我說的正確與否。
當然,為了避免引起誤會,我需要說明的是,我所說的樣本不是一個隨機的點,而是由n(n>1,即樣本量或sample size)個隨機點構成的一個來自總體的隨機子集,其中沒有任何一個隨機點是重複的,例如,給定100個成年男女構成的樣本,其中,男性48個,女性52個。按照Kolmogorov的理解,這裏的‘男’和‘女’各有48次和52次重複,因而,從集合論的角度,他定義的樣本空間是{男,女};而按照我的理解,這個樣本中根本沒有任何重複,因而我定義的樣本空間是{第一個男,第二個男,…,第48個男,第1個女,第二個女,…,第52個女},或簡單記為{48男,52}
   
最後,我無所謂傷不傷得起。如果我錯了,我會放棄自己的東西。‘從錯誤中學習什麽是正確的’從來就是我的人生座右銘之一。

Actuaries (striving)繼續奚落TNEGIETNI:“真好玩。我再問你一次,你真的懂啥叫可測,啥叫連續麽?”

TNEGIETNI (lovewisdom):“我感覺到你所理解的可測、連續與我所理解的有點不同。這些概念本是直觀而簡潔的。沒有什麽神秘可言。
   
在統計學的隨機樣本空間裏討論連續性與在狹義的數學函數空間裏討論連續性是根本不同的兩回事。前者需要在推斷連接變異發生的抽樣誤差的大小也就是通過概率推斷的基礎上考慮連續性的可能性和變異性,而後者是不需要這樣的推斷的,隻需一個簡單的確定性假設。
   
一個樣本空間裏的連接變異的可測性能且隻能通過樣本測量得到,絕無任何數學理論可以推導出來,也絕無任何數學理論可以否定它的存在性。從數學角度無視它的存在隻能被視為一種無知或蒙昧的狀態。” 

原文在此

http://www.mitbbs.com/article_t1/Statistics/31271697_0_2.html 

[Comments] 

alsoRun (alsoRun):“陳立功, I was also once a 國內醫學院畢業的衛生統計學碩士. Can you provide a link to your new theory? I would be happy to study it. An English version would be greatly appreciated as I have not read any Chinese statistical papers for 25 years. Thanks.

drburnie (專門爆料):“隨機常量,大師造詞不遺餘力啊,哈哈哈哈”

alsoRun (alsoRun):“What is a 隨機常量? In frequentist framework, the underlying parameters are treated as fixed but unknown values. In Bayes analysis, they are regarded asrandom draws from a prior distribution. Am I on the right track?

drburnie (專門爆料):“哈哈,你還真跟陳立功較真啊。他嘴裏從來都是胡說一氣。”

TNEGIETNI (lovewisdom)drburnie (專門爆料):“所以,我說我的問題會令那些數學頭腦們抓狂!我也就因此而理解了為什麽Hegel輕視他同時代的數學家們。之所以稱一個統計量是一個隨機常量,是因為它對其被給定的樣本本身來說是一個常量,而樣本對其所來自的總體而言則是一個隨機子集。如果說統計量是一個隨機變量,這是沒有明確指向的一個模糊的說法,是不準確的。顯然,一個樣本的均數對於該樣本自己來說是一個不變的量,而不是可變的量。”

drburnie (專門爆料):“我常常懷疑狗是不是會因為人聽不懂狗話而輕視人類。多仔細想想,確實可能哦。”

marole (haha):“老邢不要玩弄我們了。”

alsoRun (alsoRun):“Everybody knows that. A statistic is random in repeated sampling but fixed for a specific sample.

TNEGIETNI (lovewisdom):“Your statement is partly correct. It is random in any one-time, non-repeated sampling either.

alsoRun (alsoRun):“Then why did you call it a random constant?

TNEGIETNI (lovewisdom):“答案就在前麵。”

alsoRun (alsoRun):“Ok, I gave up on this thread. It seems it is some semitic debate. Write a book if you believe in your theory. Indeed, Kolmogorovs axiom was first published as a book. It was an absolutely amazing piece of intellectual work in the whole math history. By the way, it is rather easy to criticize others but much harder to come up with a better solution or system.

TNEGIETNI (lovewisdom):“That you give up means you are not 100% confident on what you have received in your education. If your are 100% confident on your knowledge, you should never give up on this issue. You should defeat me!
       
However, Kolmogorov is still one of the greatest Mathematicians. 盡管在他的理論體係中存在幾個瑕疵,柯爾莫戈諾夫依然是最偉大的數學前輩之一,因為他在統計學尚處於萌芽的時期就以自己敏銳的眼光和卓越的思維完成了一項偉大的工作:抽象出了幾個簡單的基本概念及其相互間的關係,從而為後人提供了一套可行的思維路徑。我希望自己能夠在他已經完成的工作的基礎上進一步作出一點小小的貢獻,以便糾正他在概念定義中所犯下的幾個微小的、非根本性的偏差。這是我從錯誤中學習而獲得的成功,但這個成功不屬於我所有,而是依然屬於柯爾莫戈諾夫,因為是他首先發現了那些概念的存在,我不過是象一個學生一樣指出了老師因為疏忽而留給後人的瑕疵。”

alsoRun (alsoRun):“I would want to learn and discuss more if I had unlimited amount of time.

Actuaries (striving):“你完全可以建立起屬於你自己的理論,但是你的理論中的一磚一瓦都和現代的科學體係不相容。就比如說你經常說的連續和可測,你隻要翻一翻任何一本分析和實分析的教科書,就會發現數學家所用的概念和你所理解的不是一回事。這樣一來,你用這些術語來描述你的理論就會有很大的誤導性。這就像日語和漢語都使用漢字,但是一個中國人還是不容易讀明白一篇不使用片假名的日文文章一樣。所以,我建議你使用自己的術語來代替過時的不準確的數學術語,比如說陳連續,陳可測,陳隨機變量,陳隨機常量,陳樣本空間,等等...

TNEGIETNI (lovewisdom):“數學家們可以繼續在他們的抽象數學裏討論實可測、實連續、實變量、實XX、實YY、實……,等等,那是他們在他們的確定性空間裏該做的事。
   
統計學討論的是抽象樣本,就像數學討論抽象的數字係統一樣;但統計學不討論抽象的數字係統。抽象樣本的屬性與具體樣本的屬性具有完全的一致性,因為它們的屬性本就是從具體樣本抽象出來的。
   
至於說到樣本空間的概念定義,如果一個樣本自身構成的空間不能被稱為樣本空間,還有什麽其它的任何事物可以被稱為樣本空間?你們這些搞所謂的數學的聰明腦袋難道連如此簡單的概念都不能正確定義?Hegel或馬克思如果依然在世,他們一定會感到苦悶不已。”

Actuaries (striving):“我還是那句話--你不要以為你了解這些術語是什麽回事。隻要你認真地翻一下入門的數學和統計教材,你就會知道這些術語的定義和你說的不是一回事。所以說,你不應該繼續使用這些術語,這會讓大家confused
   
還是繼續我那個漢語和日語的比喻。你用中文說金玉滿堂沒問題,是一個吉祥的詞語。但是日語裏金玉是睾丸的意思。你想祝福日本朋友財源廣進,但是日本人腦子裏隻會想到生殖器。明白了嗎?”

alsoRun (alsoRun):“The Kolmogorov axiom is absolutely needed when you study more complex probability problem, such as stochastic process.

TNEGIETNI (lovewisdom)Actuaries (striving):“如果作為人的你被稱為了一隻狗,你願意永遠被稱為狗嗎?維特根斯坦指出,學科術語在其產生的曆史過程中會發生歧義,需要後人予以修正。這是科學要想取得進步必須做的事情。”

Actuaries (striving):“吃飯這個俗語也不正確啊,因為我們在吃飯的同時也會吃菜。光說吃飯顯然不正確,應該說吃餐。你打算也挑戰這個中國人千年以來的謬誤麽?”

TNEGIETNI (lovewisdom):“莫非你想說,建立科學理論與做一餐飯吃是一樣的意義?任何科學理論首先必須擁有一個嚴謹的概念係統,從而才可能有嚴謹的邏輯推論和結論。如果概念係統本身不嚴謹,必然導致無法克服的邏輯障礙。事實上,統計學中的主要問題並非由概率論中的基本概念引起的,而是由一般數學概念引起的,例如最優化理論。這個理論在隨機係統中根本不成立。”

Iniesta (Andres Iniesta 小白兔的哥哥):“Can you share some of your publications with me ?

Actuaries (striving):“沒看出來你的理論有多嚴謹。你喜歡用已經普遍使用的數學術語來描述你的新理論,但是你又完全不理解而且錯誤地使用了這些數學術語。還是回到那個最基本的問題,什麽是連續什麽是可測?你給解釋一下吧。”

TNEGIETNI (lovewisdom):“你所問的連續和可測抽象得沒有了任何存在的意義。我倒是想要問你,在分段回歸分析中,什麽是分段或臨界模型間的連續?什麽是臨界模型間的連接變異的可測性?在你解釋了我的這兩個比較具體的問題後,我再回答你的。我手中有全套數學大百科辭典。我抄下來也可以回答你。”

Actuaries (striving):“你先抄下來再說,我可以給點習題給你做一下,看你是不是真懂。”

TNEGIETNI (lovewisdom):“我想,就不必抄了吧。何況wiki上也有,google一下就可以了。借此機會我想說的是,我並非要全盤顛覆目前的概率論,隻是希望對其中的幾個概念的內涵略作調整,因為它們實在是不好理解。如果將概率空間的概念建立在Kolmogorov的‘樣本空間’之上,這是很難令人理解的,因為那不是一個樣本本身,而是一個尺度空間,而所謂的尺度不過是一個測量工具(請原諒我在此問題上近乎直觀的認知水準離純數學的高度抽象要求相去甚遠)而已,其上是沒有任何樣本點的,從而也就不可能將概率空間建立在其上。隨機事件的發生概率是由樣本點的實測分布推斷出來的(也就是說是從經驗事實歸納出來的),而不是根據尺度空間本身的結構設計定義出來的(也就是說不是在理論假設的基礎上解構出來的)。
   
我所做的一切僅僅是試圖將概率論中幾個最基本、最原始因而也就是最有用的概念引入到一般統計學中,以便使得任何非數學背景的人能夠從簡單的邏輯上理解統計學及其方法論的哲學意義。我可能不成功,但我願意試一試自己的能力。所以,權且讓我做了再說。
   
我有幸在1998年的三月底在武漢大學的數學係聆聽了陳希孺院士關於統計學的曆史、現狀和未來的講座。而這個講座,根據他自己的陳述,幾乎是轉述了美國統計學家Perter John Huber在中國科學院數理統計研究所所作的類似演講的主要內容。在該演講的最後,陳希孺引述Huber的話說,統計學的理論體係需要來自數學以外的強大力量來推動其發展。我想,這股力量中首當其衝的非哲學莫屬。
   
我以自己良好的哲學素養開始了這個長達14年的探索。在完成了泛函化的廣義三分回歸分析法後,我強烈地意識到在統計學中需要幾個重要的基礎概念來幫助構建方法論時的思考。這才開始試圖引入概率論中的幾個簡單概念。例如,當我想要說分段回歸就是將樣本空間分解為幾個臨界空間然後在各臨界空間建模型以篩選回歸因子時,我遇到了一個重大的邏輯障礙,即kolmogorov樣本空間的定義。在這個樣本空間裏,是不可能存在臨界回歸關係的,從而任何分段的企圖都是徒勞的。但如果將樣本空間理解為實測樣本本身,則一切邏輯障礙都將化為灰燼。於是,問題就出來了:我們為什麽不可以這樣做?是現實世界不允許,還是現有理論體係不允許?答案顯然是後者。而理論必須符合現實,從而,修正kolmogorov的定義就成了唯一正確的途徑。
   
即使我的泛函化的廣義三分回歸分析法由於徹底拋棄了最優化的思維邏輯和解決方案而采用了隨機加權的期望估計而在某些大家們看來可能不正確(我當然不這麽認為,恰恰相反),我所設計的在全樣本空間裏同步尋找兩個臨界點的三分迭代法也足以令我感到自豪。如果人們想要將我的隨機加權估計換成最優化的解決方案,也隻能采用這個三分迭代法來實現。我本來可以這樣做,從而以一篇迎合該領域內所有人的思維習慣和當前數學理論的純算法文章尋求發表也不是不可能。但我拒絕妥協,而寧可讓它呆在JSM的會議論文集中。這就夠了,因為無人敢在其它刊物上發表一個類似的東西,並聲稱是他/她的首創和貢獻。學術刊物可以繼續拒絕發表它,受損害的不是我,而是統計學乃至整個應用領域。我可能永遠也不會為它尋求發表的機會了,從而,人們隻能到那個會議論文集中找到其曆史上的起點。這將是學術界的一個恥辱。”

alsoRun (alsoRun):“A fundamental component of modern scientific research is the peer review system. Otherwise, everybody can call himself/herself the greatest. Proceedings of joint statistical meetings are not peer reviewed. If you are as confident of your work as you seem to suggest, submit it for peer review. By the way, who wrote that wiki entry about you?

Actuaries (striving):“我想前輩您很久都沒來這個版了。老陳早就試過投各種journal了,後果如他所說,受數學訓練的腦袋們不敢接受這個革命性的發現。”

TNEGIETNI (lovewisdom)alsoRun (alsoRun):“從20074月到20095月間,我發過很多雜誌,包括JASA, Annals of Statistics, Biometrics, Biometrika, Statistics in Medicine, Comput. Stat. and Data analysis, etc, all of them rejected it without any professional comment!
       
曾經有兩個比較積極的評價。一個是JASA的主編,在我於200711月第一次發稿後的第一個評論中說我的思想“definite interesting”,但又說我的很多數學表述不合規範(這完全可以理解,我隻有國內醫學院的教育背景),因而拒絕了它。
   
另一個是在20095月,the editor of the Annals of Statistics suggested me to submit it to 一個稍微低一點的刊物,其理由是1)我所討論的問題不是該雜誌當前關注的熱點;2)我的文章的英文表述不夠好。
   
所以,我最終放棄了轉投它處,而將它發表在JSM的論文集中。這已經足夠了,因為我的思想和算法都已麵世了。我無所謂它們出現在哪裏。真理的表達還需要選擇地方?這真是可笑之極。真理一旦公開了,任何人都無法回避它!誰也不敢繼續理直氣壯地在統計學中講授最優化的理論了,因為那是一個荒謬和一個蒙昧!”

alsoRun (alsoRun):“Ok. So you have tried and were not successful. This is a case that you believe in your work passionately but others see it very differently. It also seems that you received the so called "desk rejection" from the editors: the manuscript is considered so different in style, topic scope or quality that it is not worth reviewing. That is understandable as I assume that you usually do not regularly read JASA or Annals. Many great papers were rejected several times before they are accepted. Examples include Rubin and Little's missing data paper and BH's false discovery rate paper. But these authors kept improving the paper in the rejection/resubmission process.

TNEGIETNI (lovewisdom):“你說的基本正確,但不全是。我的文章之所以一再被拒,有非常深刻的原因。實際上我的算法很簡單,任何有著高中數學水準而受過統計學基本訓練的人都能看懂,但其完整而正確的分析邏輯卻具有重大的意義,因為它預示著最優化和spline等在統計學理論和實踐中的徹底失敗。
   
因此,我也就知道了我的文章中存在著一個非常大的統計學的理論和實踐的問題以及幾個值得進一步改進的小地方,這就是,如果最優化被徹底放棄了,有什麽更好的辦法來取代它?畢竟,它被用來做統計決策已經很多年了,人們也在這個領域形成了一個比較一致的思維模式,放棄它的時候必須是有一個最好的替代方案出現的時候。我相信JSASAnnals of Statistics的主編對我的文章有深刻的洞悉。他們絕不是平庸之輩。(JSAS的主編在我最後一次發稿的評論中隻有一句話:此文不適合發表。這篇文章就是目前JSM上可以通過因特網搜到的那篇文章。在JASA的稿件庫裏是全文。)
   
盡管我已經在2009年的文章裏提出了兩個相互關聯的隨機變量(XY)的期望之間的對應是唯一確定的對應,而對應於ext(X)[min(X)max(X)]的僅僅是Y的一個隨機的點測量而非E(Y),但我們也不能在任何情況下都直接使用算術均數來做統計決策,因為它僅對正態分布是一個無偏估計,而很多的所謂optimizer的分布並非服從正態分布。所以,我們需要一個終極的、適合於任何分布類型的無偏期望估計的辦法。這個辦法終於被我在去年的1212日找到或發現了。這也就是我為什要大家記住1212日這一天的緣故,也就是我為什麽敢於自稱為統計學築起了一道新地平線的緣故,因為它是統計學自身最基礎、最核心因而也就是最通用的方法論,其完整的數學算法已經被公布在會議的abstract之中。這將是2011JSM會議上一個具有劃時代的事件。
   
順便說一句,這個新的算法並非來自任何數學公理或理論,而是來自一個深刻的、基於辯證法上的哲學沉思。我毫不懷疑,它是統計學曆史上每一個最偉大的人們所夢寐以求的方法,是每一個統計學家都會認同的方法,是每一個搞統計分析的人手中迄今為止最強大的武器。

alsoRun (alsoRun):“I now feel that you are a little delusional.

PharmD (夜裏發呆):“如果沒有這個特質,陳大師何以成為版寵呢?”

drburnie (專門爆料):“陳大師真以為自己發現DNA雙螺旋結構了呢!”

DaShagen (Unbearable lightness):“Master Chen can invest some money, not much, on hiring a technical writer who can definitely touch up your writing and even write it for yourselves based on your oral description.

bearJhonson (八棵七七葚)重發:“忠告:民科需謹慎采取的科學態度”

TNEGIETNI (lovewisdom):“你們在這個版就我的問題已經發表過無數的言論了。如果可能,我願意將它們全部複述在這裏,從而人們將發現,沒有任何人對我的思想和方法提出過任何學術性的評論(無論是肯定的還是否定的)。當然,我不懷疑其中會有人從我的文章中獲取靈感,因而深藏不露,私下拚命耕耘,以便在我的錯誤中找到自己的正確的解決途徑。讓我告訴你們,你們已經沒有任何機會了。我的最新研究結果已經麵世了,它是三分回歸分析法中所有可以改進之處的終極解決方案。人們在方法學上唯一可以做的是在我的方法中加入自己的思想使之更加完整。最後,我將不會允許任何人將我的算法變成電腦程序化的軟件,除非得到我的授權。我將捍衛我的權利。”

Actuaries (striving):“不知腐鼠成滋味,猜意鵷雛竟未休。”

littlebirds (dreamer):“You guys are merely feeding the troll.”

goldmember (蔬菜<<<菜鳥)littlebirds (dreamer):“That's the point. Feeding the troll is a lot of fun.

littlebirds (dreamer):“I would rather use the time playing games :-(

TNEGIETNI (lovewisdom)littlebirds (dreamer):“You are right. I am challenging the large body of the whole system in my very weak capability. I believe that I will win since there are some mistakes in it.

papertigra (長工瘦頭豬)(統計版斑竹,注):“最近重讀金庸小說,大家說樓主象金庸小說裏的誰?哈哈。”

DaShagen (Unbearable lightness):“鐵掌水上漂!”

baicaibangzi (白菜幫子):“斑竹是想說白駝山山主?”

goldmember (蔬菜<<<菜鳥):“不對。求欠賬至少知道自己是冒充。如果陳大師到這裏自稱efron的馬甲,那就是求欠賬了。”

PharmD (夜裏發呆):“妾突然發現求欠賬和要加薪是很完美的對仗!”

littlebirds (dreamer):“妙!”

goldmember (蔬菜<<<菜鳥):“太有才了!”

daLIElama (達賴這個鳥人):“其實陳大師更像大牛 黃裳。那叫一個真牛。wiki上的這個是誰寫的?http://zh.wikipedia.org/wiki/陳立功

drburnie (專門爆料):“還能有誰?”

baicaibangzi (白菜幫子):“陳教授在哪高就啊?不是在北美吧?”

yzlzzly (Blizzard.FrostHand):“這算不算臆想狂啊。我覺得他最大的工作在於臆想自己的成就,為自己歌功頌德。對錯都沒搞明白,先忙著到處自吹自擂。我建議他家人趕緊注意下他的精神狀態,這是腦子有病,seriously.

TNEGIETNI (lovewisdom):“各位統計PhD大蝦對一個國內醫學院畢業的統計masterWu水潑完了沒?如果沒有,請繼續潑。咱們都是搞統計的,對事物分類采集數據是統計分析中最基礎的工作。所以,如果您不想潑了,就請您回頭對自己作為一個人分個類,看看自己究竟屬於哪一類人?但願你們不要將自己歸錯了類,否則,你們將沒有資格從事統計行業的工作,因為你們要麽沒有相當的智力,要麽造假以欺騙自己和他人。
   
一個人以自己頑強的毅力、不畏懼任何權威、不怕個人生活乃至整個家庭被摧毀的後果、在十多年裏從中國到美國,挑戰自己的極限,提出自己全新的思想。而你們身為該領域的高級學者,卻在此發表如此的言論。你們認為可以擊垮我的精神?這才是真正的妄想(delusional)。
   
讓我告訴你們,我跨越了十一次生死線、經曆過巨大的人生痛苦、享受了完美的人性生活,沒有任何力量可以摧毀我的心智!
   
我善意地建議你們,在不知道我究竟做了什麽時,請保持你的緘默(Please keep yourmouth in silence if you don't know what I have done in Statistics.
   
在此,請允許我引用兩段聖經中的話語:1)最大的戒命:你要盡心、盡性、盡意愛主你的神。這是一切戒命中的第一,且是最大的;其次也相仿,那就是要愛人如己。這兩條戒命是律法和先知一切道理的總綱。2)如果有人打你的左臉,你把右臉也伸過去讓他打。所以,你們永遠別想從我這裏得到汙言穢語的回敬,因為那種語言是你們身份的象征,與我無關。
   
如果我錯了,沒什麽,不過是自嘲一下而已。如果我有能力改正的話,我會盡力改正自己;如果沒有這個能力,我就放棄之。人生的美景多的是,我何苦跟自己過不去?我說完了我的話,就去幹自己的活,或打草、或教小提琴、或聽音樂、或看電影、或陪家人玩耍、或出去旅行、或找朋友喝酒聊天、……
   
我知道,一個美國大學的統計PhD是很難放下自己的身段對一個國內醫學院畢業的統計master表示尊敬的。不過,我的美國老板、同樣是擁有統計PhD學曆的高級統計專家,卻對我提出的理論和方法表示了他的讚同。這是他支持我參加今年JSM年會的主要原因。如果他不認同我的東西,如果他也像你們這樣認為我在胡言亂語,他絕對不會用公司的經費支持我去出席會議。
   
最後,我敢於對自己的工作做出一個自我評價,表明我至少知道它們對於統計學乃至一般應用學科的價值究竟是怎樣的。如果我連這一點評判能力都沒有的話,我就根本沒有資格從事自己的研究工作。如果你們認為我在造假,如果你們想要打假,可以向打假英雄方舟子打個小報告。他已經打倒了我的同事肖傳國博士,再打一個僅有國內master學位的假貨易如反掌。我等著你們和他共同采取行動。
   
願你們大家好自為之。”

goldmember (蔬菜<<<菜鳥):“讚陳大師水火不侵,刀槍不入。這正是金庸書中所載,早已失傳千年的金臉罩鐵麵皮神功~~~~~~啊!!!!”

TNEGIETNI (lovewisdom):“哇噻,你的發現好偉大呀!還不趕緊把那個金臉罩鐵麵皮神功藏到自己家裏?”

goldmember (蔬菜<<<菜鳥):“我既不反傳統,也不創理論。就是一同流合汙的小蝦米。用不上這樣的神功啊。話說陳大師,我在板上問了沒人回答。你那個英俊無比的頭像是你自己麽?”

TNEGIETNI (lovewisdom):“讓我告訴你:那就是我自己。”

goldmember (蔬菜<<<菜鳥):“蔥白呀...難怪版上女士們都偃旗息鼓,不來找陳大師的麻煩了。”

papertigra (長工瘦頭豬):“俺覺得陳大師挺有才的,語言組織能力一流,做事認真執著一流,至於統計學上的成就,俺也不懂,那就不提也罷。”

Actuaries (striving):“嗯,我也覺得老陳是大帥鍋。要說老陳和鳳姐有啥不一樣,區別就在於當初他倆降落凡間的時候,鳳姐是臉部著地,老陳是後腦勺著地。”

goldmember (蔬菜<<<菜鳥):“哈哈。這個太搞了。必須要跟一下。過了這貼我再也不攻擊老陳了。玉女扭頭端詳了金童良久:‘你兩眼無神,不是金童咯咯。說,你是什麽妖怪變的?’金童撓撓頭:‘誰是金童?芙蓉姐姐,你跑到我玉皇大帝家來幹什麽?’

TNEGIETNI (lovewisdom)Actuaries (striving):“瞧你那因為……而被扭曲的心理!隻有上帝才會垂憐你了。”

PharmD (夜裏發呆)Actuaries (striving):“精算,你很久沒有換頭像了。妾要看你家的小帥寶近照。”

hezhi (荷芝)PharmD (夜裏發呆):“你該自個整一個,hehe

Actuaries (striving)hezhi (荷芝):“don't think she can 自個整一個。She should work with her LD together to 整一個。Haha 

關於樣本空間的繼續討論
http://www.mitbbs.com/article_t/Statistics/31275951.html

【問題開始:以下文字轉載自 Mathematics 討論區】
發信人: whatsummer (
不理貓@St Trinians), 信區: Mathematics
  : 一個簡單的數學問題,我和我老板爭論不停,其中一定有一個人是白癡,哈哈
發信站: BBS 未名空間站 (Wed Apr 27 15:20:03 2011, 美東)
       
如果你有nparametersnequations,一定可以解出來每個參數,並且隻有一個解麽?這些equation不是重複的,比如
   
           xy3
      
           x2y6
不是那種因為重複而少了一個有用equation的情況。
    
我說:有多解或者無解。我老板說:一定有,且隻有一個解。打個比方,我們的equations如下:
    
           xy/(x+y)*(x+y)(x+y+1)=6
       
          2(y-x)*sqrt(x+y+1)/[(x+y+2)*sqrt(xy)]=8
         
我們還有很多其它equation要解。上麵這兩是最簡單的一個case。多謝各位神仙!
【問題結束:以上文字轉載自 Mathematics 討論區】

DaShagen (Unbearable lightness):“這等高深的問題一定要問陳大師。說不定能在三段回歸分析與樣本空間的交集中找到答案。”

       

dapangmao (dapangmao):“本來不懂陳大師的樣本空間,看了電影source code以後終於明白了,原來就是並行空間啊。”

TNEGIETNI (lovewisdom):“我沒看過那部影片,所以不太明白你的話中話。希望你展開說說,多謝指教。
    事實上,我認為我所定義的樣本空間很直觀簡單啊。怎麽會不好理解?打個比方,我們有兩個隨機變量
XY構成的一個聯合空間,樣本量是35。按照我的定義,這個樣本空間就是由這35個隨機點及其測量尺度(或坐標)構成的一個空間。這當然是很經驗化的了,但依然是一個抽象的空間。而按照Kolmogorov的定義,樣本空間僅僅是兩個坐標構成的空間,其中沒有任何實際的樣本點,因為他認為任何實際的樣本點都是來自這個可測空間的。也就是說,他所定義的是完全抽象化的空間,與具體樣本無關。這是讓我感到徹底困惑的邏輯難題(對於那些學數學的來說,沒有任何障礙)。
   
我承認我和kolmogorov在對統計學的理解上存在著哲學上的差異,而我的數學思維極其有限,但我希望以直觀的方式建立一套邏輯思維係統。在我看來,統計學中的所有樣本都既是具體而實際的,又是抽象而廣義的。不僅如此,任何統計方法都是在處理實際樣本的過程中構造出來的具有普遍而抽象意義的算法,而非從某個或某幾個數學理論直接推導出來的。這是統計學方法與數學方法之間的巨大差別。我可以不懂任何高深的數學理論,但如果我掌握了簡單的數學運算法則,我照樣可以用實際樣本構造出一套分析數據的邏輯以及相應的某個具有特定意義的統計量的計算公式。如果分析的邏輯正確,統計量的構造就是正確的;反之,分析邏輯出錯,統計量的構造就可能帶給我們某種錯誤的意義。
   
從哲學的邏輯係統來看,並非所有符合邏輯的都一定是正確的,我們的思維中存在著大量的偽邏輯,從而帶給我們很多偽科學的方法論。一個缺乏深刻的哲學頭腦的大數學家從事統計方法學研究對公眾來說是危險的。這就是我針對統計學的基本觀點之一。”

goldmember (蔬菜<<<菜鳥):“終於看懂了一些陳大師的話。不容易。這個樣本空間在高維數據分析中早就不是什麽新鮮事了。p>>n的時候,一些算法就是基於n個樣本構成的空間的。這兩個空間有線性變換的關係。”

scimitar (無限江山):“看懂陳大師的話,發包子吧。”

goldmember (蔬菜<<<菜鳥):“我替你抵擋陳大師,你該給我發幾個包子才對。”

TNEGIETNI (lovewisdom):“我不太懂你的p>>n是什麽意思。我的思想很單純和直觀。當我們將n個隨機點描繪在一個測度空間裏時,就得到了一個實際的樣本空間。沒有這些隨機點的存在,就不構成一個切實的樣本空間。這是一個簡單的邏輯。於是,隻有在這樣的樣本空間裏,我們才可以討論臨界分割的問題,而在Kolmogorov定義的樣本空間裏,是不可以討論這個問題的,因為那個空間如果是一個連續型隨機變量的可測空間的話,就不存在可分性。
   
我想借此機會談談goldmember (蔬菜<<<菜鳥)在這裏所說的"n個樣本"。這是很多人常用的習慣性語言,但它很不嚴謹。我想他想要表達的實際應該是"n個隨機點"的意思。在統計學裏,樣本、統計量、參數等都應該有著不容任何混淆的含義。因此,在統計學中,一個樣本隻能是指的由來自可定義的同一總體的n個隨機點構成的一個隨機子集,而不能指代其中的任何一個。

goldmember (蔬菜<<<菜鳥):“n是樣本數,p是維數。做生物的p都幾萬,n隻有幾百。自然而然就把兩者關係翻過了,否則沒法做。沒你那麽多哲學上的思考。你說沒有這些隨機點的存在,就不構成一個切實的樣本空間。在這種情況下是有意義的。因為p>>n所以實際數據支持的維數隻有幾百。如果考慮p維,covariance matrixdegenerate的。我不是科班出身的。上麵說的可能有誤。” 

TNEGIETNI (lovewisdom):“你就別謙虛了。我問你的那句話表明我可能連……都不是,更別提科班了。我思考統計學的問題時,主要是從哲學而非數學的角度。這是我與眾不同的地方。顯然,如果我有良好的數學訓練的話,我可能會做得更好。遺憾的是,我隻能盡自己所能了。可能會造成很多謬誤,但我希望我的哲學式陳述能幫助那些數學基礎良好的人們更好地思考統計學中的問題。” 

[ 打印 ]
閱讀 ()評論 (1)
評論
目前還沒有任何評論
登錄後才可評論.