大學排名的本質——你的母校為何不是“五大名校”

大學排名的本質——你的母校為何不是“五大名校” 2002.05 首發於網大論壇 我的這篇文章目的在於澄清一些誤導性的廣告詞，讓大家對各種各樣的大學排名有一個本質上的認識。靈感來源於學習經濟學曆史上最具有顛覆性的理論——Arrow’s Theorem。 首先我從收集數據開始，上次我做的“五大名校”調查已經得到了初步的結果，非常感謝接受調查的網友所提供的寶貴意見。以下是簡要的調查結果： 1 2 3 4 5 1 USTC NJU THU PKU FDU 2 THU PKU FDU USTC NJU 3 PKU THU USTC FDU NJU 4 PKU THU FDU NJU SJTU 5 PKU THU USTC NJU FDU 6 PKU THU RUC CAU USTC 7 PKU THU USTC FDU NJU 8 PKU THU FDU USTC NJU 9 PKU FDU NJU THU USTC 10 THU PKU NJU FDU USTC 11 THU USTC PKU NJU FDU 12 PKU THU SJTU FDU NJU 13 THU ZJU PKU NJU FDU 14 NJU USTC PKU FDU THU 15 THU PKU USTC FDU NJU 16 USTC PKU THU FDU NJU 17 THU USTC PKU FDU NJU 18 PKU FDU NJU THU USTC 19 THU PKU USTC FDU NJU 20 NJU USTC PKU FDU THU 21 THU PKU FDU NJU USTC 22 PKU THU RUC FDU USTC 23 THU PKU USTC NJU FDU 24 THU PKU USTC FDU SJTU 25 THU PKU FDU SJTU USTC 26 PKU THU FDU USTC NJU 27 NJU THU PUMC TONGJI PKU 28 THU PKU NJU FDU SJTU 29 USTC NJU PKU THU FDU 30 THU PKU NJU FDU USTC THU：Tsinghua University 清華大學 PKU：Peking University 北京大學 NJU：Nanjing University 南京大學 USTC：University of Science & Technology of China 中國科大 FDU：Fudan University 複旦大學 SJTU：Shanghai Jiaotong University 上海交大 RUC：Renmin University of China 人民大學 CAU：China Argriculture University 中國農業大學 ZJU：Zhejiang University 浙江大學 PUMC：Peking Union Medical College 協和醫科大學 TONGJI：Tongji University 同濟大學 一、如何評估這個調查結果： 首先我們想到的是給每個學校進行打分，最簡單的打分方式是：第一名5分；第二名4分；第三名3分；第四名2分；第五名1分。如果這樣做，那麽打分結果為： PKU THU USTC FDU NJU SJTU RUC ZJU CAU TONGJI PUMC 120 119 66 60 60 8 6 4 2 2 3 如果按照這個打分結果：順序是北大〉清華〉科大〉複旦＝南大〉上海交大〉人大〉浙大〉協和〉中農大＝同濟。由於北大、清華、科大、複旦、南大得分遠遠超過其他學校，下麵的分析重點集中在這五所學校上。 這個結果似乎並不讓我們滿意，因為複旦和南大的先後次序沒有被區分出來，那麽我們稍微改變一下打分規則：第一名9分；第二名7分；第三名5分；第四名3分；第五名1分。統計結果為： PKU THU USTC FDU NJU 210 208 107 92 94 意味著：北大〉清華〉科大〉南大〉複旦。 好了，這個結果區分開了五大名校的先後次序，且慢，如果我們重新製訂打分規則：第一名11分；第二名9分；第三名7分；第四名5分；第五名3分，那麽： PKU THU USTC FDU NJU 270 268 157 148 146 意味著：北大〉清華〉科大〉複旦〉南大。南大和複旦之間的次序發生了改變，而打分原則仍然和第二次類似，為方差=2的序列。 不過南海之子是清華的支持者，當然不會坐看清華排在北大後麵，現在南海之子提出：“其實第一名和第二名沒什麽區別的，應該打相同的分數，第三名和第四名也沒什麽區別，也應該打相同的分數”。於是打分規則變成：第一名5分；第二名5分；第三名3分；第四名3分；第五名2分。那麽： PKU THU USTC FDU NJU 133 134 81 82 78 也就是說：清華〉北大〉複旦〉科大〉南大。 科大的費拉裏醫生可能會抗議說，前麵幾次評估都是科大〉複旦，怎麽這次變成複旦〉科大，南海之子你太不夠意思了，幫了清華卻忘了理工科的弟兄科大，結果把複旦給弄上去了。於是南海之子做了深刻檢討並且提出：第一名應該得到更多獎勵，就象足球比賽裏麵贏球得3分，打平得1分一樣鼓勵勝者。於是規則重新修訂為：第一名6分；第二名4分；第三名3分；第四名2分；第五名1分。這時候： PKU THU USTC FDU NJU 131 132 69 60 63 結果為：清華〉北大〉科大〉南大〉複旦。 上海交大的哈哈貳可能很不服氣，會抗議說，科大在合肥，四周都是野草，哪比得上上海交大，中國著名外企從來都隻從清華北大複旦交大四所學校要人。南海之子考慮到哈哈貳昨天生氣傷了身子，為了讓他Happy一點，於是顧不上費拉裏醫生，重新把打分規則修改如下：第一名15分；第二名14分；第三名13分；第四名12分；第五名11分。結果變成： PKU THU USTC FDU NJU 420 419 316 340 320 北大〉清華〉複旦〉南大〉科大。 總結：到目前為止，通過修改打分規則我們已經得到幾個相互矛盾的結果： 1、清華〉北大 VS. 北大〉清華。 到底是清大還是北大？ 2、南大、複旦、科大的排列次序處於混亂狀態，我們可以得到科大〉複旦、複旦〉科大、南大〉複旦、複旦〉南大、科大〉南大、南大〉科大的相互矛盾的結果。數據沒有變，結果發生了劇烈變化。 從這裏可以看出，即使是相同的數據，隻要采取不同的處理方式，就可以得到不同的排名，大學排名就好象揉麵團可以根據自己的需要隨心所欲。下麵我們來看一下一些容易產生誤導的說法： 1、我們的排名搜集的數據最全，所以我們的排名是最權威的。 錯誤。排名是否權威不但取決於數據，更取決於數據的處理方法。 2、我們不但考慮了理工科成果，還考慮了人文科學的成果，所以我們的綜合排名最權威。 錯誤。綜合排名還取決於這些成果的權重，從以上我的分析可以看出，給第一名較大的權重對清華、科大有利，給最後一名更多的分數對南大、複旦有利。 3、我們使用了很多計算公式，而不是簡單的問卷調查，所以我們的結果更加客觀，因而也更加權威。 錯誤。選擇數據處理方式就是一個主觀的過程，得到的結果也是主觀的。剛才大家也看到了，我是如何根據自己的需要隨意改變大學排名的順序的。當然我還算謙虛謹慎的，不但公布數據還公布處理過程，所以不能象武書連那樣把浙大排到北大頭上去。 談到這裏，武漢大學的皇室大仙可能會憤憤不平地為“中國大學排名第一網”的“排名學專家”武書連辯護了：單從排名的指導意義和公正性上來說，武書連的排名就是一個“皇室大仙”。我們不妨看一下武書連自己怎麽說的：“方勇同學提出，科學計量學上的加權方法不適於解決大學排名評價這一複雜的係統工程。我不是科學計量學家，對此不敢妄加評判，隻是覺得在科學計量學家還沒有研究出更好的方法之前，使用加權方法或其它方法將複雜的問題簡單化不失為大學評價的有效途徑。況且在1949年科學計量學誕生之前，加權方法早已廣島泛應用於包括教育科學在內的許多領域”。 皇室大仙看清楚一點，武書連都承認自己不是計量經濟學專家，他憑什麽跑去搞大學排名？連基本的數據處理常識都不懂，難怪弄出把武漢大學排入TOP10的笑話。 武書連的假設是違背常識的：他最重要的假設是預先假設人均產出相同（無論是理工科教授還是文科教授，無論是名校學生還是爛校學生）！（見“薛天祥、侯定凱”：如果兩類大學產出相等或相近，那麽人數越多難度係數越大，人均產出越低；同樣，如果兩類大學人數相等或相近，產出越低，難度係數越大，其結果是要把產出低的一類大學拉到產出高的一類大學一樣，換言之，就是預先設定各類大學的人均產出是一樣的）。如果這樣，武書連隻要統計一下各個大學的人數，然後乘以那個“相同的人均產出”就可以了。所以武書連不要這麽謙虛地稱自己是“排名學專家”，最好加個頭銜：“人口統計學家”。這樣的排名，小學生都會做，武書連及其支持者皇室大仙還是不要跑到大學生麵前鬧笑話了。 二、不要綜合數據了，來個簡單的一對一。 既然數據可以任意進行“綜合”，得到的結果也千奇百怪，我們就換個數據處理方法，來個一對一比拚。以下是一對一比拚成績表（假設兩個大學同時出現在排名當中），我們得到矩陣A： P T U F N S R Z C TJ PU P 0 15 18 28 21 5 2 0 1 0 0 T 15 0 20 24 19 5 2 1 1 1 1 U 7 5 0 14 14 1 0 0 0 0 0 F 0 4 10 0 14 4 0 0 0 0 0 N 5 7 7 11 0 2 0 0 0 1 1 S 0 0 1 1 1 0 0 0 0 0 0 R 0 0 2 1 0 0 0 0 1 0 0 Z 1 0 0 1 1 0 0 0 0 0 0 C 0 0 1 0 0 0 0 0 0 0 0 TJ 1 0 0 0 0 0 0 0 0 0 0 PU 1 0 0 0 0 0 0 0 0 1 0 T Tsinghua University P Peking University N Nanjing University U University of Science & Technology of China F Fudan University S Shanghai Jiaotong University R Renmin University of China C China Argriculture University Z Zhejiang University PU Peking Union Medical College TJ Tongji University 說明：假設A(i,j)=a_ij，意味著有a_ij個人認為大學i比大學j好。例如A(P,T)=15，意味著受訪者當中有15人認為PKU（北京大學）比THU（清華大學）好。A(T,F)=23，意味著受訪者當中有23人認為清華大學比複旦大學好。 P T U F N P 0 15 18 28 21 T 15 0 20 24 19 U 7 5 0 14 14 F 0 4 10 0 14 N 5 7 7 11 0 初步分析，從這個矩陣看，A(P,T)=A(P,T)=15，也就是說認為北大比清華好的人數和認為清華比北大好的人數一樣多！北大清華不分上下。A(U,F)=14>A(F,U)=10，說明科大比複旦好；A(F,N)=14>A(N,F)=11，說明複旦比南大好；A(U,N)=14 >A(N,U)=7，說明科大比南大好。因此正確排名應該是： 清華=北大〉科大〉複旦〉南大。這個結果夠滿意了吧？ 且慢，我們再仔細分析一下：從數據當中，有7人認為科大〉北大，5人認為南大〉北大，0人認為複旦〉北大，因此，如果使用北大作為基準，後麵三名的排序應該是科大〉南大〉複旦，而不是科大〉複旦〉南大。 可見混亂發生在南大和複旦的相對位置上，如果以科大為基準，我們得到14人認為科大〉南大；14人認為科大〉複旦，所以南大=複旦，但是有10人認為複旦〉科大；7人認為南大〉科大，所以應該是複旦〉南大——這樣得到相互矛盾的結果。 有意思的是，使用清華作為基準，我們將得到南大〉科大〉複旦。 好象清華=北大應該是共識了，這可未必，因為使用科大為基準，那麽清華〉北大，使用複旦為基準，那麽北大〉清華，使用南大為基準，則北大〉清華。 在這裏，我們明顯看到了學科設置因素對排名的影響。盡管有20人認為清華〉科大，但是隻有18人認為北大〉科大。原因可能是認為對清華評價好的人同時也對科大評價好，因為同樣是偏重理工的大學，而對北大文科評價偏低。同樣的，有28人認為北大〉複旦，但是隻有24人認為清華〉複旦。原因也可能是對北大評價好的人，對複旦也給出較好的評價。 以上文字，我們忽略了少數派的意見，下麵我們看一下支持交大的網友如何評價5大名校的。顯然，如果以交大為基準，我們得到複旦〉南大〉科大，因此科大被“非主流網友”所拋棄，如果這樣的網友足夠多，後三名的結果就變成複旦〉南大〉科大。 科大的網友可能會抗議說，應該以1對1的方式決定勝負，且慢，我們前麵的假設是必須兩個學校同時在一個網友的投票當中出現，才對這兩個學校進行比較，現在複旦大學的網友可以提出，即使不同時出現，我們也可以比較，這就是：那個被排除出局的學校肯定比留下來的學校差。 因此支持複旦大學的同學增加了：因為有30人投票，結果14人認為科大〉複旦，10人認為複旦〉科大，還有6張選票沒有同時投給複旦和科大。分析剩下來的6張選票發現：4張投給了複旦而沒有投給科大；1張投給科大而沒有投給複旦；剩下一張兩個都沒有投。所以比拚結果為科大 VS 複旦為15 VS 14，相差極小，如果複旦有能力賄賂剩下那個兩個學校都沒有投的選票，那麽科大 VS 複旦將變成15 VS 15。從這裏我們看到少數派的重要性，他們的意見遠遠不象我們想象的那麽微不足道！想想看布什這個美國曆史上最大的流氓是怎麽當上總統的吧。 三、阿萊悖論 阿萊悖論是經濟學上最具有顛覆性的理論，換成大學排行的語言就是： 如果存在滿足這樣條件的排名： 1、假設所有人都認為A大學比B大學好，那麽綜合排名當中必定是A〉B。 2、所有參加評估的人員都必須嚴格區分出排名次序（即：不能說北大＝清華，必須區分出他們的次序），對他們的價值偏好沒有特別的限製（即：不能要求評估的人員隻能把北大、清華排前兩位）。 3、偏好獨立性：假設綜合評估結果是A〉B，那麽如果所有人對A、B相對位置看法不變的情況下，修正了對C的看法，第二次綜合評估結果仍然是A〉B。（即：假設北大、清華的各種指標在2001、2002年沒有變動，綜合評估2001年是清華>北大。如果複旦大學在2002年進步了，排名提升，那麽2002年的排名仍然是清華>北大，不會因為複旦大學的進步影響清華、北大的相對位置。） 4、3個以上的大學參與排名。 那麽這樣的排名，不管綜合各種指標的過程是怎樣的，它肯定是事先設計好的。 阿萊悖論告訴我們，任何所謂的“綜合”排名，要麽是不公正的，要麽是有心人的事先設計。我們隻要對原始數據進行了人為的處理和加工，就可以得到自己所希望的“綜合排名”。所以最有價值的信息不是“綜合”排名，而是原始數據，例如重點學科數量、各個學科權威專家對本學科的排名、論文數量排名、國家科技獎排名等等。每一個大學都有自己的特色，這些特色就體現在一些原始的數據之上，而不是所謂的“綜合”排名上。所以爭論排名極為無聊、沒有意義，最好的排名應該是單科排名。使用的數據越多並不意味排名越權威，計量經濟學有一個極為重要的結論：如果沒有理論的支持，任何計量統計都有可能是Garbage In, Garbage Out。武書連不是計量經濟學專家，所以就沒有意識到自己的排名就是一個“Garbage In, Garbage Out”。 四、其他引申 北大人很喜歡“民主、自由”，不過如果掌握了阿萊悖論的精神，我們是可以通過操縱選舉程序來操縱選舉結果的。民主不但是一個口號，也是一門科學，遠遠不是投投票這麽簡單！