量化的迷區——揭開誤導性大學排名的秘密

量化的迷區——揭開誤導性大學排名的秘密 2002.04 首發於網大論壇 來自“中國大學排名第一網”的“排名學”專家武書連有一個自稱很“權威”的大學排名。這個排名屬於最令人大跌眼鏡的中國大學排名了，人大、科大、協和、上海財經等小而精的學校不知道被排到哪裏去，九大國立大學當中（清華、北大、南大、複旦、科大、上交、西交、哈工、浙大），科大、哈工大被踢出前10，更可笑的是科大的“本科生排名”是70，要知道科大的本科生源肯定是TOP5，甚至是TOP3的。 武書連振振有詞地說，他的排名經過很多專家評估，又有這麽多數據支持，不象網大排名隻搞搞問卷調查。所以他的排名科學而權威，他肯定不會有錯，如果有錯，那也是我們觀眾的感覺錯了。 我對各種排名向來是不屑一顧的，我自己心裏有自己的排名，從來不認同其他什麽排名。但是武書連居然把自己搞出的笑話說成“科學”，本人就不得不分析一下這所謂的“科學”，以正視聽了。 1、武書連認為，人才培養和科學研究的比重分別是：0.6251和0.3749。理由：全國所有大學當中，從事教學工作的人員：從事科研工作的人員＝62.51：37.49。 武書連的錯誤在於，他錯誤地使用同樣的比例放在所有的大學身上。我們知道，研究型大學和教學型大學的教學人員比例：科研人員比例是完全不同的。中國絕大多數大學都是教學型大學而不是科研型大學，在9所國立當中隻有浙江大學屬於教學型大學，其餘都是科研型大學。因此62.51：37.49的比例用在九所國立大學的比較當中，對浙大有利，對幾乎是純科研型的大學例如科大、哈工大不利。假設武書連的這個算法僅僅用來比較九所國立大學，那麽這個比例將變小，因為九所大學的教學人員：科研人員明顯會比原來的比例低（原因是九所國立大學隻有浙江大學是教學型大學），比如說比例就會變成40：60，這個比例對浙大將是極為不利的，但是對科大、哈工就變得有利了。 武書連是文科生，沒有學過計量經濟學，所以不知道這個算法產生了“群集誤差”。正確的算法應該是，首先使用Cluster Analysis（集群分析）把具有相似性的大學分出來，然後才計算科研：教學的比例，比較隻能先在各個子集裏進行。所以這就是為什麽很多人提倡把“重點大學”和“非重點大學”排名分開排的原因！ 2、武書連認為，“難度係數”＝（G/P）／(Gri/Pri)，其中Gri是r類大學（綜合、理工、農、林、經等）的科研總得分，Pri是r類大學的人數。有趣的是計算“人才培養”的時候，Gri不再是r類大學所有教學人數總和，而是變成了所有大學的教學人數總和。 首先武書連把大學按專業性分類來評價科研成果，在一定程度上避免了上麵說過的“群集誤差”，但是在計算“人才培養”時又取消大學分類，因此“人才培養”得分存在嚴重的“群集誤差”。 在“人才培養”一項，所有大學的“難度係數”相同。Gri/Pri即62.51，而我們知道這個數值拿來衡量九大國立大學的時候是高估的，因此九大國立大學當中，隻要學生人數、教師人數不夠多，“人才培養”的得分就被低估了。 在“科研成果”一項，難度係數取決於同行的Gri/Pri，在Pri（人數）一樣情況下，Gri（科研成果）越低難度係數越高。在Gri一樣情況下，Pri越多難度係數越高。因此難度係數鼓勵“人多”、“成果少”。如果我們假設每個專業性隻有一所大學參與評選，於是該大學的成果變成(G/P)／(Gri/Pri)*Gri＝(G/P)*Pri，這時科研成果得分僅僅取決於該大學的“人數”！！！所以“科研成果”項對人數多的大學有利，即使在成果相同情況下，人數多的大學由於“難度係數”高，結果科研成果得分也多。 說到這裏，大家就知道為什麽科大、哈工大落選TOP10了吧。原因在於武書連的評價標準不但在“人才培養”項隻考慮人數，在“科學研究”項也把人數因素列入，所以得到了可笑的結果。我敢斷定，如果使用武書連同樣的計算方法，但是隻分析九所國立大學，那麽得到的排名將會完全不同。這時候沒有什麽專業性大學區分了，因為所有參與排名的大學幾乎都是理工強校，難度係數也應該取消。這樣我們幾乎可以肯定，浙大將是最後一名。 更令人懷疑的是學術研究的二級指標通通沒有公開，而這些二級指標當中包括了所謂的省部級獎勵等垃圾獎項，和SCI、EI、國家科技獎放在一起十分滑稽。對這些二級指標的權重分配，也有許許多多的貓膩在內。 我說這個例子，主要是破除大家對“量化”的迷信，國內好象什麽都喜歡搞“量化”，評教授、評職稱、評先進，通通都要“量化”，而武書連最得意的事情是他的排名比網大的更加“量化”。從上麵的例子可以看出，量化並不一定帶來公正的結果，隻不過是主觀意願隱藏在複雜的計算當中，別人看不出來罷了。國外評教授從不看發了多少SCI論文，我知道UC Berkerley還有一個終身教授是一篇TOP Journal的論文都沒有的。別人怎麽讓他當了終身教授呢，其實隻要讓他把研究計劃，研究方法寫出來，行家就可以看出他的科研有沒有向前發展的潛力，是否可能有驚人的重大成果，根本就不需要看他發了多少篇論文。所以國外的教授才會潛心學術而不是象國內的教授那樣浮躁整天想著造論文。中國的SCI、EI論文數量大漲全紅，可是科研怎麽樣？還不是一堆泡沫？ 前麵我的分析通通沒有指向武書連版排名的指標選取的價值取向問題，而僅僅談了計算方法。下麵不妨看一下指標選取的價值取向，武書連選取指標的基準首先是教職員工的構成比例，然後使用這個這個比例評價教職員工分別在教學和科研上的貢獻。假設他的排名是完全正確的，這個排名也僅僅能夠用來評價大學在教學、科研的數量產出（而不是質量）。這個排名對什麽人有指導意義呢？顯然對教育部的官員有一定的指導意義，如果教育部認為，在完全不計較教學科研質量的情況下，要求平均到每個人身上的投資一樣，那麽投資規模應該參考武書連的排名。但是這個排名對考生完全沒有任何意義，因為考生考慮的是教學和科研的質量而不是數量。我們不妨看一下武書連推薦的學校： 想當一流經濟學家，應該選擇中國人民大學、廈門大學、武漢大學、上海財經大學、南京大學；想當一流管理學家，應該選擇浙江大學、華中理工大學、西安交通大學、北京大學、武漢大學。 而根據經濟學重點學科評比結果，經濟學牛校應該是中國人大、北京大學、南開大學、複旦大學、廈門大學；根據管理學重點學科評比結果，管理學牛校應該是清華大學、西安交大、天津大學、人民大學、中山大學。可見隻看數量不看質量的武書連版排名真的是狗屁不如。 有趣的是，我們不妨看一下經濟學重鎮北京大學的重要教員的背景，根據我的不完全統計，他們分別來自北京大學（姚洋、宋國青、張帆、趙耀輝、平新喬、海聞、林毅夫）、中國人大（張帆、周其仁、胡大源）、中國科大（金甫春、陳平）、華東師大（平新喬）、南京大學（施建淮）、北京師範（汪丁丁）、上海財經（施建淮）。廈門大學和武漢大學榜上無名，而在經濟學領域似乎寂寂無名的中國科大居然有兩人入選。事實上武書連版排名犯的錯誤是南京大學最強是管理學而不是經濟學，可笑這裏居然把南京大學的經濟學推薦給高中生，而忽略了更強的南開大學、複旦大學、北京大學。 如果看一下管理學重鎮清華大學的教員背景，我的不完全統計，他們分別來自清華大學、天津大學、西安交大、中國科大、華中科大、人民大學、廈門大學、北京大學。武版排名當中排名第一的浙江大學一個都沒有。如果再繼續跟蹤清華大學經管學院招收外校保送生情況，我對最近幾年了解是，保送生生源來自：北京大學、人民大學、中國科大、複旦大學、華南理工，唯獨沒有武版排名當中第一的“浙江大學”，原因是浙大學生素質太差勁，計量經濟學當中的單根檢驗都不知道是怎麽一回事，數理水平慘不忍睹，連人民大學的學生都不如，更不要說跟理科牛校北京大學、複旦大學、中國科大的學生比了。本來浙大合並成“中國第一校”就是個笑話，武書連排名給這個笑話加上了花邊，讓這個泡沫變得更加迷惑別人了。