平凸雜談
才高五鬥不覺恥，水灌一壇隻作癡。凸情不枉君付意，子誌難琢我化石。
Video Script:
Year of 1983. Reagan Administration. A report from US Department of Education dropped a bombshell on American public. The shock, if taken in retrospect, is worse than Gagarin’s space travel two decades ago. “For the first time in the history of our country, the educational skills of one generation will not surpass, will not equal, will not even approach, those of their parents.”
Ripples of education reforms were instigated combating the American education’s sliding trend. Riding in Reagan’s era of deregulation, charter school made into the state and national discussions. When the State of Minnesota became the first to allow charter schools, a national curriculum for K-12 was yet an awareness of Janet Napolitano, the recently resigned president of University of California system whose last action is to obsolete SAT in admission. Napolitano, chairing National Governors Association in 2009, incubated the Common Core State Standard that regulates today’s classrooms. One of her recruits for Common Core development, David Coleman, is now the CEO of a known education duopoly, the College Board.
Yet, one thing came along with the reforms was rather innovative. It is the first of all College Rankings that we are today indulged with, the US News & World Report Best Colleges. In 1983, Mel Elfin took the responses from 1300 colleges to his uniform questionnaire and scored them in respects such as academic, faculty, and student qualities. Questionnaire has since become de facto standard of obtaining information for rankings. Along become norms are the club of four elite colleges that have always occupied the top of the rankings, Harvard, Yale, Princeton and Stanford. Others occasionally atop seem decorations to the Ranking’s claims on its fairness and diversity. Technology advances soon enabled Elfin to reproduce this bi-annual ranking yearly.
Since Education for Economic Security Act in 1984 was enacted, Americans have seen one major education law every two years. Like EES’1984, every of the new laws stressed on the vital improvement on math and science capacities, imperative equality of education among students, and satisfactory measurements of teaching and learning progress. No Child Left Behind Act of 2001 mandated standard-based yearly results especially among the disadvantaged and disabled. Every Student Succeeds Act of 2015 stepped forward in requiring periodic standardized tests, either proprietary designed or commonly adopted. Yes, the SAT is included.
As popularity of college rankings grew, the mechanism evolved. Elfin’s scoring seems too subjective. Robert Morse brought a new way that sorts and weighs information in a more sophisticated framework. Forging the algorithm into quantitative fashion, Morse has since presided the US News’ ranking team. Data sourcing diversifies too. Unlike a dozen of agencies that replicated US News, College Prowler emerged in 2002 with user generated content and a layered algorithm. Originally developed as a class project at Carnegie Mellon, it expanded into a household name known as Niche in just a few years, which today ranks and rates in as many areas as US News does.
Reform after reform, Americans only see their children’s academic performance lowered than many other countries. PISA, a well-known tri-annual cross-national tests on reading, mathematical and scientific literacy among 15-year-olds in some 70 developed and developing countries, placed the U.S. an unimpressive 38th in math and 24th in science. Among the 35 members of the OECD that sponsors the PISA initiative, the U.S. ranked 30th in math and 19th in science. The well-intentioned politically-crafted reforms have not saved the American children.
The year that a college appear on the ranking correlates with its positions. Duke ignored Elfin’s call in 1983 and attended him two years later. John Hopkins followed suit even later, in 1988. The two southern colleges have averaged at 7th and 14th respectively. UCLA commenced in the questionnaire in 1989, and was locked between 20th and 30th. Its sister school, Berkeley, instead, boarded since inception, and made steadily 3-6 spots better.
Our rankings dictate a world of colleges, so do our colleges dominate the world. According to US Department of Education’s Open-Door Report, America is the most wanted place for study abroad, housing over 1 million foreign students. Domestically, when recruiting letters from Harvard, Duke, and Berkeley keep flooding our mail boxes, we fantasize that our kids matriculate to the colleges that a whole world wants.
Despite reforms on state and federal curriculums, assessments, and budgeting, our struggles at K-12 have never lessened. Lowered student competence in math, science, and even reading is now multiplied by lacking of teachers as well as draining on public education investment. Metropolitan schools are closed, and suburban schools are consolidated. No doubt that a third of American high school seniors every year graduate unable to score a minimum of 25% questions in a four-choice standardized test. In other words, they are beaten by a rolling dice.
A global dominance of American colleges, though, has been buttressed by floods of intellectual and financial resources, thanking to their reputations casted in the fantasy of college rankings. Nearly 40 years passed the creation of college ranking, the interest to rank colleges has expanded to everywhere in the global market. Times, Newsweek, Quacquarelli Symonds, and dozens of others populate the game field. Yet, US News Best Colleges remains the most known, and HYPS go on most wanted.
Lacking of mathematical and scientific delicacy throughout their childhoods, will Americans in 21st century made into Mars as we, their parents and grandparents are wishing?
附：榜。江湖。
時間回到1983年。裏根，首任，第三個年頭。美國人民心裏是很糾結的，但不是因為總統是否靠譜。教育部的一篇報告，把美國人民充值了30多年的自豪感摔到穀底。這篇題為 《國家危機》的報告，一開頭就列舉13項危機標誌，指明美國正處於一場前所未有教育危機之中。簡而言之，那些含苞待放的和正在開放的花朵們的教育水平達到戰後三十多年來的最低。一場教育改革看來是必然的了。
三十年過去了，美國基礎教育的學生水平並沒有多大改觀。但這根本不妨礙美國鞏固並擴大自己在全球教育市場上的統治地位。這一切，得益於三十年教育改革的一個副產品－學校排行榜。手裏有榜，全世界都得向美國學習。
美國新聞：問卷調查和權重算法
做學校榜最早和最有名的，是美國新聞和世界報道（簡稱美國新聞）。世界上有大學文憑的人，可以沒看過美國新聞雜誌，但不可能沒聽說過美國新聞大學榜。當年，想到這個主意的是Mel Elfin，時任Washington Bureau社長。手裏有數據的Elfin跟美國新聞雜誌社一拍即合。第一期大學榜就這麽出來了。當時的Elfin，還不知道什麽算法。他靠向1300多個高校校長發出調查問卷，搞得像《我是歌手》的選手內投一樣。校長們在問卷中在課程、教授、學生和學術綜合等四個方麵對其他大學打分評價。Elfin再從中算出各大學的平均得分。這期排名，確定了問卷調查模式在榜江湖的正統地位。
第一期問卷調查號稱1300個學校，但實際回複率並不高。杜克、紐大、布朗、霍普金斯和賓大等都沒有理會Elfin。但榜單一出，他們就都明白自己錯了。在榜單出爐的三年之內，所有後來雄霸此榜的前20的大學，都紛紛投向Elfin了。如果誰在1986年還沒有決定填寫這份調查問卷的話，那他就永遠沒可能擠進榜單的Top 20了。事實上，那些1986年的時候還堅持忽視Elfin的大學，他們在後來榜單上的最高排名是第29名（這是大名鼎鼎的威廉瑪麗學院，它長期徘徊在榜單的31-34名之間）。
時間進入1987年。Elfin剛忙活完第三期大學榜。前兩期榜單上，哈斯普耶霸占前四。除了讓哈耶並列一回第二之外，沒什麽變化。斯坦福連續三期為首。Elfin自己後來透露說，榜首不是哈耶普，他會不爽。Elfin這時候對自己創造的這個排榜方式有點小罪惡感 －文科生嘛，明明是主觀上想作，但客觀上卻需要找個理由。於是，他找來了統計學家Robert Morse。由Morse主筆，對問卷所產生的越來越多的數據信息分類整理，再設置權重，最後產生一份綜合榜。Elfin給Morse的自由度很大，但是唯一不放的就是榜首必須是哈耶普。於是，斯坦福再也沒有登上過榜首了。
一個文科生，一個理科生，一個問卷調查搞定數據，一個權重算法給出理由，這合作沒法不愉快。權重算法在榜界的江湖地位也就愉快地敲定了。盡管美國新聞榜單後來經曆風風雨雨，但其江湖老大的地位卻一直沒人能撼動。其他的榜單，都隻能從市場細分的角度入手，走差異化的戰略。其中幾個比較有影響的大學榜有英國泰晤士（Times），商業內參（Business Insider）、經濟學人（Economist）和財富雜誌。Elfin有了Morse，算法逐漸去專家化。但Business Insider站出來堅持原始方法，仍以專家意見為唯一排榜依據。而Times榜單選擇在兩點上進行差異化：一是國際視野，二是側重教、研。Times對教學和科研兩項分別給出30%超高權重。Economist的選擇更加新奇，它寄望用學費、財政資助、和學生畢業後收入這些主要的經濟指標，評價一個大學作為一項投入了金錢和四年時間的投資價值。除了這些，還有很多。眾多差異化榜單的存在，給日益離不開榜的人們以更多的選擇。
Niche：用戶評論和分層算法
時間先快進到2002年。榜江湖迎來一個小清新。一個源自卡耐基梅隆商學院的創業課程項目College Prowler，脫離調查問卷，以互聯網為基礎產生榜單。2004年創始人Luke Skurman把這個項目從學校課堂獨立出來，成立了Niche.com。
Niche的數據采集是典型的互聯網UGC（用戶產生內容）模式。瀏覽Niche網站的互聯網用戶，給網站留下大量的學校評論。評論中包含學校的學術、專業、體育、生活、文化、地理和經濟等等方麵的一手信息。可以說調查問卷所涉及的內容，幾乎被UGC的評論都覆蓋了。而評論中還有很多校方和專家們不了解的學生直觀感受。更加豐富的信息，使得Niche的榜單從數據角度比美國新聞更加客觀全麵。這是Niche和美國新聞學校榜的本質不同。
Niche的革命性不限於數據生產的UGC模式，還引入了分層算法。分層盡管不是Niche的創造，但卻是Niche最先運用到大學榜的，而且用的是統計分層。單項評分和綜合評分分別進行兩層統計歸一，這從算法的角度看更具科學性。靠UGC評論和分層算法，Niche的評分相對美國新聞更具有客觀屬性。Niche的排行榜因此很快上位，成為很多互聯網用戶，尤其是學生和家長選校擇校的必要依據之一。
說到分層算法，美國新聞其實最早在它和教育部門合作的高中榜算法中先采用了分層。不同的是，這個高中榜采用分層邏輯篩選，而不是統計歸一。前兩層篩，考察學校的平均成績，第三層篩考察學校的畢業率。過篩之後，第四步，隻以AP或IB考試的通過率作為排名依據。
Niche的算法更具有客觀性，並不能掩蓋這種排名先天的主觀缺陷。事實上，Niche排名的先天缺點，正是在於它的UGC屬性。評論在用戶個人來說一定是非常主觀片麵的，隻有大量獨立用戶評論的存在可以幫助消除這些主觀片麵性。不過，互聯網輿論往往存在羊群效應，和主流不一致的評論就會被壓製，導致評論中出現一邊倒的現象。在Niche的評論頁麵考察一下就會發現這種情況很突出，而且不是偶然現象。另外，還有一種更糟糕的主觀性，就是網絡運營者的主觀利益驅動。2008年就又一次被管飯媒體報道的Facebookgate事件。一名Niche員工在未經授權的情況下，在Facebook上建立了大量高校主頁，並以此為渠道推廣Niche。這件事被Butler University的招生主管發現後，跟蹤了一年，最後迫使Facebook關閉了這些網頁。（Facebook水軍泛濫的例證可不隻這一件，我們還記得2016年美國大選的假新聞）。
製榜和看榜，都要客觀、全麵
到此為止，我們把榜江湖的故事回憶了個大概。讀者馬上就會產生這樣的問題：我們應該如何看榜才是最合適的。我從分析比較的角度，看一下榜江湖的世界觀。
榜單的製作，分為數據收集和評分算法這兩個步驟。數據上，一端是專家調查問卷的傳統媒體模式，另一端是UGC用戶評論的互聯網模式。可以認為後者信息量更大更全麵。當然，也有居於中間的用戶調查問卷的模式。算法上，一端是各項分數依權重合成，另一端是用統計歸一得出分數。可以認為統計比權重在算法上更加客觀。這樣比較下來，可以用下麵一個簡單的2 x 2空間來描述我們現在看到的各類榜單：
但是，製榜者天生就帶有主觀性。1996年，美國新聞由於算法調整，分離出新類指標Financial Resources，引發一輪大學不滿。斯坦佛大學校長著文批評說“我們什麽也沒做，沒有減少什麽投入，其他學校也沒有變化…結果卻看見我們的名次掉了。我隻能推斷，他們把公式改了”。這句話點出了製榜的矛盾 － 唯一榜單不可能滿足多數人的願望。排在高處的人不願意變化，排在低處的人又不願意沒變化。
人們一直都在批評美國新聞的名氣因素令排名相對固定的不合理性。1999年，美國新聞曾因此換掉Morse而換上的統計學家 Graham，從純科學意義上調整算法，造成加州理工突然衝上榜首（2000版美國新聞大學榜）。這個提高客觀性的改革，結果是Graham迅速離職。
榜單天生的主觀性，要用更多的客觀性因素來彌補。2007年，美國文理學院組織Annapolis Group發起一場運動，號召校長們不要在理會美國新聞的問卷調查。2011年，身為藤校的康奈爾大學也研究得出結論，美國新聞榜的排名因素有明顯的非理性的噪音含量。質疑存在，Morse也不得不應時而變，在調查問卷則加入更多的用戶成分，諸如高中升學顧問和學生的意見。
另一方麵，看榜，更是一個主觀的過程。任何用戶看榜的目的，隻能是自身選擇的合理化和利益的最大化。這本質上是個性化的需求。所以，從看榜人的立場出發，完全客觀性的榜是毫無意義的。製榜者可以在數據和算法上加入更多客觀性，甚至形成最客觀的榜單。
作為榜的使用者，我們必須明白一個不變的真理。在選校的時候，我們是要選擇一個最適合我們的學校；而在選完以後，我們要的就是讓這個學校的排名最好地支持我們的滿足感。從這看來，我們一定要全麵的看任何一個榜單，還要盡量看全所有有意義的榜單。這樣做了，我們的選校決策空間就最全麵；而決策後，我們的滿足感也就最大化。
看了這篇，俺想得比較遠，麵臨看上去公平正義的客觀霸權，中國隻能用打破規則耍無賴的手段對付。
----就教育、就業口，海外名校在“榨取”了多少生源/機會/優待之後，目前海歸在中國的就業優勢急劇下降，從天上走入了凡塵。
其他領域，也有很多類似的情況。公開搞不過，就隻能掀桌子。哈哈，有意思。
回複 '務實小民' 的評論 :
感謝閱覽。這篇的主題隻是關注美國教育何去何從。大學排名引導了尾重頭輕的教育格局，而育人重要的是人生的前幾年，所謂三歲看大，七歲看老。錯誤的輕重格局導致了教育最終的扭曲局麵。這裏還有更多扭曲甚至荒謬的東西。
唯一不放的就是榜首必須是哈耶普
這種先定排名，再找規則去論證的，也是難為了統計學家，不容易呀
回複 'markyang' 的評論 :
Mel Elfin has a Master in American Civilization from Harvard in 1952. I guess that illustrates more background. Ivy League has established popular reputation much earlier than the ranking. It might be wise as well for Elfin to follow such popular views.
----就教育、就業口，海外名校在“榨取”了多少生源/機會/優待之後，目前海歸在中國的就業優勢急劇下降，從天上走入了凡塵。
其他領域，也有很多類似的情況。公開搞不過，就隻能掀桌子。哈哈，有意思。
這種先定排名，再找規則去論證的，也是難為了統計學家，不容易呀