知識蒸餾

有幅漫畫很形象地勾畫出了什麽是知識蒸餾：黃貓（OpenAI）很辛苦地在河邊（大千世界中的海量真實數據）釣魚，釣了好長時間後，灰貓（DeepSeek）過來穩坐在遠離河邊的黃貓身後，輕鬆地釣走了黃貓ChatGPT桶裏的魚。隻要灰貓得到了黃貓允許，可以很快就滿載而歸了合法蒸餾。如果灰貓根本沒理會黃貓是否知曉與是否允許，就擅自索取非法蒸餾。
在上文末有個合理的憂慮：灰貓至今還不具備自己到河邊釣魚的本事，以後會怎麽樣？至於上文中認定DeepSeek違反了OpenAI的使用規則，客觀講就不合理了：應當疑罪從無，既然至今還沒有任何真憑實據的公布，現在任何的認定都是不可信的。即便認定真屬非法蒸餾，也是要在有證據之後了；回到漫畫就是：黃貓當時一直沒有回頭查看是否被偷竊，或者灰貓當時偽裝成了其他顏色的貓，被抓也不宜露馬腳，所以核查需要時間，耐心等待水落石出吧。
再回顧DeepSeek的簡曆，征用美國開源構架Transformer + 硬件使用美國英偉達AI芯片 + 從美國ChatGPT合法或非法地蒸餾數據 + 模型訓練是用自創高效率低成本的深度學習優化算法 = 真正開源的R1模型，可見一路走來確是搭了便車，故梁文峰才說了：我們認為隨著經濟發展，中國也要逐步成為貢獻者，而不是一直搭便車。如果蒸餾是合法的，說明了他懷有感恩與責任感的境界；但如果蒸餾是非法的，則僅是他在掩飾心虛慌亂的托詞而已。