計算機係統和平行計算和學習AI不矛盾 -- 等我忙完， 下麵樓已經看不見了

係統優化（這包括平行計算）總有需求， 像GPT， 現在每月計算成本就是300萬， 如果能夠提高算法10%， 就可以節約30萬。 係統優化從底層硬件一直到最上層用戶界麵公司一直會優化， 而了解係統如何工作是優化第一步。 像GPT，你先要了解OpenAI的GPT結構是如何做的，它的Encoder、Decoder是如何構架的，那些是可以使用平行計算的。 不久前， 有位工程師提出Matrices 尺寸盡可能接近 power 2， 那樣就提高了許多效率。先寫這些。

所有跟帖： 

• 要學習係統， 最好懂CPU 構架， 像微軟是用 Nvidia的GPU去運行它的AI， 而穀歌有它 -WaldenPond- ♂ (24 bytes) () 02/11/2023 postreply 15:55:08

• TPU跟Nvidia GPU比優勢大嗎？ -study169- ♂ (0 bytes) () 02/11/2023 postreply 16:08:40

• 自然有優勢， 效率高。 Nvidia 推出DLA 應對。 -WaldenPond- ♂ (0 bytes) () 02/11/2023 postreply 16:13:44

• 是每個月三百萬。 -:) -WaldenPond- ♂ (0 bytes) () 02/11/2023 postreply 16:00:10

• 應用領域的著眼點跟研究很不一樣，應用那種了解程度，玩幾天大概就可以玩下去了 -avw- ♀ (0 bytes) () 02/11/2023 postreply 16:00:14

• GPT基礎研究的突破是穀歌做的， 17年穀歌的論文， 但是Scale Up是 OpenAI做的。 -WaldenPond- ♂ (0 bytes) () 02/11/2023 postreply 16:23:18

• 並行計算不是屬於計算數學領域的嗎？ -fakegreen- ♂ (0 bytes) () 02/11/2023 postreply 16:03:52

• 以前從編譯器上動腦筋， 是有學數學的做， 但是基本上是計算機和EE係 -WaldenPond- ♂ (0 bytes) () 02/11/2023 postreply 16:12:32

• 希望對AI有新的創新， 許多人都有 PhD. 許多做軟件， 隻需要了解一些基本的構架。 -WaldenPond- ♂ (85 bytes) () 02/11/2023 postreply 16:07:40

• 請問AI chip這個方向怎麽樣？ -newca- ♀ (0 bytes) () 02/11/2023 postreply 16:25:08

• 我個人觀點： 芯片肯定需求大， 但是對設計者需求可能就沒有那麽多。 隻要看看VC對投資芯片的熱度就知冷熱 -WaldenPond- ♂ (0 bytes) () 02/11/2023 postreply 16:36:40

• 量子計算應該會對大數據計算有更大的幫助。加拿大也招募了不少數學，物理博士在搞量子計算機，朋友的孩子在裏麵。 -舒展- ♀ (87 bytes) () 02/11/2023 postreply 17:07:05

• AI 很多計算要由grid or farm來做。那部分就是distributed computing在AI一個角色。 -JianFromCA- ♂ (0 bytes) () 02/11/2023 postreply 17:49:00