OpenAI的論文Scaling Laws for Neural Language Models指出了

計算能力和性能（test loss）是指數性的關係，哪怕提升10倍計算能力，其實性能的提升卻很有限。