context window好像記憶容量,不大的話即使學會‘聯係’也‘想不起來’。 而解決大模型問題又得靠軟工。
即便是大模型的問題都解決了,真正大規模implement也有問題,有調查說devin (那個AI coder)一個小時花的錢上百 (算力+維護+能源)。