越來越多的公司開始宣稱多少代碼由AI生成。我們合作最多的一家 out sourcing 公司也在商討利用AI完成一定的代碼生成。但是,在現實應用中的代碼轉換需求測試中,AI代碼生成和轉化和Ai做微積分一樣還不成熟。這篇論文挺有意思的。 https://arxiv.org/pdf/2405.11514
測試結果顯示,各大基於LLM上的代碼翻譯器的完美度都低於50%,而且完美度隨著變量參數的增加,和fiction的調用次數增加而下降,幾乎不可用。而比賽或者刷題環境和現實應用場景相差甚遠,以考試或者競賽題來判斷Ai的成熟度,明顯是不夠的。
現在language之間的轉換,需要一個更有效的工具。個人保留意見,還是不認為基於LLM的 Marovian 基礎思維還不是推理智能的功能。
所以,基於LLM上的AI大概率停留在recommendation的功能上。