他們對 LSTM 和 Transformer 進行了擴展性實驗，發(fā)現(xiàn)它們的計算最優(yōu)擴展規(guī)律存在指數(shù)級差異；而對于許多其他創(chuàng)新，擴展性差異則很小。

這些實驗表明，與通常的假設(shè)相反，算法的效率提升與計算規(guī)模密切相關(guān)。小型模型的算法進步遠比之前假設(shè)的要慢，并且算法效率的衡量指標(biāo)與此密切相關(guān)。

兩種算法

過去十年人工智能的進步主要由計算資源的快速增長以及架構(gòu)、優(yōu)化和其他訓(xùn)練實踐中算法效率的不斷創(chuàng)新所驅(qū)動。但是，我們?nèi)匀蝗狈�對算法進步的清晰評估。

為了回答這些問題，研究人員采用了三種互補的方法：

1. 對語言模型中重要的算法改進進行了消融實驗；

2. 進行了擴展性實驗，以衡量不同架構(gòu)間最優(yōu)擴展性的差異；

3. 我們對數(shù)據(jù)和參數(shù)擴展性的轉(zhuǎn)變進行了理論分析。

在尺度不變的算法中，研究團隊引入了標(biāo)準(zhǔn)計算等效增益（CEG）框架的廣義概念，并允許算法創(chuàng)新在不同的計算規(guī)模下具有不同的效率增益。

團隊使用消融實驗，在 360 萬參數(shù)變換器模型上計算算法的等效增益乘數(shù)。通過分別使用較舊的激活函數(shù)和較新的激活函數(shù)運行 Transformer 模型，可以達到固定性能水平所需的計算量差異來量化效率提升。

發(fā)現(xiàn)表明，位置編碼可能對訓(xùn)練計算效率產(chǎn)生一定影響。與正弦編碼相比，旋轉(zhuǎn)編碼的訓(xùn)練效率提高了 44%。

在三種歸一方法的測試中，團隊發(fā)現(xiàn)從后 RMSNorm 過渡到預(yù) RMSNorm 可顯著提升 87%，而從預(yù)層歸一化模型過渡到預(yù) RMSNorm 模型的提升僅為 9%。

實驗結(jié)果表明，從 LSTM 切換到 Modern Transformer 的總效率提升為 6.28 倍，而從 LSTM 切換到 Retro Transformer 的效率提升為 4.69 倍。

在尺度相關(guān)的算法中，研究人員選擇了一個標(biāo)準(zhǔn)的 LSTM 模型。在測量的最小尺度下，LSTM 模型的計算效率僅比 Transformer 模型低 6.28 倍。

算法進展很大程度上取決于計算和參考點

研究發(fā)現(xiàn)，隨著計算預(yù)算的指數(shù)級增長，算法進步速度實際上可能更多地是由計算規(guī)模的規(guī)律性增長驅(qū)動，而非新技術(shù)的發(fā)現(xiàn)。

在 2017 年至 2025 年間，絕大多數(shù)算法進步可歸因于兩項與規(guī)模相關(guān)的創(chuàng)新：從 LSTM 到 Kaplan Transformer 的轉(zhuǎn)變以及從 Chinchilla 擴展到重新平衡。

在總共測得的 21,400 倍的進步中，846 倍的進步是通過從 LSTM 到 Kaplan Transformer 的轉(zhuǎn)變實現(xiàn)的，而近 10 倍的進步則歸功于 Chinchilla 重新平衡。

基于 LSTM 的模型 Myields 的計算效率隨時間 t 呈指數(shù)增長，年增長率約為 63%。然而，若以密集 Transformer 為基準(zhǔn)進行衡量，則倍數(shù)為 2，因此增長率為 0%。

由此可見，選擇一個參考點會導(dǎo)致算法效率呈指數(shù)增長，而選擇另一個參考點則會導(dǎo)致零增長。

Kaplan-Chinchilla 過渡后 CEG 倍數(shù)會明顯增長，表明這些創(chuàng)新甚至可能在不同的計算規(guī)模上表現(xiàn)出可變的增長率。

研究人員表明，目前實驗還存在以下幾個局限性：

• 規(guī)模相對較小，且并不全面

• 超參數(shù)的不穩(wěn)定性

• 專注于訓(xùn)練的浮點運算效率，忽略許多關(guān)鍵的創(chuàng)新

研究人員必須考察其改進的規(guī)模依賴性，才能確定其創(chuàng)新的真正影響。

這些發(fā)現(xiàn)對社會和人工智能治理具有重要意義。如果效率提升主要源于規(guī)模依賴型創(chuàng)新，那么計算規(guī)模的限制都可能大幅減緩人工智能算法的進步。

參考資料：

https://arxiv.org/pdf/2511.21622