Karpathy 表示，“你只需啟動一個云 GPU 設備，運行一個腳本，只需 4 小時，就可以在類似 ChatGPT 的 Web UI 中與你的 LLM 進行交流。”

Karpathy 稱，這是他寫過最瘋狂的文章之一。

nanochat 具備以下特征：

• 使用新的 Rust 實現(xiàn)來訓練標記器

• 在 FineWeb 上預訓練 Transformer LLM，通過多項指標評估 CORE 得分

• 對 SmolTalk 的用戶助理對話、多項選擇題、工具使用進行中期訓練

• SFT，在世界知識多項選擇題（ARC-E/C、MMLU）、數(shù)學（GSM8K）、代碼（HumanEval）上評估聊天模型

• RL 模型可選地在 GSM8K 上使用“GRPO”

• 在具有 KV 緩存的引擎中高效推理模型，簡單的預填充/解碼，工具使用（輕量級沙箱中的 Python 解釋器），通過 CLI 或類似 ChatGPT 的 WebUI 與其對話。

• 寫一份 markdown 報告卡，總結并游戲化整個事情。

大約 12 小時的訓練時間超過了 GPT-2 的核心指標。當成本增加到 1000 美元左右時，Nanochat 會變得更加連貫，可以解決簡單的數(shù)學/代碼問題并進行多項選擇題測試。

一個深度為 30 的模型訓練了 24 小時，在 MMLU 上可以達到 40 秒，在 ARC-Easy 上可以達到 70 秒，在 GSM8K 上可以達到 20 秒。

Karpathy 的目標是將完整的“強基線”堆棧整合到一個內聚、精簡、可讀、可修改且最大程度可分叉的倉庫中。nanochat 將成為 LLM101n 的頂點項目。Karpathy 認為，它有潛力發(fā)展成為一個研究工具或基準，類似于之前的 nanoGPT。

目前，nanochat 的整體框架已經足夠完善，Karpathy 已將其上傳到 GitHub 上。

訓練過程

Karpathy 使用了 FineWeb-EDU 數(shù)據(jù)集，這是一組簡單的、完全混洗過的數(shù)據(jù)集。

評估結果表明，平均 4.8 個原文字符就能變成 1 個 token。與 GPT-2（擁有 50257 個 token）相比，nanochat 的 token 生成器在文本壓縮方面全面優(yōu)于 GPT-2，但數(shù)學部分稍差一點。圖源：Karpathy GitHub

他訓練 LLM 通過預測序列中的下一個 token 來壓縮網(wǎng)絡文本，同時 LLM 也從中獲得了大量關于世界的知識。

首先，訓練一個 20 層的 Transformer，需要對 112 億個標記進行訓練。隨著時間推移，模型對下一個 token 的預測更加準確。此外，CORE 得分也在上升。

訓練/驗證的每字節(jié)比特數(shù) (bpb) 達到了約 0.81，核心指標也上升到了 0.22，略高于 GPT-2 Large（0.21）。

下一步是中期訓練，Karpathy 將進一步在 smol-SmolTalk 上對模型進行微調。結果顯示：

• 模型在各個知識領域的多項選擇題中表現(xiàn)得更好。

• 數(shù)學性能仍然不太強，只能解決 2% 的問題。

訓練中期之后是監(jiān)督微調 (SFT) 階段。SFT 會拉伸數(shù)據(jù)行并進行填充，完全模仿測試時格式。

這是微調后的效果：

僅花費不到 100 美元。

團隊使用高度簡化的 GRPO 訓練循環(huán)，其優(yōu)勢在于簡單的均值獎勵轉移。訓練保留了 GR（“群體相關”）部分來計算獎勵的優(yōu)勢。

可以看到，獎勵增加了，這代表模型正在學習。準確率也在上升。模型規(guī)模越大，改進效果越顯著。

最終結果顯示：

包括 SFT 在內的整個過程耗時 3 小時 51 分鐘，總成本為 92.4 美元。

Karpathy 表示，nanochat 可以調整任何內容，包括更改標記器、更改任何數(shù)據(jù)、調整超參數(shù)、改進優(yōu)化等等。代碼庫設置得非常容易，只需使用 --depth 更改層數(shù)，其他所有內容都基于此。

更多技術細節(jié)請關注：https://github.com/karpathy/nanochat/discussions/1

參考資料：

https://github.com/karpathy/nanochat/discussions/1