123,123,123

DeepSeek 補(bǔ)全 R1 論文，新增 64 頁(yè)技術(shù)細(xì)節(jié)

2026-01-16 15:39

近日，DeepSeek 悄悄更新了 R1 的技術(shù)論文，新增了整整 64頁(yè)！

通過(guò)對(duì)比 DeepSeek-R1 論文的兩個(gè)版本，可以發(fā)現(xiàn)新版論文不僅補(bǔ)充了若干附錄，還對(duì)正文進(jìn)行了大幅修訂與擴(kuò)充，信息量顯著增加。

在回顧去年一月發(fā)布的初版論文時(shí)，其核心聚焦于 DeepSeek-R1-Zero，旨在論證純強(qiáng)化學(xué)習(xí)路徑的可行性。而新版本則在此基礎(chǔ)上，進(jìn)一步豐富了具體實(shí)現(xiàn)細(xì)節(jié)的闡述。

公布完整訓(xùn)練路徑

論文系統(tǒng)性地展開(kāi)了 R1 模型的完整訓(xùn)練路徑，該過(guò)程主要分為四個(gè)階段：

第一階段為冷啟動(dòng)，使用數(shù)千條包含思維鏈的示例數(shù)據(jù)對(duì)模型進(jìn)行監(jiān)督微調(diào)。
第二階段為推理導(dǎo)向的強(qiáng)化學(xué)習(xí)，在保持模型推理風(fēng)格的同時(shí)提升其能力，并通過(guò)引入語(yǔ)言一致性獎(jiǎng)勵(lì)來(lái)解決響應(yīng)中語(yǔ)言混用的問(wèn)題。
第三階段結(jié)合拒絕采樣與再微調(diào)，同步加入推理數(shù)據(jù)與通用數(shù)據(jù)，以平衡模型的推理能力與文本生成質(zhì)量。
第四階段為對(duì)齊導(dǎo)向的強(qiáng)化學(xué)習(xí)，專(zhuān)注于提升模型的有用性與安全性，使其行為更符合人類(lèi)偏好。

整體而言，論文對(duì)訓(xùn)練流程的披露頗為詳盡，包括冷啟動(dòng)數(shù)據(jù)的構(gòu)建、各階段強(qiáng)化學(xué)習(xí)的具體設(shè)計(jì)、獎(jiǎng)勵(lì)模型的配置等，提供了清晰的技術(shù)實(shí)現(xiàn)參考。

論文也對(duì) R1-Zero 部分進(jìn)行了補(bǔ)充，特別是針對(duì)模型訓(xùn)練中出現(xiàn)的“反思”涌現(xiàn)現(xiàn)象進(jìn)行了進(jìn)一步分析。研究通過(guò)人工篩選出一批具有反思特征的詞匯，并統(tǒng)計(jì)其在訓(xùn)練過(guò)程中出現(xiàn)頻率的變化。結(jié)果顯示，隨著訓(xùn)練進(jìn)行，這類(lèi)詞匯的出現(xiàn)頻率較訓(xùn)練初期上升約5至7倍，且不同反思詞匯在不同訓(xùn)練階段呈現(xiàn)出差異化的出現(xiàn)模式。

增加評(píng)估細(xì)節(jié)

在安全性方面，鑒于開(kāi)源模型若未經(jīng)過(guò)充分安全對(duì)齊易被誤用，論文此次詳細(xì)披露了相關(guān)的訓(xùn)練與評(píng)估細(xì)節(jié)。

團(tuán)隊(duì)構(gòu)建了一個(gè)包含 10.6 萬(wàn)條提示的數(shù)據(jù)集，并依據(jù)明確的安全準(zhǔn)則對(duì)模型回復(fù)進(jìn)行標(biāo)注。

安全獎(jiǎng)勵(lì)模型采用點(diǎn)式訓(xùn)練方法，以區(qū)分安全與不安全的回答，其訓(xùn)練超參數(shù)與有用性獎(jiǎng)勵(lì)模型保持一致。

風(fēng)險(xiǎn)控制系統(tǒng)方面，DeepSeek-R1 通過(guò)向 DeepSeek-V3 發(fā)送審查提示來(lái)實(shí)現(xiàn)，主要包括兩個(gè)流程：

對(duì)用戶(hù)輸入進(jìn)行關(guān)鍵詞過(guò)濾，識(shí)別潛在風(fēng)險(xiǎn)對(duì)話(huà)；
將識(shí)別出的對(duì)話(huà)與預(yù)設(shè)的安全審查提示組合，交由 DeepSeek-V3 進(jìn)行最終判定，決定是否攔截。

評(píng)估表明，引入風(fēng)險(xiǎn)控制系統(tǒng)后，模型的安全性得到顯著提升。在多項(xiàng)基準(zhǔn)測(cè)試中，R1 的表現(xiàn)與前沿模型水平相當(dāng)，僅在 HarmBench 的特定子集上表現(xiàn)有所不足。

團(tuán)隊(duì)也構(gòu)建了內(nèi)部安全評(píng)測(cè)數(shù)據(jù)集，涵蓋 4 大類(lèi)共 28 個(gè)子類(lèi)，并采用基于大模型的自動(dòng)評(píng)判方法進(jìn)行安全性評(píng)估。

除技術(shù)內(nèi)容外，論文作者名單也反映出團(tuán)隊(duì)的穩(wěn)定性。在論文發(fā)布近一年后，其 18 位核心貢獻(xiàn)者仍全部在職，百余名作者中僅 5 位標(biāo)注為已離隊(duì)。

值得注意的是，與去年版本相比，有一位此前離隊(duì)的作者現(xiàn)已回歸。在人工智能領(lǐng)域人才競(jìng)爭(zhēng)激烈的背景下，該團(tuán)隊(duì)保持了較高的成員留任率。

從發(fā)布時(shí)機(jī)來(lái)看，這篇長(zhǎng)達(dá) 64 頁(yè)的補(bǔ)充材料在論文即將滿(mǎn)一周年時(shí)釋出，系統(tǒng)性地完善了技術(shù)細(xì)節(jié)，顯著提升了研究工作的可復(fù)現(xiàn)性，也為 R1 的相關(guān)工作提供了一個(gè)階段性的總結(jié)。

參考資料：

https://arxiv.org/pdf/2501.12948