123,123,123

字節(jié) Seed 大概念模型：自適應(yīng)語(yǔ)義空間中的潛在推理

2026-01-06 17:18

大型語(yǔ)言模型 (LLM) 對(duì)所有詞元應(yīng)用統(tǒng)一的計(jì)算，這種詞元統(tǒng)一的計(jì)算方式會(huì)將計(jì)算資源浪費(fèi)在局部可預(yù)測(cè)的跨度上，而對(duì)語(yǔ)義關(guān)鍵轉(zhuǎn)換的計(jì)算資源分配不足。

字節(jié)跳動(dòng) Seed 團(tuán)隊(duì)提出了動(dòng)態(tài)大型概念模型 (DLCM)，這是一個(gè)分層語(yǔ)言建�？蚣�，它從潛在表示中學(xué)習(xí)語(yǔ)義邊界，并將計(jì)算從詞元轉(zhuǎn)移到更高效的推理壓縮概念空間。

DLCM 可以端到端地發(fā)現(xiàn)可變長(zhǎng)度的概念，而無(wú)需依賴預(yù)定義的語(yǔ)言單元。分層壓縮從根本上改變了模型的擴(kuò)展行為。

團(tuán)隊(duì)引入了第一個(gè)壓縮感知擴(kuò)展定律，該定律解耦了 token 級(jí)容量、概念級(jí)推理容量和壓縮比，從而在固定的 FLOPs 下實(shí)現(xiàn)合理的計(jì)算資源分配。

為了穩(wěn)定地訓(xùn)練這種異構(gòu)架構(gòu)，Seed 進(jìn)一步開(kāi)發(fā)了一種解耦的 μP 參數(shù)化方法，該方法支持跨寬度和壓縮機(jī)制的零樣本超參數(shù)遷移，能將大約三分之一的推理計(jì)算重新分配到容量更高的推理主干中。

在匹配的推理 FLOPs 下，在 12 個(gè)零樣本基準(zhǔn)測(cè)試中實(shí)現(xiàn)了平均 +2.69% 的改進(jìn)。

DCLM 架構(gòu)

DLCM 通過(guò)四個(gè)階段處理詞元序列：

編碼提取細(xì)粒度的詞元表示；
動(dòng)態(tài)分割識(shí)別語(yǔ)義邊界并將詞元?dú)w納為概念；
概念級(jí)推理對(duì)壓縮序列進(jìn)行深度計(jì)算；
token 級(jí)解碼通過(guò)關(guān)注推理后的概念來(lái)重構(gòu)預(yù)測(cè)結(jié)果。

研究人員有意將離散分割決策與語(yǔ)言建模損失解耦，以避免優(yōu)化過(guò)程中的干擾。這種設(shè)計(jì)犧牲了完全端到端的離散性，換取了訓(xùn)練穩(wěn)定性和可控的壓縮，這在大規(guī)模應(yīng)用中至關(guān)重要。

解碼器通過(guò)關(guān)注推理出的概念來(lái)重構(gòu) token 級(jí)別的預(yù)測(cè)。這包含兩個(gè)組成部分：概念平滑和因果交叉注意力。

團(tuán)隊(duì)實(shí)施獨(dú)立的內(nèi)核分析方法 Flash Attention Varlen，其中有三個(gè)主要發(fā)現(xiàn)：

Flash Attention Varlen 持續(xù)的性能優(yōu)勢(shì)：速度提升幅度在 1.26 倍到 1.73 倍之間，驗(yàn)證了“內(nèi)存與計(jì)算”權(quán)衡的有效性。
對(duì)隱藏層大小不敏感：性能瓶頸主要在于注意力機(jī)制的內(nèi)存訪問(wèn)模式，而非隱藏層維度的計(jì)算復(fù)雜度。Flash Varlen 優(yōu)化的規(guī)則內(nèi)存訪問(wèn)模式在各種模型寬度下均保持穩(wěn)定。
序列長(zhǎng)度的卓越可擴(kuò)展性：Flash Varlen 的性能優(yōu)勢(shì)會(huì)隨著序列長(zhǎng)度的增加而提升。在 2K 序列長(zhǎng)度下，平均加速比約為 1.44 倍。當(dāng)序列長(zhǎng)度增加 8 倍至 16K 時(shí)，平均加速比攀升至約 1.70 倍，在隱藏層大小為 2048 時(shí)達(dá)到峰值 1.73 倍。

7 個(gè)實(shí)驗(yàn)

結(jié)果顯示，DLCM 的平均準(zhǔn)確率達(dá)到了 43.92%，比基準(zhǔn)分?jǐn)?shù) 41.23% 提高了 2.69%。然而，這些提升在不同任務(wù)中并不均衡，這表明以推理為主導(dǎo)的基準(zhǔn)測(cè)試與那些依賴細(xì)粒度詞級(jí)對(duì)齊的基準(zhǔn)測(cè)試之間存在明顯的差距。

在強(qiáng)調(diào)多步驟推理、假設(shè)選擇和隱式常識(shí)推理的基準(zhǔn)測(cè)試中，性能持續(xù)且往往顯著提升。

DLCM 通過(guò)壓縮局部可預(yù)測(cè)跨度，并將大部分模型容量分配給高維概念骨干，從而將計(jì)算集中在結(jié)構(gòu)顯著的區(qū)域。

編碼器-壓縮-解碼范式不可避免地降低了概念內(nèi)部的詞元級(jí)粒度，這可能會(huì)掩蓋此類(lèi)任務(wù)所需的微觀層面區(qū)別。重要的是，這種性能下降是局部的而非均勻的：雖然邊界詞元的建模更加精確，但概念中間位置的詞元可能會(huì)犧牲一些細(xì)粒度精度來(lái)?yè)Q取更高的全局連貫性。

在知識(shí)庫(kù)和多語(yǔ)言基準(zhǔn)測(cè)試中，DLCM 的結(jié)構(gòu)優(yōu)化目標(biāo)是在非均勻信息密度下進(jìn)行推理，而不是在均勻的、以記憶為主的檢索中。

實(shí)驗(yàn)結(jié)果還驗(yàn)證了研究團(tuán)隊(duì)的核心設(shè)計(jì)原則：將計(jì)算從冗余的詞元級(jí)處理轉(zhuǎn)移到密集的概念級(jí)推理，可以在不增加相應(yīng)推理成本的情況下，顯著提高有效容量。

在消融實(shí)驗(yàn)中，團(tuán)隊(duì)比較了兩種用于序列壓縮的邊界預(yù)測(cè)機(jī)制：一種是學(xué)習(xí)到的神經(jīng)預(yù)測(cè)器，具有壓縮率正則化，另一種是使用余弦相似性的基于規(guī)則的預(yù)測(cè)器。

學(xué)習(xí)型預(yù)測(cè)器表現(xiàn)出嚴(yán)重的不穩(wěn)定性。初始?jí)嚎s至約 2000 個(gè)標(biāo)記后，壓縮長(zhǎng)度穩(wěn)步增加，最終穩(wěn)定在約 4300 個(gè)標(biāo)記，模型隨著時(shí)間的推移逐漸學(xué)會(huì)減少壓縮量。相比之下，基于規(guī)則的預(yù)測(cè)器（紫色）表現(xiàn)出卓越的穩(wěn)定性，迅速收斂至約 2000 個(gè)標(biāo)記，并在整個(gè)訓(xùn)練過(guò)程中始終保持這一水平。

除此之外，不同內(nèi)容類(lèi)型的壓縮密度存在顯著差異。在 8 倍壓縮目標(biāo)下，技術(shù)英語(yǔ)每個(gè)概念保留的 token 數(shù) (10.58) 明顯高于技術(shù)中文 (6.09) 或代碼 (6.14)。

圖源：https://arxiv.org/pdf/2512.24617

它證實(shí)了全局正則化機(jī)制成功地將壓縮目標(biāo)與嚴(yán)格的序列級(jí)約束解耦。該模型并非強(qiáng)制使用統(tǒng)一的片段長(zhǎng)度，而是根據(jù)固有特性調(diào)整粒度。

參考資料：

https://arxiv.org/pdf/2512.24617