DeepSeek 提出了流形約束超連接（Manifold-Constrained Hyper-Connections，mHC）。mHC 是一個(gè)通用框架，它將 HC 的殘差連接空間投影到特定的流形上以恢復(fù)恒等映射特性，同時(shí)結(jié)合嚴(yán)格的基礎(chǔ)設(shè)施優(yōu)化來確保效率。

實(shí)驗(yàn)表明，mHC 能夠有效地進(jìn)行大規(guī)模訓(xùn)練，提供顯著的性能提升和優(yōu)異的可擴(kuò)展性。這將有助于加深對(duì)拓?fù)浼軜?gòu)設(shè)計(jì)的理解，并為基礎(chǔ)模型的演進(jìn)指明有前景的方向。

方法論

團(tuán)隊(duì)提出將殘差映射投影到一個(gè)流形上，該流形既能保持信號(hào)在各層間傳播的穩(wěn)定性，又能促進(jìn)殘差流之間的相互作用，從而保持模型的表達(dá)能力。

研究人員設(shè)定了一個(gè)雙重隨機(jī)性的參數(shù) H，選擇賦予了模型若干嚴(yán)格的理論性質(zhì)，有利于大規(guī)模模型的訓(xùn)練。

此外，他們還對(duì)輸入映射 H 施加非負(fù)性約束。

通過嚴(yán)格的優(yōu)化，團(tuán)隊(duì)以僅 6.7% 的訓(xùn)練開銷，在大規(guī)模模型中實(shí)現(xiàn)了 mHC。

他們采用混合精度策略在維持速度的前提下最大化數(shù)值精度，并將多個(gè)具有共享內(nèi)存訪問的操作融合到統(tǒng)一的計(jì)算內(nèi)核中，以減少內(nèi)存帶寬瓶頸。

為了緩解內(nèi)存開銷這個(gè)問題，研究人員在前向傳播之后丟棄 mHC 核的中間激活值，并在反向傳播過程中通過重新執(zhí)行 mHC 核來動(dòng)態(tài)地重新計(jì)算這些激活值。

為了防止阻塞通信流，研究人員在專用的高優(yōu)先級(jí)計(jì)算流上執(zhí)行 MLP 層的 Fkernel。此外，他們還避免在注意力層中對(duì)長(zhǎng)時(shí)間運(yùn)行的操作使用持久內(nèi)核，從而避免長(zhǎng)時(shí)間的停頓。

這種設(shè)計(jì)能夠搶占重疊的注意力計(jì)算，從而在保持計(jì)算設(shè)備處理單元高利用率的同時(shí)，實(shí)現(xiàn)靈活的調(diào)度。

此外，由于每個(gè)階段 x 的初始激活已在本地緩存，因此重新計(jì)算過程與流水線通信依賴性解耦。

實(shí)驗(yàn)結(jié)果

結(jié)果表明，mHC 在損失和梯度范數(shù)方面均表現(xiàn)出更優(yōu)的穩(wěn)定性。

mHC 有效地緩解了 HC 中觀察到的訓(xùn)練不穩(wěn)定性，最終損失值比基線模型降低了 0.021。mHC 的表現(xiàn)明顯優(yōu)于 HC，并保持了與基線模型相當(dāng)?shù)姆�(wěn)定性。

在多種基準(zhǔn)測(cè)試中的下游性能，mHC 實(shí)現(xiàn)了全面的性能提升，始終優(yōu)于基線模型，并在大多數(shù)任務(wù)上超越了 HC 模型。值得注意的是，與 HC 模型相比，mHC 模型進(jìn)一步增強(qiáng)了推理能力，在 BBH 任務(wù)上性能提升了 2.1%，在 DROP 任務(wù)上性能提升了 2.3%。

即使在更高的計(jì)算預(yù)算下，mHC 性能優(yōu)勢(shì)依然保持穩(wěn)定。與 HC 相比，mHC 顯著提高了傳播穩(wěn)定性，確保了穩(wěn)定的前向信號(hào)和后向梯度流。

相關(guān)人員表示，對(duì)不同幾何約束的進(jìn)一步研究可能會(huì)產(chǎn)生新的方法，從而更好地優(yōu)化可塑性和穩(wěn)定性之間的權(quán)衡。通過加深對(duì)拓?fù)浣Y(jié)構(gòu)如何影響優(yōu)化和表征學(xué)習(xí)的理解，mHC 將有助于解決當(dāng)前的局限性，并有可能為下一代基礎(chǔ)架構(gòu)的演進(jìn)指明新的方向。

參考資料：

https://www.arxiv.org/pdf/2512.24880