123,123,123

英偉達 CUDA 迎來二十年最大更新！

2025-12-08 17:21

近日，英偉達推出 CUDA 13.1。官方稱這是 CUDA 平臺自二十年前發(fā)明以來規(guī)模最大、最全面的更新。更新功能包括 NVIDIA CUDA Tile 的發(fā)布、運行時 API 公開綠色上下文、NVIDIA cuBLAS 中的雙精度和單精度仿真等。

僅在 CUDA 13.1 上線兩天前，英偉達推出一款基于 tile 的編程模型—— CUDA Tile。官方宣稱，這是 CUDA 平臺自 2006 年創(chuàng)立以來最大的進步。

模型將專注于以更高層次編寫算法，并抽象化專用硬件（例如張量核心）的細節(jié)。

CUDA 為開發(fā)者提供了一種單指令多線程 (SIMT) 硬件和編程模型，使開發(fā)者能夠以最大的靈活性和精確性對代碼的執(zhí)行方式進行細粒度控制。

張量已成為一種基礎(chǔ)數(shù)據(jù)類型。NVIDIA 開發(fā)了專門用于處理張量的硬件，但需要更多軟件來輔助發(fā)揮這些功能。CUDA Tile 提煉了張量核心及其編程模型，從而使 CUDA Tile 的代碼能夠兼容當前和未來的張量核心架構(gòu)。

CUDA Tile IR：Tile 編程的基礎(chǔ)

CUDA Tile 的基礎(chǔ)是 CUDA Tile IR。CUDA Tile IR 引入了一套虛擬指令集，使得開發(fā)者能夠以 tile 操作的形式對硬件進行原生編程，后可在多代 GPU 上高效執(zhí)行。

開發(fā)者只需將數(shù)據(jù)并行程序劃分為 tile 和 tile 塊，CUDA Tile IR 便會負責(zé)將這些塊映射到硬件資源，例如線程、內(nèi)存層次結(jié)構(gòu)和張量核心。

通過提升提取的層次，CUDA Tile IR 使用戶能夠為 NVIDIA 硬件構(gòu)建更高級別的硬件專用編譯器、框架和領(lǐng)域特定語言 (DSL)。

值得注意的是，SIMT 和分塊編程可以共存。使用 SIMT 的同時可以像往常一樣編寫內(nèi)核。當使用張量核心時，需要編寫分塊內(nèi)核。大多數(shù)開發(fā)者會通過 NVIDIA cuTile Python 等軟件與 CUDA 瓦片編程進行交互。

對于希望構(gòu)建自己的 DSL 編譯器或庫的開發(fā)者來說，CUDA Tile IR 是與 CUDA Tile 進行交互的接口。CUDA Tile IR 的文檔和規(guī)范包含了有關(guān) CUDA Tile IR 編程抽象、語法和語義的信息。

CUDA 軟件和服務(wù)更新

公開綠色上下文

綠色上下文允許用戶定義和管理不同的 GPU 資源分區(qū)，主要是流式多處理器 (SM)，并將一組特定的 SM 分配給特定的上下文。

當應(yīng)用程序包含對延遲敏感且優(yōu)先級高于所有其他 GPU 工作的代碼時，通過將 SM 資源分配給專用的綠色上下文來處理此代碼，并將其余資源分配給另一個綠色上下文來處理其他代碼，可以確保有可用的 SM 隨時準備進行此計算。

內(nèi)存局部性優(yōu)化分區(qū)

內(nèi)存局部性優(yōu)化分區(qū) (MLOPart) 是 NVIDIA Blackwell 及更新 GPU 的一項功能。MLOPart 設(shè)備源自單個底層 GPU，但以多個設(shè)備的形式呈現(xiàn)，每個設(shè)備擁有更少的計算資源和更少的可用內(nèi)存。