123,123,123

清華大學(xué)聯(lián)手生數(shù)科技開源視頻生成框架：提速200倍！

2025-12-26 16:48

近日，清華大學(xué) TSAIL 團(tuán)隊(duì)聯(lián)手生數(shù)科技提出了一種名為 TurboDiffusion 的視頻生成加速框架，它能夠在保持視頻質(zhì)量的前提下，將端到端擴(kuò)散生成速度提升 100-200 倍。

TurboDiffusion 主要依靠以下幾個組件來實(shí)現(xiàn)加速：

注意力加速：TurboDiffusion 使用低比特率的 SageAttention 和可訓(xùn)練的稀疏線性注意力機(jī)制 (SLA) 來加速注意力計(jì)算。
步驟蒸餾：TurboDiffusion 采用 rCM 算法進(jìn)行高效的步驟蒸餾。
W8A8 量化：TurboDiffusion 將模型參數(shù)和激活值量化為 8 位，以加速線性層并壓縮模型。

TurboDiffusion 主要使用 SageAttention 、 SLA（稀疏線性注意力）進(jìn)行注意力加速，以及 rCM 進(jìn)行時間步蒸餾。

這是使用單塊 RTX 5090 顯卡，通過 Wan-2.1-T2V-1.3B-480P 生成的 5 秒視頻示例：

通過算法和系統(tǒng)協(xié)同優(yōu)化，TurboDiffusion 在單個 RTX 5090 上將 Wan2.1-T2V-14B-720P 的擴(kuò)散推理延遲降低了約 200 倍。

方法論

TurboDiffusion 主要采用四種技術(shù)來加速擴(kuò)散模型。

TurboDiffusion 使用 SageAttention 進(jìn)行低比特量化注意力加速。
TurboDiffusion 使用 Sparse-Linear Attention (SLA) 進(jìn)行稀疏注意力加速。
TurboDiffusion 使用 rCM 來減少采樣步數(shù)，rCM 是目前最先進(jìn)的擴(kuò)散蒸餾方法之一。通過模型權(quán)重合并，rCM 自然地繼承了注意力層面的加速。
TurboDiffusion 使用 W8A8 量化進(jìn)行線性層加速。

在培訓(xùn)過程中，TurboDiffusion 根據(jù)給定預(yù)訓(xùn)練的視頻擴(kuò)散模型，執(zhí)行以下訓(xùn)練過程。

首先，將完全注意力機(jī)制替換為稀疏線性注意力機(jī)制 (SLA)，并對預(yù)訓(xùn)練模型進(jìn)行微調(diào)以適應(yīng)稀疏性。

同時，使用 rCM 將預(yù)訓(xùn)練模型提煉為一個采樣步數(shù)更少的學(xué)生模型。其次，將 SLA 微調(diào)和 rCM 訓(xùn)練得到的參數(shù)更新合并到一個模型中。所有訓(xùn)練過程均可使用真實(shí)數(shù)據(jù)或合成數(shù)據(jù)。

評估

Wan2.2-I2V-A14B-720P

使用單個 RTX 5090 在 Wan2.2-I2V-A14B-720P 上生成 5 秒視頻：

“
第一人稱視角自拍視頻，超級凌亂，速度極快。一只戴著墨鏡的白貓面無表情地站在沖浪板上，突然沖浪板猛地側(cè)甩，將貓和相機(jī)一起甩入水中；畫面急劇下沉，被劇烈的氣泡、旋轉(zhuǎn)的湍流和模糊的水痕吞噬，相機(jī)也隨之下沉。陰影加深，水壓波紋扭曲了邊緣，松散的氣泡從鏡頭前涌出，顯示相機(jī)仍在下沉。然后，貓以驚人的速度向上踢水，拖著畫面穿過翻騰的氣泡和迅速變亮的水面，陽光重新涌入；相機(jī)飛速上升，水花從鏡頭上飛濺，最終在一陣強(qiáng)光和水花中沖出水面，畫面瞬間恢復(fù)成一張歪斜而慌亂的自拍，而貓也重新浮出水面。

使用單個 RTX 5090 在 Wan2.2-I2V-A14B-720P 上生成 5 秒視頻:

“
烏瑪·瑟曼飾演的碧翠絲·基多在電影般的燈光下穩(wěn)穩(wěn)地握著她鋒利的武士刀。毫無預(yù)兆地，整把刀瞬間失去剛性，材質(zhì)如同不穩(wěn)定的液體般顫抖。刀身表面完全失穩(wěn)——一塊塊金屬緩緩脫落，化作涓涓細(xì)流般的熔銀，滴滴向下流淌。片刻之后，刀身變成一團(tuán)坍塌的、無定形的金屬，沒有棱角，也沒有結(jié)構(gòu)。濃稠的液態(tài)金屬從她手中傾瀉而出，隨后是片片閃爍的液體撕裂開來，落到地上。她手中現(xiàn)在只剩下一團(tuán)顫抖的、如同水銀般的液體，不斷下垂滴落。隨著最后一點(diǎn)固體殘存的物質(zhì)溶解、撕裂、從她指間流淌，她的表情從平靜的準(zhǔn)備轉(zhuǎn)變?yōu)檎痼@和困惑，她變得毫無防備，茫然無措。

Wan2.1-T2V-1.3B-480P

使用單個 RTX 5090 在 Wan2.1-T2V-1.3B-480P 上生成 5 秒視頻：

“
鏡頭圍繞著一大堆老式電視機(jī)旋轉(zhuǎn)，這些電視機(jī)都在播放不同的節(jié)目——20 世紀(jì) 50 年代的科幻電影、恐怖電影、新聞、雪花屏、20 世紀(jì) 70 年代的情景喜劇等等，場景設(shè)置在紐約一家大型博物館的展廳內(nèi)。

使用單個 RTX 5090 在 Wan2.1-T2V-1.3B-480P 上生成 5 秒視頻:

“
一個 3D 教室場景，里面坐滿了 6 到 8 歲的小朋友，他們都專注地坐在各自的課桌前。一位盡職盡責(zé)的老師站在講臺前，與學(xué)生們進(jìn)行著生動的互動，用手勢和面部表情傳遞著熱情。教室里燈光明亮，墻上貼滿了色彩鮮艷的海報和圖表。每個孩子都全神貫注，有的點(diǎn)頭附和，有的舉手提問。課桌整齊地排列成行，每張桌子上都擺放著書本和鉛筆。背景中有一扇窗戶，陽光透過窗戶灑進(jìn)來，在教室里投下柔和的光影。這是一個廣角鏡頭，從正面視角展現(xiàn)了整個教室。

Wan2.1-T2V-14B-720P

使用單個 RTX 5090 在 Wan2.1-T2V-14B-720P 上生成 5 秒視頻:

“
在都市戶外，一位身穿黑色連帽衫和白色條紋黑色運(yùn)動褲的男子走向一座現(xiàn)代建筑旁的長椅，該建筑擁有巨大的落地玻璃窗。他肩上挎著一個黑色背包，手里拿著一疊文件。走到長椅前，他彎下腰，將文件放在上面，然后坐了下來。不久，一位身穿紅色夾克（飾有黃色點(diǎn)綴）和黑色褲子的女子走了過來。她站在長椅旁，面對著他，似乎在與他交談。男子繼續(xù)翻閱文件，女子則認(rèn)真地傾聽。背景中，可以看到其他人走過，有些人提著包，為這熙熙攘攘卻又輕松隨意的場景增添了幾分氛圍。整體氛圍暗示著在繁忙的環(huán)境中，他們正在進(jìn)行一場專注的討論或準(zhǔn)備工作。