AI芯片的功耗和發(fā)熱量直接影響著企業(yè)的成本、風(fēng)險以及芯片的穩(wěn)定性和壽命。如果芯片因過熱或短路而頻繁出現(xiàn)問題，那么AI的訓(xùn)練和推理效果及效率也會受到嚴(yán)重影響。

冷卻技術(shù)革命，顯得十分急需。

01AI芯片的功耗危機

統(tǒng)計數(shù)據(jù)顯示，2015年全球數(shù)據(jù)量約為10EB（艾字節(jié)），預(yù)計到2025年將飆升至175ZB（澤字節(jié)），而到2035年，則可能達(dá)到驚人的2432ZB。然而，邊緣AI的發(fā)展面臨兩大挑戰(zhàn)。首先，需要在性能、功耗和成本之間取得平衡。在提升算力的同時，如何在不將功耗和成本推向合理限度的情況下獲得最佳效果，尤其是在電池供電的低功耗設(shè)備中？其次，構(gòu)建強大的生態(tài)系統(tǒng)至關(guān)重要。如同CPU和GPU的發(fā)展一樣，一個涵蓋工具鏈、語言、兼容性和易開發(fā)性的統(tǒng)一生態(tài)系統(tǒng)，對于推動AI技術(shù)的普及和規(guī)�；瘧�(yīng)用至關(guān)重要。

ChatGPT 和類似的 AI 機器人用來生成類人對話的大型語言模型 (LLM) 只是眾多依賴“并行計算”的新型 AI 應(yīng)用之一�！安⑿杏嬎恪敝傅氖怯尚酒�網(wǎng)絡(luò)同時執(zhí)行多項計算或處理的海量計算工作。

人工智能基礎(chǔ)設(shè)施的核心是GPU（圖形處理單元），它擅長處理人工智能所需的專業(yè)高性能并行計算工作。與個人電腦中使用的 CPU（中央處理器）相比，這種強大的處理能力也會導(dǎo)致更高的能量輸入，從而產(chǎn)生更多的熱量輸出。

高端GPU 的功率密度約為 CPU 的四倍。這給數(shù)據(jù)中心規(guī)劃帶來了新的重大問題，因為最初計算的電源現(xiàn)在僅為運行現(xiàn)代 AI 數(shù)據(jù)中心所需電源的 25%。即使是亞馬遜、微軟和 Alphabet 用于云計算的尖端超大規(guī)模數(shù)據(jù)中心，也仍然是由 CPU 驅(qū)動的。舉例來說，Nvidia 目前提供的 A100 AI 芯片每塊芯片的恒定功耗約為 400W，而其最新微芯片 H100 的功耗幾乎是 A100 的兩倍，達(dá)到 700W，與微波爐的功耗相似。如果一個擁有平均一百萬臺服務(wù)器的超大規(guī)模數(shù)據(jù)中心用這些類型的 GPU 替換其當(dāng)前的 CPU 服務(wù)器，則所需的功率將增加 4-5 倍（1500MW），相當(dāng)于一座核電站！

功率密度的提升意味著這些芯片產(chǎn)生的熱量也會顯著增加。因此，冷卻系統(tǒng)也必須更加強大。如此規(guī)模的電力和冷卻變革將要求未來人工智能驅(qū)動的數(shù)據(jù)中心進行全新的設(shè)計。這將導(dǎo)致底層芯片和數(shù)據(jù)中心基礎(chǔ)設(shè)施出現(xiàn)巨大的供需失衡�？紤]到數(shù)據(jù)中心建設(shè)所需的時間，業(yè)內(nèi)專家預(yù)測，我們正處于數(shù)據(jù)中心十年現(xiàn)代化升級的初期階段，旨在使其更加智能化。

美國數(shù)據(jù)中心用電量增長（千兆瓦）

02臺積電3DVC技術(shù)

臺積電的3DVC（3D Vapor Chamber，三維均熱板）技術(shù)是一種針對高性能計算（HPC）和AI芯片的先進散熱解決方案，旨在解決先進制程（如3nm/2nm）芯片因集成度提升導(dǎo)致的功耗和發(fā)熱密度激增問題。

傳統(tǒng)均熱板是二維平面結(jié)構(gòu)，而臺積電的3DVC通過立體化設(shè)計，在芯片封裝內(nèi)部直接集成多層微流體通道，利用 相變傳熱（液體蒸發(fā)-冷凝循環(huán)）快速導(dǎo)出熱量。

三維毛細(xì)結(jié)構(gòu)：內(nèi)部采用多孔金屬泡沫或微柱陣列，增強工質(zhì)（如水/氨）的毛細(xì)回流能力。

近結(jié)散熱（Near-Junction Cooling）：直接與芯片的硅中介層（Silicon Interposer）或3D堆疊結(jié)構(gòu)（如SoIC）接觸，縮短熱傳導(dǎo)路徑。

3D-VC散熱器熱管屬于一維線性的傳熱器件，常規(guī)VC均熱板因為存在蒸發(fā)段以及冷凝段，根據(jù)設(shè)計位置的不同，散熱路徑上會存在多種分布可能，這使得常規(guī)VC均熱板成為了二維傳熱器件，但其散熱路徑依舊局限在同一個平面內(nèi)。與一維熱傳導(dǎo)的熱管、二維熱傳導(dǎo)的VC均熱板相比，3D-VC散熱器的熱傳導(dǎo)路徑是三維的，立體結(jié)構(gòu)的，非平面的。3D-VC散熱器利用VC、熱管相結(jié)合使得內(nèi)部腔體連通，通過毛細(xì)結(jié)構(gòu)實現(xiàn)工質(zhì)回流，完成導(dǎo)熱。連通的內(nèi)部腔體加上焊接翅片組成了整個散熱模組，使得該散熱模組實現(xiàn)了水平以及垂直等多維度的散熱。

熱管、VC、3DVC對比圖多維度的散熱路徑使得3D-VC散熱器在應(yīng)對高功耗設(shè)備熱量的時候可以接觸更多的發(fā)熱源提供更多的散熱路徑。傳統(tǒng)散熱模組中熱管與VC均溫板屬于分離式設(shè)計，由于熱阻值隨導(dǎo)熱距離的增加而增加，散熱效果也就不甚理想。3D-VC散熱器通過將熱管延伸至VC均熱板本體中，VC均溫板的真空腔體與熱管連通后，內(nèi)部工質(zhì)連接，3D-VC 散熱器與熱源直接接觸，垂直的熱管設(shè)計也提高了傳熱的速度。

3DVC可嵌入臺積電的 CoWoS 2.5D/3D封裝中，為CPU/GPU/HBM提供一體化散熱。臺積電在IEEE國際電子器件會議（IEDM）上展示3DVC原型，可將3nm芯片結(jié)溫降低15°C以上。計劃與CoWoS-L封裝技術(shù)同步應(yīng)用于AMD、NVIDIA的下一代產(chǎn)品。

03冷卻方案差異

液冷是高功率下唯一可行的解決方案。

通過一定體積的液體流動傳遞熱量的效率遠(yuǎn)高于通過相同體積的空氣傳遞熱量——水的效率約為空氣的3,600倍。這使得通過芯片散熱器進行液冷成為一種高效的方法。當(dāng)芯片面積每平方厘米的散熱量超過約50瓦時，通常需要采用液冷。鑒于GB200的面積約為9平方厘米，任何超過450瓦的散熱量都表明需要泵送液冷。在“直接芯片”冷卻中，液體通過熱界面連接到芯片散熱器的冷板通道流動。當(dāng)液體在此過程中不蒸發(fā)時，稱為“單相”操作，其中介質(zhì)（通常是水）被泵送通過風(fēng)扇冷卻的熱交換器。Flex 旗下公司 JetCool 提供直接芯片液體冷卻模塊，該模塊使用小型流體噴射陣列，精確瞄準(zhǔn)處理器上的熱點，從而在芯片或設(shè)備級別提升高功率電子冷卻性能。

熱量可以轉(zhuǎn)移到第二個液體回路，該回路可以為建筑物提供熱水，并可能為當(dāng)?shù)叵�費者提供熱水。兩相操作通過使液體（通常是氟碳化合物）在吸收熱量時蒸發(fā)，然后在熱交換器處重新凝結(jié)，從而提供更好的傳熱效果。這種方法可以顯著提升性能。然而，仍然需要系統(tǒng)風(fēng)扇來冷卻其他組件，盡管某些組件（例如DC/DC 轉(zhuǎn)換器）可以使用其自身的基板集成到液體冷卻回路中。這符合“垂直供電”的概念，其中 DC/DC 轉(zhuǎn)換器直接位于處理器下方，以最大限度地減少壓降。直接芯片方法的實際限制是芯片與冷卻板之間界面的熱阻。精確的表面平整度和高性能焊膏是必要的，但在數(shù)千瓦級功率下，溫差仍然是一個問題。

這一限制似乎即將限制散熱，進而影響性能�？梢钥紤]采用浸入式冷卻技術(shù)。將整個服務(wù)器置于一個開放式的介電流體槽中，介電流體通過儲液器繞環(huán)路泵送至熱交換器。同樣，為了獲得最佳性能，可以采用兩相運行。

除了浸入式冷卻技術(shù)，IBM使用的是嵌入式微通道相變冷卻技術(shù)。IBM 將介電液直接泵入任意級別芯片堆疊的約 100μm 的微觀間隙中，通過介電液從液相沸騰到氣相來帶走芯片的熱量。他們對用此改造后的 IBM Power 7+ 芯片進行測試，結(jié)果表明結(jié)溫降低了 25℃。

為了實現(xiàn)嵌入式冷卻，IBM 拆掉了處理器的封裝蓋子以暴露出裸片，對裸片進行了深度反應(yīng)離子蝕刻（DRIE），在其背面構(gòu)建了 120μm 深的冷卻通道結(jié)構(gòu)，并將一個玻璃片粘合到被蝕刻的芯片上以形成微通道的頂壁，用粘合劑將冷卻劑入口、出口黃銅歧管粘合到玻璃歧管芯片和有機基材上。冷卻劑進入模塊并通過 24 個入口，在相應(yīng)的 24 個徑向擴展通道中分配流量。

英偉達(dá)：硬件級冷卻集成（NVLinkC2C技術(shù)）

Blackwell的發(fā)布，標(biāo)志著AI硬件領(lǐng)域邁入了一個新紀(jì)元，其強大性能將為AI公司提供前所未有的計算支持，助力訓(xùn)練出更復(fù)雜、更精準(zhǔn)的模型，基于 Blackwell 的 AI 算力將以名為 DGX GB200 的完整服務(wù)器形態(tài)提供給用戶，結(jié)合了 36 顆 NVIDIA Grace CPU 和 72 塊 Blackwell GPU，而這些超級芯片通過第五代 NVLink 連接成一臺超級計算機提高整體計算性能。為了更好地支持GB200超級芯片的應(yīng)用，英偉達(dá)推出了全新的計算集群DGX GB200 SuperPod，這一超級計算集群采用了新型高效液冷機架規(guī)模架構(gòu)，能夠在FP4精度下提供驚人的算力和內(nèi)存容量。通過DGX GB200 SuperPod，英偉達(dá)將為各行各業(yè)提供強大的AI計算能力，助力AI工業(yè)革命的發(fā)展，再次展現(xiàn)了其在AI領(lǐng)域的領(lǐng)先地位和創(chuàng)新能力。

具體來講，NVLINK 是一種專門設(shè)計用于連接 NVIDIA GPU 的高速互聯(lián)技術(shù)。它允許 GPU 之間以點對點方式進行通信，繞過傳統(tǒng)的PCIe總線，實現(xiàn)了更高的帶寬和更低的延遲。NVLINK 可用于連接兩個或多個 GPU，以實現(xiàn)高速的數(shù)據(jù)傳輸和共享，為多 GPU 系統(tǒng)提供更高的性能和效率。

例如，GB200 NVL72有 18 個 1U 服務(wù)器，其提供的 FP8 性能為 720 petaflops，F(xiàn)P4 計算性能為 1440 petaflops，可處理多達(dá) 27 萬億個 AI LLM 參數(shù)模型。每臺服務(wù)器里帶有兩個 GB200 Grace Blackwell Superchip，這些計算節(jié)點帶有 1.7TB 的 HBM3E 內(nèi)存、32TB/s 的內(nèi)存帶寬，為應(yīng)對功耗過于強大問題，NVIDIA選擇全部采用液冷 MGX 封裝，采取液冷機架級解決方案。

       原文標(biāo)題 : AI芯片“功耗懸崖”：大模型催生的冷卻技術(shù)革命