Nvidia仍高速增長

6月2日晚Compoutex 2024展前主題演講上，Nvidia執行長黃仁勳透露預計2025年將推出以今年3月時發布Blackwell架構為基礎的GPU。

Blackwell主要產品為B200，有2,080億個電晶體，比上一代Hopper H100和H200多1倍以上，運算效能達20 PFLOPS，為上一代Hopper的2.5倍，資料類型由FP8改用FP4，運算效能可5倍提升。以訓練1個1.8萬億參數模型而言，需8,000片H100GPU，需時90天，但使用約10,000片B200，則大約在10天內可完成，意味更複雜、表現更強的AI模型在B200面世下即將實現。

B200的發表無疑是再進一大步，但就將來再進一步空間，則有兩點須留意。首先，B200是由兩片1,040億個電晶體的B100 GPU拼合而成，主要由於光刻工藝所限，一片裸晶最大面積為858平方毫米，上一代H100面積為814平方毫米，已接近極限。但這種芯粒集成方式講求GPU間的數據傳輸速度，假如將來需要將4片甚至更多GPU拼合，技術上會否有限制是一個問題。另外，將資料類型由FP8改為FP4能大幅減少算力用量，但卻會犧牲模型的準確度。這種增長成式能否無了期繼續，是另一須考慮事情。